最小二乘法的計算原理

2021-02-13 測量科技研究苑

1801年，義大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。只有時年24歲的高斯所計算的穀神星的軌道，被奧地利天文學家海因裡希·奧爾伯斯的觀測所證實，使天文界從此可以預測到穀神星的精確位置。同樣的方法也產生了哈雷彗星等很多天文學成果。高斯使用的方法就是最小二乘法，該方法發表於1809年他的著作《天體運動論》中。

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

其中，是事先選定的一組線性無關的函數，是待定係數，，擬合準則是使與的距離的平方和最小，稱為最小二乘準則。(此公式不求甚解，閱後即忘可)

筆者將使用2D直線的計算方法進行LSQ驗證，圓的驗證略。為了簡化問題，筆者設計了一個測量模型：

在建立完基本坐標系後欲測量一條2D直線，該直線在XOY平面內，平行於X軸，Y坐標為3。測量完成後得到了11個測量點，5個點在材料外，距離名義直線偏差均為0.3；6個點在材料內，距離名義直線偏差均為0.2。如果使用最小二乘法進行評價，該最小二乘直線所在Y軸的坐標是多少？(這裡的偏差值只是為了理論驗證，不必糾結！)

3.1 讓我們拋開名義值，進行多種假設吧！

如上圖，位置1，2都不可能是二乘直線所在的位置，因為其偏差的平方和為最小麼？筆者認為偏差的平方和最小的區域應該是11個測量點之間的區域！

3.2 如果是測量點之間的區域，憑藉測量人員的直覺，一定會聯想到偏差的中間線，是不是中間線就是偏差的平方和最小的位置呢？

注意，此時偏差中線位置Y=3.05，思考下如何算出來的？

那麼偏差的平方和為11*(0.25*0.25)=0.6875。(這條中間線其實是最小區域直線哦!)

3.3 將中間公差線向材料內或者材料外平移0.01，0.02.0.25，那麼偏差的平方和是多少呢？會不會更小呢？

取+0.01時，Sum(dev)=5*(0.24*0.24)+6*(0.26*0.26)=0.6936

取-0.01時，Sum(dev)=5*(0.26*0.26)+6*(0.24*0.24)=0.6836

取+0.25時，Sum(dev)=6*(0.5*0.5)=1.5

取-0.25時，Sum(dev)=5*(0.5*0.5)=1.25

這些都不是最小值，其他數值的計算略.

3.4 最小二乘直線所在的位置是料內偏差的平方和=料外偏差的平方和。請各位列出對應公式？

解：設料外偏差為X，那麼料內偏差為0.5-X；

∴ 5*X2=6*(0.5-X)2

∴ 2X2-12X+3=0

∴ X=3-((30)1/2/2)≈0.261387 (舍掉了一個根)

所以 Sum(dev)=10X2=165-(30)3/2≈0.68323...，這個值是最小滴。

留給大家個作業，3.0386咋算出來的捏？

相關焦點

  • 最小二乘法
    Y計= a0 + a1 X (式1-1)　　其中：a0、a1 是任意實數　　為建立這直線方程就要確定a0和a1，應用《最小二乘法原理》，將實測值Yi與利用(式1-1)計算值(Y計=a0+a1X)的離差(Yi-Y計)的平方和〔∑(Yi - Y計)2〕最小為「優化判據」。
  • 第48篇 最小二乘法
    隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。時年24歲的高斯也計算了穀神星的軌道。奧地利天文學家海因裡希·奧爾伯斯根據高斯計算出來的軌道重新發現了穀神星。1806年，法國科學家勒讓德獨立創立最小二乘法，但因不為世人所知而默默無聞。勒讓德曾與高斯為誰最早創立最小二乘法原理發生爭執。
  • 什麼是最小二乘法
    值得慶幸的是，在4個月前，測量攻城獅通過查閱大量資料，終於攻克難關，實現運用EXCEL的方式，運算最小二乘法計算平面度，經反覆測試，目前與海克斯康三次元、美國Micro-VU、兆豐的GOOD VISON、賽斯特的OMM等設備計算結果一致。
  • 最小二乘法與線性回歸
    最小二乘法原理例如我們有一組數據，分別對應x(橫坐標)與y（縱坐標）。我們試圖建立x與y的等式關係，並探究x預測y的可靠性。通過繪製散點圖，我們可以對該組數據擬合無數條直線，但是怎樣找到最佳擬合直線呢？最小二乘法可以解決這一問題。第一步：如下。不考慮x值，計算y值的均值b。
  • 手把手教你最小二乘法
    今天這期推送的主題是介紹最小二乘法以及如何利用最小二乘法對已有數據進行擬合。之所以會想到這個主題，是因為前段時間在準備美賽時看到很多最小二乘法的應用，但多數關於其原理的帖子要麼晦澀難懂要麼不夠清楚，就像下面這樣，於是乎萌生出這個想法。        （全文共2479字，我也不知道什麼時候能看完。
  • 最小二乘法的前世今生,及其與平均值的關係
    總結一下，為了找出最能代表5次月考成績的真值y，我們使用了到y值的「距離平方的和」最小的原理。用今天我們熟悉的稱呼叫做「最小二乘法（least square method）」，這裡的二乘就是平方的意思。
  • 最小二乘法的數學公式
    之前在德輝學堂介紹過最小二乘法，但是有很多好學的小夥伴總是追問，最小二乘法的數學公式究竟是怎麼樣的？      本期的這一篇文章，我們將介紹一個簡潔的最小二乘法數學公式，慢慢剖析它，爭取讓好學的小夥伴們能認識它，然後再結合Excel利用它來做一些計算。
  • 來認識一下傳說中的最小二乘法
    最小二乘法在三坐標測量時常常被提起，那什麼是最小二乘法呢？它具備什麼樣的特點？根據標準，哪些要求必須採用最小二乘法呢？
  • 最小二乘法詳細介紹
    高斯使用的最小二乘法的方法發表於1809年他的著作《天體運動論》中，而法國科學家勒讓德於1806年獨立發現「最小二乘法」，但因不為世人所知而默默無聞。1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明，見高斯-馬爾可夫定理。
  • 線性回歸與最小二乘法
    線性回歸模型是使用最廣泛的模型之一，也最經典的回歸模型，如下所示x軸表示自變量x的值，y軸表示因變量y的值，圖中的藍色線條就代表它們之間的回歸模型
  • 通透 | 最小二乘法的本質是什麼?
    .最小二乘法的一種常見的描述是殘差滿足正態分布的最大似然估計模型具有如下形式:（用愛因斯坦的話來說就是空間曲率為0）為什麼最小二乘法好使？因為我們處於空間曲率近似為0的空間，多數的物理量和物理定理都滿足歐氏空間的特性。實際上，高斯對於最小二乘法的認識，很有欽定的意味：假定最小二乘法最優，那麼如何如何。至於為什麼它最優，抱歉，高斯本人也不知道。第一個真正證明最小二乘法最優的是Maxwell。他的證明主要基於空間對稱性，而這正是歐氏空間的特點。
  • 最小二乘法(附MATLAB代碼)
    前幾天有一些小夥伴需要小編講一下最小二乘法，小編依稀記得當年數值計算這門課學習過這個知識點，但無奈小編忘得一乾二淨，於是在知乎上看到這位大神對最小二乘法的講解，各位小夥伴如果想直接看這位大神講解的話，可以點擊下方閱讀原文直接進行學習。
  • 最小二乘法(1)——線性問題
    最小二乘法　　常規的方法無法回答小明的問題，幸好高斯老爺子發現了最小二乘法。最小二乘法（又稱最小平方法）是一種通過最小化誤差的平方和，尋找數據最佳函數匹配的優化策略。　　上式就是最小二乘法的公式，其中ai 和 bi是已知的，表示約等方程組中第 個方程的相關係數。
  • GD&T乾貨|最小二乘法的數學公式詳解
    （GZHl:智慧汽車供應鏈）之前在德輝學堂介紹過最小二乘法，但是有很多好學的小夥伴總是追問，最小二乘法的數學公式究竟是怎麼樣的？本期的這一篇文章，我們將介紹一個簡潔的最小二乘法數學公式，慢慢剖析它，爭取讓好學的小夥伴們能認識它，然後再結合Excel利用它來做一些計算。
  • Python實現最小二乘法
    上一篇文章講了最小二乘算法的原理。這篇文章通過一個簡單的例子來看如何通過Python實現最小乘法的線性回歸模型的參數估計。王松桂老師《線性統計模型——線性回歸與方差分析》一書中例3.1.3。回歸模型的參數估計一元線性模型的一般公式為一元線性回歸模型我們使用最小二乘法估算出α、β即可求出經驗回歸方程。
  • 最小二乘法之加權最小二乘的應用
    因此我們迫切需要對每個點都定義一個權重，這就是今天我要介紹的加權最小二乘法。在介紹這個算法之前，先回答一個問題，上篇文章中，有網友私信問我為什麼那個參數方程要選取較小的特徵值與特徵向量：(矩陣乘法為什麼滿足結合律請參考我另外一篇文章「深入淺出線性代數的理解及應用」)，容易得知：
  • 線上直播 | 偏最小二乘法是個什麼鬼?
    偏最小二乘法剛看到這個名稱學長也是...
  • 回歸系列(二)|最小二乘法真有那麼複雜嗎?
    回歸係數的計算借用我們講相關分析時的例子：探討糧食中某種毒素（DON）對骨關節炎評分（OAP）的影響，數據如下：無論是做回歸還是相關分析，我們拿到數據的第一步應該是先畫一個散點圖：以因變量Y為縱軸，以自變量X為橫軸（如果有多個自變量，則讓Y逐一與X畫散點圖
  • 測量平差計算
    有了多餘觀測，在觀測結果之間就回產生矛盾，而消除這些矛盾而求得觀測量的最可靠結果並評定測量成果的精度就是測量平差的目的。測量平差採用的原理就是「最小二乘法」（是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。
  • 測量平差如何計算
    有了多餘觀測，在觀測結果之間就回產生矛盾，而消除這些矛盾而求得觀測量的最可靠結果並評定測量成果的精度就是測量平差的目的。測量平差採用的原理就是「最小二乘法」（是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。