最小二乗法とは？
求め方・計算式・回帰直線を例で解説
最小二乗法は、データの傾向を1本の式で表すための基本的な方法です。
観測値と回帰直線の距離を小さくする考え方を、座標平面で表しています。
最小二乗法とは、観測したデータと計算上の予測値との差（残差）を二乗して足し合わせ、その合計が最も小さくなるように式の係数を決める方法です。代表例が、データの傾向を y=ax+b で表す回帰直線です。この記事では、意味、計算式、具体例、R²の読み方、計算機を使う場面まで順番に整理します。
結論：残差の二乗和が最小の式を選ぶ
データ点が完全に一直線上に並んでいないとき、すべての点を同時に通る直線を作ることはできません。そこで、各点と直線との縦方向の差を残差として測り、残差を二乗した合計が最小になる直線を採用します。
二乗するのは、プラスの差とマイナスの差が打ち消し合わないようにするためです。大きなズレにはより大きな重みがつくので、直線から大きく外れた点の影響も含めて評価できます。
この考え方は、単回帰だけでなく、複数の説明変数を使う重回帰、実験データの近似、予測式の作成などにも使われます。ただし、回帰直線が求まったことは、2つの変数の間に原因と結果があることを意味しません。まずは「データの傾向を近似する方法」と捉えると理解しやすくなります。
最小二乗法で使う残差と回帰直線
入力データを (x1, y1)、(x2, y2) のような組で表します。回帰直線 ŷ=ax+b に同じ x を代入した値が予測値 ŷ です。実際の値 y との差は、次のように表せます。
e：残差、y：観測値、ŷ：回帰直線から得た予測値
残差が正なら観測値は直線より上、負なら下にあります。残差そのものを合計すると正負が相殺されることがあるため、二乗してから足します。この 残差平方和 が小さいほど、入力したデータに対する直線の当てはまりは、少なくとも二乗誤差の観点ではよいと判断できます。
| 記号 | 意味 | 確認するポイント |
|---|---|---|
a | 回帰直線の傾き | xが1増えたときの予測値の変化 |
b | 回帰直線の切片 | x=0のときの予測値。ただし観測範囲外なら慎重に読む |
e | 残差 | 実測値と予測値の差。符号も大きさも確認する |
R2 | 決定係数 | yのばらつきを直線がどの程度説明するかの目安 |
最小二乗法の計算式：傾きと切片の求め方
単回帰の回帰直線を ŷ=ax+b とすると、傾き a と切片 b は、xとyの平均を使って求められます。xの平均を x̄、yの平均を ȳ と書くと、式は次の形です。
b = ȳ − ax̄
分子はxとyの偏差が同じ方向に動く程度を表し、分母はxのばらつきです。xの値がほとんど変わらないデータでは、分母が小さくなり、傾きが不安定になります。計算する前に、xの値がすべて同じではないかを確認しましょう。
別の書き方として、データ数を n とした次の式もあります。表計算ソフトや計算機で扱う場合は、こちらの形が便利なことがあります。
b = (Σy − aΣx) ÷ n
どちらの式でも同じ回帰直線になります。途中で丸めると最後の傾きや切片が少しずれるため、手計算では分数や十分な桁数を残し、最後に表示桁数をそろえるのが安全です。
例題：4組のデータから回帰直線を求める
次の4組のデータについて、最小二乗法で回帰直線を求めます。xを説明に使う値、yを予測したい値と考えます。
| x | y | x−x̄ | y−ȳ | 偏差の積 |
|---|---|---|---|---|
| 1 | 2 | −1.5 | −1.5 | 2.25 |
| 2 | 3 | −0.5 | −0.5 | 0.25 |
| 3 | 5 | 0.5 | 1.5 | 0.75 |
| 4 | 4 | 1.5 | 0.5 | 0.75 |
| 平均 | 3.5 | Σ(x−x̄)2 = 5 | Σ偏差積 = 4 | |
- 平均を求める：
x̄=(1+2+3+4)÷4=2.5、ȳ=(2+3+5+4)÷4=3.5です。 - 傾きを求める：偏差積の合計は4、xの偏差平方和は5なので、
a=4÷5=0.8です。 - 切片を求める：
b=3.5−0.8×2.5=1.5となります。 - 式を書く：求める回帰直線は
ŷ=0.8x+1.5です。
たとえば x=3 の予測値は ŷ=0.8×3+1.5=3.9 です。実際のyは5なので残差は 5−3.9=1.1 になります。同じ計算を4点すべてに行うと、予測値は2.3、3.1、3.9、4.7、残差平方和は1.8です。
yの平均との差の二乗和は5なので、この例の決定係数は R2=1−1.8÷5=0.64 です。これは、この直線がyのばらつきの約64%を説明するという読み方ができますが、標本数が少ない例なので、数値だけでモデルの良し悪しを決めないようにします。
回帰直線・R²・残差の読み方
回帰直線を作ったら、式の形だけでなく、データとの関係も確認します。まず傾き a の符号を見ます。正ならxが増えるほどyも増える傾向、負ならxが増えるほどyが減る傾向です。ただし、傾きの大きさは単位に左右されるため、違う尺度のデータ同士を数字だけで比較してはいけません。
切片 b はx=0のときの予測値です。x=0が実際に観測した範囲に含まれない場合、切片は式の一部としては必要でも、現実の意味を強く持つとは限りません。観測範囲から遠く離れたxへ外挿すると、回帰直線が当てはまらない可能性も高くなります。
決定係数 R2 は、一般に0から1に近い値で、yのばらつきを直線が説明する割合の目安です。しかし、R²が高いからといって因果関係が証明されるわけではありません。時系列データでは共通のトレンドだけで高くなることもあり、外れ値1点が数値を大きく変えることもあります。
| 確認 | 見る内容 | 注意点 |
|---|---|---|
| 散布図 | 直線的な傾向があるか | 曲線やグループがあるなら1本の直線だけでは不十分 |
| 残差 | プラス・マイナスが偏っていないか | 弧を描く並びならモデルの形を見直す |
| 外れ値 | 1点だけ大きく離れていないか | 入力ミス、測定条件、特別な事例を確認する |
| 観測範囲 | 予測するxがデータ範囲内か | 範囲外の外挿は不確実性が大きい |
最小二乗法の求め方を5ステップで確認
手計算で最小二乗法を確認するときは、次の順番にすると途中のミスを見つけやすくなります。特に、平均からの偏差を作る段階で符号を間違えないことが重要です。
- データをそろえる：xとyが同じ行の組になっているか、欠損や単位の違いがないかを確認します。
- 平均を求める：xの平均
x̄とyの平均ȳを計算します。 - 偏差と積を作る：各行について
x−x̄、y−ȳ、その積、(x−x̄)2を求めます。 - 係数を計算する：傾き
a、切片bの順に求め、ŷ=ax+bにします。 - 検算する：各xから予測値と残差を求め、散布図、残差平方和、R²を確認します。
データの組が少なければ手計算でも確認できますが、行数が多い場合や小数が多い場合は、入力ミスを減らすために最小二乗法計算機を使う方法もあります。xとyのデータを入力すると、回帰直線、傾き、切片、R²、残差、予測値をまとめて確認できます。計算機の結果を答えとして写すだけでなく、上の5ステップのどこに対応するかを照合すると、式の意味も理解しやすくなります。
相関係数や平均との違い
最小二乗法は、相関係数や平均と一緒に扱われることがありますが、役割は同じではありません。平均はデータの中心、相関係数は2変数の直線的な関係の強さと向きを表し、最小二乗法は予測に使える具体的な式を作ります。
| 方法 | 主な出力 | 使う場面 |
|---|---|---|
| 平均 | データの代表的な中心 | 全体の水準を1つの値で要約する |
| 相関係数 | −1から1の関係の強さ | xとyが一緒に増減する程度を確認する |
| 最小二乗法 | 傾き、切片、回帰直線、予測値 | xからyを推定する式を作る |
相関が強くても、回帰式を使う目的やデータの範囲が適切とは限りません。また、相関係数が0に近くても、U字型のような曲線関係が隠れていることがあります。数値だけで判断せず、散布図と残差を合わせて見ることが、最小二乗法を安全に使うコツです。
使うときの注意点と限界
- 外れ値の影響：残差を二乗するため、直線から遠い点ほど強く効きます。外れ値を機械的に削除せず、入力ミスや別条件のデータではないかを確認します。
- 因果関係とは別：回帰直線は関連を要約する式です。実験計画や他の要因を検討せずに、原因と結果を断定してはいけません。
- 外挿に注意：観測したxの範囲から外れた予測は、回帰式の形がそのまま続くという仮定に依存します。
- 単位と丸め：cmとmのように単位を混ぜると傾きの解釈が変わります。入力前に単位を統一し、途中計算で丸めすぎないようにします。
- 直線でよいか確認：散布図が曲線、段差、複数グループを示すなら、1本の回帰直線だけで説明するのは不十分かもしれません。
この注意点は、計算式が間違っているという意味ではありません。最小二乗法は指定されたモデルの中で誤差を最小にする方法なので、モデルの選び方とデータの集め方が結果の解釈を左右します。
FAQ：最小二乗法のよくある質問
まとめ
最小二乗法は、観測値と予測値の残差を二乗して合計し、その残差平方和が最小になるように回帰式を決める方法です。単回帰では、傾き a と切片 b を求めて ŷ=ax+b という回帰直線を作ります。
計算結果を読むときは、傾き・切片・R²だけでなく、散布図、残差、外れ値、観測範囲も一緒に確認しましょう。手順を追って計算したいときはこの記事の例を使い、データをまとめて確かめたいときは最小二乗法計算機で結果を照合できます。
参考資料
回帰と最小二乗法の用語を確認する資料として、米国国立標準技術研究所（NIST）の技術ハンドブックも参照できます。NIST/SEMATECH e-Handbook of Statistical Methods: Least Squares