単回帰分析を学ぶ

1つの説明変数が1つの目的変数に与える影響を分析する単回帰分析について、回帰直線のイメージと重要な概念、計算方法を整理します。
インタラクティブな散布図・回帰直線の可視化は 別ページ に分離しています → /tools/simple-linear-regression

主要概念

回帰直線の傾きの求め方

最小二乗法による傾き $β^1\hat{\beta}_1$ は 説明変数 $x$ と目的変数 $y$ の共分散 を 説明変数 $x$ の分散 で割ったものに相当します。

β^1=∑(xi−xˉ)(yi−yˉ)∑(xi−xˉ)2=SxySxx\hat{\beta}_1 = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2} = \frac{S_{xy}}{S_{xx}}

$S_{xy}$ … $x$ と $y$ の偏差積和（共分散）
$S_{xx}$ … $x$ の偏差平方和（分散）

切片は次式で推定します：

β^0 = yˉ − β^1 xˉ\hat{\beta}_0 \;=\; \bar{y} \;-\; \hat{\beta}_1\,\bar{x}

| 変動要因 | 偏差平方和 (SS) | 自由度 (df) | 分散 (MS) | F比 | |---|---:|---:|---:|---:| | 回帰 (Regression) | $SS_R$ | $1$ | $MS_R = SS_R / 1$ | $F = MS_R / MS_E$ | | 残差 (Error) | $SS_E$ | $n - 2$ | $MS_E = SS_E/(n-2)$ | | | 全体 (Total) | $SS_T = SS_R + SS_E$ | $n - 1$ | | |

F検定の帰無仮説： $H0:β1=0H_0:\beta_1=0$ （回帰に意味なし）。棄却されればモデルは有意。

偏差平方和の分解

全体平方和は 回帰による平方和 と 残差平方和 に分かれます。

Syy=∑(yi−yˉ)2=∑(y^i−yˉ)2+∑(yi−y^i)2=回帰による平方和+残差平方和S_{yy} = \sum (y_i-\bar{y})^2 = \sum (\hat{y}_i-\bar{y})^2 + \sum (y_i-\hat{y}_i)^2 = \text{回帰による平方和} + \text{残差平方和}

理解度チェック

Q1. 切片 $β0\beta_0$ の記述として最も不適切なのは？

A. $x = 0$ のときの $y$ の予測値
B. 推定値は $β^0=yˉ−β^1xˉ\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$
C. $β0\beta_0$ が不有意でもモデル全体が不有意とは限らない
D. $β^0\hat{\beta}_0$ は必ずしも $x = 0$ の観測値と一致しない
E. 切片は $x$ – $y$ の線形関係の存在を示す

答え：E（線形関係の有無を示すのは傾き $β1\beta_1$ であり、切片ではありません）

単回帰分析スタディガイド

単回帰分析を学ぶ

主要概念

回帰直線の傾きの求め方

分散分析（ANOVA）の読み方

偏差平方和の分解

理解度チェック