07/二変量回帰分析:実習編

概要
(R実習回)二変量回帰分析について、これまで学んだことをふりかえるとともに、自分でR上で実装し、その結果を解釈してみる。

準備学習

実習の進行と到達目標

今回の実習ではスライドではなくこちらのファイルに沿って行う。到達目標は以下の通り。

ノート到達目標

WebClass上の出席登録も忘れずに!

本日の授業の位置付け

小テストの講評

  • 受験者数188人
  • 平均5.38/6点
  • 標準偏差1.14点
  • 最小値1点
  • 最大値6点

大変良くできました。注意なのは問5と問6(→正答)

実習の準備

Posit Cloudの準備

Posit Cloudにログインし、前回のWorkspace(例えば「ICPA2」)に入ったら、以下の準備を行おう。

  • セッションのリスタート:最上部ツールバーのSession>Restart R
  • オブジェクトのクリア:右上Environmentの🧹をクリック
  • コンソールのクリア:Consoleペーン右上の🧹をクリック(色が見づらいが🔍の隣にある)
  • 新しいスクリプトの作成と保存:ツールバーFile直下のアイコンからR Script
    • 「07_OLSexc.R」などの名前をつけて保存

データのインポート

次に今回の実習で使うドーナツデータ(donuts.RDS)をダウンロードしインポートする

  • WebClassにアクセスし「第7回R実習データ(ドーナツ)」からデータをダウンロード
  • PositCloud上にアップロードした上でdta <- readRDS("donuts.RDS")を実行しインポート1

データフレームオブジェクト

ここまで済んだら、ドーナツデータはdtaというオブジェクトに保存されていることがEnvironmentペーンを見るとわかる。復習になるがオブジェクトとは数値やデータを格納しておく箱のようなもので、後で自由自在に呼び出すことができる。今回のdtaはオブジェクトの中でもデータフレームという形で保存されている。データフレームであれば以下のようにデータ構造を把握できる。

head(dta) # 上から6行目までのデータが表示される
            name male child donuts    weight
1          Homer    1     0  14.00 124.71655
2          Marge    0     0   0.00  63.94558
3           Lisa    0     1   0.00  31.74603
4           Bart    1     1   5.00  34.01361
5 Comic Book Guy    1     0  20.50 140.58957
6      Mr. Burns    1     0   0.75  36.28118

データを見ると5つの変数が含まれていることがわかる。コードブックは以下の通り。

  • name: 名前
  • male: その人が男性なら1、女性なら0を表すダミー変数
  • child: その人が子供なら1、大人なら0を表すダミー変数
  • donuts: その人が1週間あたりに食べるドーナツの数(個)
  • weight: その人の体重(kg)2

記述統計

記述統計

データを入手したらまず行うことは記述統計の作成である。以下のコマンドで体重の記述統計の作成を行える。

sum(is.finite(dta$weight)) # 観察数:体重
[1] 13
mean(dta$weight, na.rm = TRUE) # 平均:体重
[1] 77.93476
sd(dta$weight, na.rm = TRUE) # 標準偏差:体重
[1] 34.53758
min(dta$weight, na.rm = TRUE) # 最小値:体重
[1] 31.74603
max(dta$weight, na.rm = TRUE) # 最大値:体重
[1] 140.5896

Rの関数と引数

ここで平均を計算するmean()関数を見てみよう。一般に関数の中に書き込むもの引数(ひきすう:argument)と呼ぶ。mean()の最初の引数には平均を計算したいベクトル形式のオブジェクトを書き込む。次のna.rm = TRUEは欠損値を無視するというオプションを指定する引数である。

なおここで今回の第一引数はdta$weightとなっている。$演算子を使うことで、データフレームの中の変数ベクトルを取り出すことができる。したがって変数をドーナツに変える場合は以下のようにする。

sum(is.finite(dta$donuts)) # 観察数:ドーナツ
[1] 13
mean(dta$donuts, na.rm = TRUE) # 平均:ドーナツ
[1] 5.407692
sd(dta$donuts, na.rm = TRUE) # 標準偏差:ドーナツ
[1] 6.854769
min(dta$donuts, na.rm = TRUE) # 最小値:ドーナツ
[1] 0
max(dta$donuts, na.rm = TRUE) # 最大値:ドーナツ
[1] 20.5

散布図の作成

記述統計の次に行うべきは散布図の確認である。ドーナツを食べるほど体重は増えるのか、散布図をプロットして変数間の関係を確認できる。また、どれが外れ値なのかも確認できる。以下のコマンドと実施結果を見る限り、ドーナツを食べると体重は増えそうである。外れ値はなさそうである。

plot(dta$donuts, dta$weight)

二変量回帰分析

二変量モデルのOLS推定

独立変数\(X\)と従属変数\(Y\)を以下のようにモデル化する。

\[ Y_i=\beta_{0}+\beta_{1}X_i+\varepsilon_{i} \]

この時、\(\beta_{0}\)は切片で、\(X\)の値が0の時の\(Y\)、\(\beta_{1}\)は傾きで\(X\)の値が1単位増大した時に\(Y\)がどれくらい増えるか、\(\varepsilon\)は誤差項で、\(X\)以外に\(Y\)に影響を与える要因全てである。

傾き\(\beta_{1}\)と切片\(\beta_{0}\)をそれぞれ最小二乗法(OLS)を使って推定した値をそれぞれ\(\hat{\beta}_{0}\)と\(\hat{\beta}_{1}\)とすると、以下の通り計算される(\(\bar{X}\)と\(\bar{Y}\)はそれぞれ\(X\)と\(Y\)の平均)。

  • 傾き:\(\hat{\beta_{1}}=\frac{\sum(X_i-\bar{X})(Y_i-\bar{Y})}{\sum(X_i-\bar{X})^2}\)
  • 切片:\(\hat{\beta_{0}}=\bar{Y}-\hat{\beta_{1}}\bar{X}\)

上記のOLS推定値のばらつきを標準誤差(standard error)と呼ぶ。一定の条件を満たす場合、傾き\(\hat{\beta_{1}}\)の標準誤差は\(\operatorname{se}(\hat{\beta_{1}})=\sqrt{\operatorname{var}(\hat{\beta_{1}})}=\sqrt{\frac{\hat{\sigma}^2}{N\times\operatorname{var}(X)}}\)で計算できる。母集団における真の傾きを\(\beta_{1}\)とした場合、推定される\(\hat{\beta_{1}}\)は\(\beta_{1}\)を期待値、\(\operatorname{se}(\hat{\beta_{1}})=\sqrt{\frac{\hat{\sigma}^2}{N\times\operatorname{var}(X)}}\)を標準偏差とする正規分布にしたがう。

OLSの実装と解釈

OLS推定をR上で実施するにはlm()関数を使う。lm()関数に限らず、Rではコマンドのヘルプを?関数で閲覧できる。?lmと入力すると、lm()関数の使い方が載っている3。lm()関数の第一引数はformulaであり、y ~ xのように従属変数と独立変数をモデル化する。data引数では使うデータを指定する。

ここでドーナツデータを使い、ドーナツと体重の二変量モデルをOLS推定してみよう。以下のコマンドで推定を実施し、OLS_resultというオブジェクトに保存できる。

OLSresult <- lm(weight ~ donuts, data = dta)

このOLS_resultオブジェクトをもう一度コンソールに打ち込んでも良いが、これだと結果がシンプルすぎる。以下のようにsummary()を使って結果をわかりやすく表示できる。

summary(OLSresult)

Call:
lm(formula = weight ~ donuts, data = dta)

Residuals:
    Min      1Q  Median      3Q     Max 
-42.238  -4.299   0.343  15.922  24.976 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  55.6080     7.4200   7.494 1.21e-05 ***
donuts        4.1287     0.8707   4.742 0.000608 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 20.68 on 11 degrees of freedom
Multiple R-squared:  0.6715,    Adjusted R-squared:  0.6416 
F-statistic: 22.48 on 1 and 11 DF,  p-value: 0.0006078

上記で注目すべきはまずCoefficietsの欄である。

  • Estimateはそれぞれ切片(intercept)とdonutsの傾きを表している。(intercept)が55.6ということは、ドーナツを全く食べていない場合の平均体重は55.6キロ程度ということである。donutsの傾きは4.13だが、これはドーナツを週一個多く食べるごとに体重が4.13キロ増えることを意味する。
  • Std. Errorでは切片および傾きの標準誤差が表示されている。donutsの標準誤差を見ると0.87程度だが、これが傾きの推定値のばらつきを表している。
  • t valueとPr(>|t|)は統計的仮説検定に関わる。詳細は次週以降。

次に決定係数\(R^2\)もわかる。下から2行目のMultiple R-squaredがそれで、この結果では0.67くらいである。体重のばらつきの67%がこのモデルで説明されていることを意味する。4

分析結果を散布図上に書き込む

以上の分析から、ドーナツと体重の関係は\(体重_{i}=55.6+4.13\timesドーナツ_{i}\)であると推定された。この式が表す直線は以下のコマンドで散布図上に描ける。

plot(dta$donuts, dta$weight)
abline(OLSresult)

一部のデータを使った分析

上記の分析では13人全員分のデータを使ってOLS推定を行ったが、lm()関数のsubsetオプションを使えば条件にあった一部のデータだけを使って推定できる。

例えば、男性だけで分析したい場合は以下のコマンドでできる。今回は切片が60.14、傾きが3.86になっているのに注意。

OLSresult_Male <- lm(weight ~ donuts, data = dta,
                     subset = (male == 1)) # ==と2回続けるのに注意
summary(OLSresult_Male)

Call:
lm(formula = weight ~ donuts, data = dta, subset = (male == 1))

Residuals:
   Min     1Q Median     3Q    Max 
-45.40  -2.54  10.61  13.87  21.27 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   60.140     10.883   5.526 0.000882 ***
donuts         3.855      1.081   3.565 0.009164 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 23.7 on 7 degrees of freedom
Multiple R-squared:  0.6448,    Adjusted R-squared:  0.594 
F-statistic: 12.71 on 1 and 7 DF,  p-value: 0.009164

例えば、大人だけで分析したい場合は以下のコマンドで。切片は63.64、傾きは3.79になった。

OLSresult_Adult <- lm(weight ~ donuts, data = dta,
                     subset = (child == 0)) # ==と2回続けるのに注意
summary(OLSresult_Adult)

Call:
lm(formula = weight ~ donuts, data = dta, subset = (child == 
    0))

Residuals:
     Min       1Q   Median       3Q      Max 
-30.2010  -7.6807   0.3041   9.2366  17.9660 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  63.6414     5.7463  11.075 1.52e-06 ***
donuts        3.7877     0.6287   6.025 0.000196 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 14.49 on 9 degrees of freedom
Multiple R-squared:  0.8013,    Adjusted R-squared:  0.7792 
F-statistic:  36.3 on 1 and 9 DF,  p-value: 0.0001964

Homerを除外する場合は以下。切片は55.69、傾きは3.91。

OLSresult_NoHomer <- lm(weight ~ donuts, data = dta,
                     subset = (name != "Homer")) 
# 名前は文字列なので""は忘れない。
# また!=はノットイコールを意味する。
summary(OLSresult_NoHomer)

Call:
lm(formula = weight ~ donuts, data = dta, subset = (name != "Homer"))

Residuals:
    Min      1Q  Median      3Q     Max 
-41.229  -8.296   2.866  16.494  25.551 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  55.6862     7.6486   7.281 2.66e-05 ***
donuts        3.9112     0.9688   4.037  0.00237 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 21.31 on 10 degrees of freedom
Multiple R-squared:  0.6198,    Adjusted R-squared:  0.5817 
F-statistic:  16.3 on 1 and 10 DF,  p-value: 0.002371

頑健標準誤差(時間があれば)

傾き\(\hat{\beta_{1}}\)の標準誤差は基本的に\(\operatorname{se(\hat{\beta_{1}})}=\sqrt{\frac{\hat{\sigma}^2}{N\times\text{var}(X)}}\)で計算できるが、誤差項の均一分散や誤差項同士の相関がない場合に限られる。不均一分散や誤差項同士の相関が生じている場合には、頑健標準誤差(robust standard errors)という別の計算式を使った標準誤差を使う。

実は頑健標準誤差はRのデフォルト機能では計算できない。ここで使うのはパッケージである。パッケージとはRに機能を追加するもので、ゲームで言ったらMODとかに近い(多分)。今回はAERパッケージをインストールし、Rに組み込む。インストールはinstall.packages()5でできるが、これは基本一回やればよい。その上でlibrary()コマンドを実行して、Rに組み込む。library()コマンドで組み込んだパッケージはセッションを立ち上げるたびにリセットされるので、その度に実行し直すこと。

install.packages("AER") # これは一度だけで大丈夫

The downloaded binary packages are in
    /var/folders/hy/0rwqjktd7mb2ycrqdj1w7pgc0000gn/T//RtmpHhCSbp/downloaded_packages
library(AER) # これはセッションのたびに実行
Loading required package: car
Loading required package: carData

Attaching package: 'car'
The following object is masked from 'package:dplyr':

    recode
The following object is masked from 'package:purrr':

    some
Loading required package: lmtest
Loading required package: zoo

Attaching package: 'zoo'
The following objects are masked from 'package:base':

    as.Date, as.Date.numeric
Loading required package: sandwich
Loading required package: survival

以上ができたら、coeftest()関数で頑健標準誤差を計算できる。vcov = vcovHCオプションで不均一分散を考慮した標準誤差を指定している

summary(OLSresult) # デフォルトの分析結果

Call:
lm(formula = weight ~ donuts, data = dta)

Residuals:
    Min      1Q  Median      3Q     Max 
-42.238  -4.299   0.343  15.922  24.976 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  55.6080     7.4200   7.494 1.21e-05 ***
donuts        4.1287     0.8707   4.742 0.000608 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 20.68 on 11 degrees of freedom
Multiple R-squared:  0.6715,    Adjusted R-squared:  0.6416 
F-statistic: 22.48 on 1 and 11 DF,  p-value: 0.0006078
# 頑健標準誤差を使った分析結果
coeftest(OLSresult, vcov = vcovHC(OLSresult, type = "HC1"))

t test of coefficients:

            Estimate Std. Error t value  Pr(>|t|)    
(Intercept) 55.60799    7.68225  7.2385 1.668e-05 ***
donuts       4.12871    0.48053  8.5920 3.293e-06 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

最初のモデルと結果を見比べると、切片と係数の値(Estimate)自体は同じである一方、標準誤差Std. Errorの値が変わっている。

次回までに

事後学習

  • 授業資料を見直し、目標到達をセルフチェック
  • WebClass上でのR実習課題(日曜日まで)

事前学習

  • 教科書(第4章冒頭および4.1-4.3: pp.125-146)を読む。

脚注

  1. 前回のRData形式とは違い、RDS拡張子になっている点に注意。↩︎

  2. すでにポンドからは変換されている。↩︎

  3. 全て英語なので、わからなかったら生成AIで翻訳をかけよう。↩︎

  4. 隣のAdjusted R-squaredは調整済み決定係数である。データに投入したモデルの数を調整したものであり、実際のデータ分析ではこちらを見ることが多い。↩︎

  5. よく忘れてしまうが、““をつけないと動作しない。↩︎