A way of thinking

筆者個人の思考過程です。意見には個人差があります。

伊庭幸人. 1999. モデル選択とその周辺. 物性研究 72:1-20.

デスクトップに長いこと放置してあった解説記事(?)。よく理解できた自信はないですが,思ったより難しくなかったような気がする(適宜読み飛ばしましたが)。AICしか使った経験がないし,他もよく調べたことはないのですが,その周辺の内容が書かれていました(とバクとした説明しかできない)。以下,本文の抜粋。特に三番目が「ええ?」って感じだったのですが,引用されている論文は(数式だらけで)読めませんでした。詳細をご存じの方は何か教えてください。

  • 統計学とかは何か」(中略)いいかえれば,「現実の世界から可能な世界(の集合)を構成する技術」ともいえる。
  • 「モデルに自分自身を評価させる」というのがAICのひとつのポイントであると考えられる。
  • AICもパラメータkについて可能なモデルの数が指数的に多くなるようなケースではうまくいかない(脚注:たとえば,重回帰分析ですべてのsubmodel(可能な説明変数の数がK個とすると2^k個)の比較を行う場合には,AICは本来は使えない)。
  • データ数の増大はパラメータの精度の増大よりも,モデルの複雑さ(有効なパラメータ数)の増加をもたらす。したがって,BICやMDLのlog(N^0.5)というパラメータ精度を示す因子は現れないことになる。