再現性の危機

01概要カード

有名な心理学実験を追試しても結果が再現しないことが多いと判明し、科学の進め方そのものが問い直された問題。

論文に載った有名な実験結果を、別の研究者が同じ手順でやり直すと、同じ結果が得られない。2000年代以降、心理学を中心にそんな報告が相次ぎ、2015年には心理学論文100本を対象とする大規模な再現プロジェクトの結果が公表された。問いの矛先は個々の実験の成否にとどまらず、「有意な結果だけが出版されやすい」といった科学の仕組みそのものに向けられた。ここで問われているのは、科学的知識への信頼をいったい何が支えるのか、である。

このページのポイント

• 2015年の大規模追試: 有意だった97本のうち、追試でも有意は約36%
• 原因は不正だけではない: 出版バイアスや分析の選び直しなど、仕組みの問題
• 対策: 事前登録・登録報告・データ公開というオープンサイエンスの動き

タグ: 再現性 / オープンサイエンス / 出版バイアス / pハッキング

関連エントリ

02対話編：ヒロシとミカ

（帰り道。ヒロシがスマホで見た心理学の話題を持ち出す）

ヒロシ

ネットで話題になってた心理学のやつ、試してみたんだ。「これをすると集中力が上がる」みたいな実験。……俺には何も起きなかった。

ミカ

そういう実験、有名なやつでも、別の研究者が同じ手順でやり直すと再現しないことがけっこうあるらしいよ。

ヒロシ

え、論文になってるのに？

ミカ

2015年に心理学の論文100本を大人数で追試したプロジェクトがあって。もとの論文で「効果あり」ってなってた97本のうち、追試でも効果ありになったのは約36%だったって。

ヒロシ

半分以下じゃん。じゃあ元の研究、嘘ついてたってこと？

ミカ

そう決めつけるのも違うらしくて。本人にその気がなくても、「うまくいった結果」だけが論文になりやすい仕組みがあって、分析のやり方を結果を見ながら選んじゃう、みたいな偏りが積み重なるらしい。

ヒロシ

うーん。でも、追試した側の腕が悪かった、って可能性は？

ミカ

それも含めて議論になるみたい。だから今は、実験の前に仮説と分析の計画を登録しておく「事前登録」みたいな対策が広がってる。後からずらせないように。

ヒロシ

なるほどな。……じゃあ俺の「試したけど何も起きなかった」も、再現失敗の報告として1件、提出していい？

ミカ

サンプル数1名。しかも途中で10分寝てる。……それは追試じゃなくて事故だと思う。

03データ編

2015年の大規模再現プロジェクト

2015年、国際的な研究者集団「オープン・サイエンス・コラボレーション」（Open Science Collaboration）は、心理学の主要3誌に2008年に掲載された論文100本を選び、独立したチームが同じ手順で追試した結果を科学誌『サイエンス』に報告した。

もとの論文で統計的に有意な結果が得られていたのは97本。そのうち追試でも有意な結果が得られたのは36本、約36%にとどまった。効果の大きさ（効果量）の平均も、もとの研究のおよそ半分程度に縮んだ。ただし「再現したかどうか」の割合自体、何を基準に判定するか（有意かどうか、効果量の信頼区間に入るかどうか等）によって変わる数値であり、この36%という数字も1つの判定基準のもとでの報告である。

なぜ再現しないのか

原因として指摘されてきたのは、個々の研究者の不正だけではない。むしろ、善意の研究者でも陥りやすい、研究と出版の仕組みの問題が中心に議論された。

出版バイアス： 思い通りの結果が出た研究は学術誌に載りやすいが、出なかった研究は公表されないままになりやすい（「お蔵入り」問題）。公表された記録だけを見ると、実際以上に効果があるように見える。

pハッキング: データの集め方や分析の方法には多くの選択肢があり、結果を見ながら「有意になるまで」選択肢を試すと、本当はない効果が「ある」という結果が出てしまう。シモンズらは2011年の論文で、こうした柔軟な運用だけで偽の発見が量産されうることを実演した。

HARKing: 結果を見てから仮説を作り、最初からその仮説を検証していたかのように報告する進め方。カーが1998年に名づけた。

このほか、参加者数が少なく統計的検出力が不足した実験では、偶然の変動が大きな効果に見えることもある。2011年に、予知のような現象を実験で示したと主張する論文が心理学の一流誌に掲載されたことも、査読や統計の運用のあり方への疑問が広がるきっかけの一つになった。

心理学の外へ

再現の試みは心理学にとどまらなかった。経済学の実験や、科学誌『ネイチャー』『サイエンス』に載った社会科学の実験でも大規模な追試が行われ、再現の割合は分野や対象によって異なった。がん研究など生物学の分野でも再現プロジェクトが進められている。

科学哲学の観点では、再現可能性は科学的知識の信頼を支える条件の一つとして改めて議論の対象になった。たとえば、否定的な結果が公表されなければ「反証された」という事実自体が記録に残らないため、反証可能性の考え方も出版の仕組みと無関係ではいられない、といった論点である。議論は、個別の有名な実験が「正しかったか間違いだったか」の判定を超えて、科学という営み全体の自己修正の仕組みへ向けられている。

対策：オープンサイエンス

対策として広がったのが、研究の過程をあらかじめ開いておく「オープンサイエンス」の一連の取り組みである。

事前登録: 実験の前に、仮説と分析計画を公共の登録簿に記録しておく。結果を見てから仮説や分析を差し替える余地が減る。

登録報告（Registered Reports）: 結果が出る前に計画の段階で査読し、方法が妥当なら結果の内容によらず掲載を内定する形式。出版バイアスへの直接の対策である。

データと材料の公開: 他の研究者が同じデータで分析を検証したり、同じ材料で追試したりできるようにする。

大規模な共同追試: 多くの研究室が同じ実験を一斉に行う「Many Labs」のような形式で、1つの研究室の事情に左右されにくい結果を得る。

いずれも、疑う姿勢を個人の努力ではなく制度の中に組み込もうとする試みである。

04AI分析

意見が分かれる分岐点

分かれ目は、再現しなかった原因をどこに置くかである。もとの実験の主張が誤っていたと見るか、追試の条件や判定基準の違いと見るかで、科学的知識への信頼の置き方が変わってくる。

前提の違い

• 科学的知識の信頼は、個々の研究者の誠実さに依存すると見るか、検証の仕組みに依存すると見るか
• 「再現したかどうか」を、統計的有意性だけで判定するか、効果量など複数の基準で見るか
• 否定的な結果（再現しなかったという報告）に、肯定的な結果と同等の公表的価値があると考えるか

現代への接続

• 事前登録や登録報告の広がりで、研究計画の立て方や論文の書き方自体が変わりつつある
• SNSで広まる「心理学で分かった」という言説を、どこまで信用するかを見分ける目安になる
• 生成AIによる大量の論文生産が、審査と再現の負担をさらに増やすという新たな論点

※ AI分析は事実の整理と解釈の提示であり、特定の立場への断定ではありません。

05出典・参考文献

• Open Science Collaboration (2015), “Estimating the reproducibility of psychological science”, Science, 349(6251)
• Simmons, Nelson & Simonsohn (2011), “False-Positive Psychology”, Psychological Science, 22(11)
• Kerr (1998), “HARKing: Hypothesizing After the Results are Known”, Personality and Social Psychology Review, 2(3)
• Ioannidis (2005), “Why Most Published Research Findings Are False”, PLoS Medicine, 2(8)

書籍リンクは収益ゾーンとしてこの出典セクションに置く方針（試作では実際のリンクは入れていません）。