衝撃的なデータほどまずはソースを見る
先日、センセーショナルなデータほどソースをきちんと眺めてみることをの重要性を記載したブログを書きました。（引用：センセーショナルなデータほどソースが大事）
さらにその応用、一歩先に進んで情報の正しさについて考えていきたいと思います。
心理学の研究はすべて嘘なのか
実は、心理学の研究で、「センセーショナルな結果だけが共有され、再現可能性が疑問なまま信じられてきた」という過去がありました。昔の話ではありません。つい最近明らかになったことです。
2015年、米科学誌サイエンス「Science」誌にある論文が掲載されました。査読付きの主要な学術誌に掲載された心理学や社会科学の論文について、再現可能性を検討したところ、なんと同じ結果が得られたのは39％にすぎなかったと言います。
つまり、「同じことをやってみたけど、同じ結果になったのは１／３程度だったよ。」ということを意味しています。同じ結果になった割合が低かったのにはいろいろな理由があることでしょう。
- 何度もテストを繰り返すなど恣意的な統計データの獲得
- 外れ値の操作（ｐ値を操作するために外れ値を外したり、加えたり・・・）
- 著者自身の確証バイアス（合っているであろう的なことを前提に実験を始めてしまうことにより無意識による操作が入っている可能性）
- 既存の結果ではなく常に新たな結果が求められる業界の慣習
などがあり、時に同僚の意図的なデータの操作を見たことがあるとの証言も確認されており、論文に書かれているから、絶対に正しい、ということはないのです。それが査読付きで、信用に値すると第三者が認めたものであってもです。
あと、日本語に変換するときも注意が必要です。本当は論文は原典から探ったほうがよく、日本語に翻訳されるときに全く違う解釈で翻訳される可能性もあります。
先日、「数学」と翻訳されている一般向けのニュースサイトで、ソースを調べてみたところ、「numeracy」と書かれていた論文を直訳で数学と訳してしまっていたケースががありました。numeracyだと若干ニュアンスが異なるので、数学と直訳するのは少し筋違いだと思います。数学的思考、数的思考の方が適正だと思います。
もちろん、誰もが可能な限り、正しいものをと努めていることは間違いありませんが、人間である限り、ある程度結果ありきで調査データを操作してしまうこともありうる可能性があると想定しておいた方がよいと思います。
どうデータの信憑（ぴょう）性と向き合うべきか
どう向き合っていったらいいかと言えば、まずは、ソース（情報源）を見て信用に値するかを調べること。たとえ信用に値するっぽかったとしても、前提は、すべて丸投げで信じないことです。「そうなのかな？」と思いながら、中途半端に宙ぶらりんな状態にしておくのです。不安に思うかもしれませんが、真に正しさを求める態度としては正しい態度だと信じています。
もちろん、正しい結果だけ受け入れていくというのも難しいことで、現実的ではないことだとは思います。ある程度は信じたほうが楽しいときもあります。でも、間違いないのは、面白いからといって、すぐに受け入れる態度は改めたほうが良さそうです。
引用：Estimating the reproducibility of psychological science
＜文／堀口智之＞