【論文メモ】29組のデータアナリストに同じデータセットと同じ質問を与えても、分析結果がバラバラだったという研究
どんなもの？
29グループ（計61人）のデータアナリストに、同じデータセットと同じ質問を与えたときの分析アプローチのバラツキを分析。質問は「サッカーの主審は、肌の白い選手に比べて肌の黒い選手にレッドカードを与える可能性が高いですか？」。
分析アプローチはチーム間で大きく異なり、オッズ比で0.89から2.93の範囲だった（中央値は1.31）。20チーム（69％）が統計的に有意な正の結果を示した一方で、9チーム（31％）は有意な関係を示さなかった。
これらの知見は、たとえ真摯な専門家集団であっても、複雑なデータの分析結果に主観的な要素が入り込むのは避け難いことを示唆している。 分析を透明化する手段として、同じ研究課題を同時に調査するために多数の研究チームを採用する「クラウドソーシング」が有用であると提言している。
論文リンク
- http://journals.sagepub.com/doi/10.1177/2515245917747646
- https://www.researchgate.net/publication/320041452_Many_analysts_one_dataset_Making_transparent_how_variations_in_analytical_choices_affect_results
著者/所属機関
R. Silberzahn et.al
媒体
SAGE Journals
投稿日付
First Published August 23, 2018
所感
単純にバラツキの大きさに驚き。自分も同じデータセットで追実験して、オッズがどういう結果になるか確認したい。
データアナリストとして真摯に受け止めて熟読すべきは、論文の結論に含まれた考察部分。どうやっても完全に「客観的」はあり得ないので、その中でどうやって意思決定に値する分析をしていくかを考えさせられる論文だった。
