研究・実験で再現性が取れない理由と対策

研究室

研究をしていると論文通りにしているのに再現性が取れない・・・
先輩の研究を引き継いで同じ要領で実験しているのに再現性が取れない・・・


っていうことはないでしょうか。僕も修士のときよくこの問題に悩まされていました。

でも実際は本記事で紹介する理由がほとんどでそれらを抑えておけば解決する可能性が高いです。
全て解決できるとは言えませんが、基本的なことですので再現性が取れず困っている場合はぜひ参考にしてみてください。

※注意として分野によって多少再現性の捉え方が異なりますのでご了承ください。

✔本記事の内容

・再現性が取れないのは日常茶飯事
・試行回数が圧倒的に不足しているケース
・手順に相違がないか丁寧に確認する
・外的要因を1つずつチェックする


僕は2020年3月に大学院を卒業した社会人です。
学部では2回留年するほどのポンコツでしたがそんな僕でも研究で査読付き論文投稿(審査中)を果たせたので研究をもっと広くみんなに出来るようになってもらいたいと思い記事を作っています。

本記事の結論を言ってしまうと、再現性が取れない問題の多くがその認識の違いにあります。多くの実績を上げている研究者ほど再現性が取れないのは当たり前という認識があり、それを試行回数を増やすことで解決しています。その理由は3つ:再現性が取れない場合の原因が研究の論点ではない・熟練度が足りないだけ・排除できない外的要因です。

再現性が取れないのは日常茶飯事

そもそも再現性が取れないといったときの認識について改めてほしく(現実を知って欲しく)それについて以下にまとめています。

上位論文誌であっても実験をしてみると再現性が取れないということは日常茶飯事です。
>>参考:我々は「STAP問題」の本質を完全に見誤っていた! BBCも理学博士も断言「実験が再現できないのは日常茶飯事」

時間があれば上記の記事を参考にしてみて欲しいのですが、例えその論文を書いた本人でさえ再現できないなんてこともあるくらいです。

研究としてダメなのでは?と思うかもしれませんし、実際再現性が取れないというのは問題としてあるのですが、それを全科学者に要請すると科学技術が発展しなくなるという問題があります。

というのも、研究…特に小さなスケールを対象とした研究をしているとどうしても外的要因を取り除けない場面や、そもそも現在の技術では解決できないような不確定要素が絡んできます。

これは僕の感覚ですが、暗黙の了解で例えば実験で100回試行した内90回失敗しても残りの10回で再現性が取れていれば問題ないとみなされます(実際に外部にそのような情報はでていませんが)。なぜなら、残り90回の失敗要因は、どうしても取り除けない対象者本人の熟練度・ナノスケールで起こりうるエラー・機械がもつエラーなど、様々あります。


確かにそのエラーについて解決して再現性を上げる努力をしろとか、その問題が重要なんじゃないのか?、と言いたくなるかもしれませんが、だいたいそういった指摘は論点とは関係ない場合が多く的外れだと一蹴されます。

とはいってもこの認識については経験を積み重ねないと中々納得できない部分はあると思いますが、ひとまず再現性が取れなくても実験系のせいにするのではなく、試行回数がそもそも足りているのか、数回実験をして諦めていないか、と考えてみてください。

試行回数が圧倒的に不足しているケース

上記で少し触れましたが、やはり試行回数を増やさないと分からないことが多くあります。

試行回数を増やすことで、あなたの実験に対する熟練度が上がり再現性が取れるようになったり、そもそもどれくらいの確率で再現性が取れるのか感覚的に分かってくると思います。

状況にもよりますが、例え成功確率が50%であっても僕だったら「割といい確率」だと思って実験をします。
もちろん排除できそうな外的要因であれば解決する手段を模索しますが、基本的には同時並行で進めて、どちらかといえばデータをとる量を優先して実験をした方が効率的であることが経験的にわかっています。

手順に相違がないか丁寧に確認する

当たり前ですが、1つずつ手順に間違いがないか、そもそも方法が間違いないかチェックしていきましょう。

もし先輩の引継ぎであれば、一緒に作業しながらお互いに違いがないか確認し合いましょう。

それでも再現性が取れない場合は、熟練度の問題である可能性が高いので、基本的には上記で書いた試行回数を増やす方向で進めることをオススメします。

もし先輩でも再現性が取れない場合は外的要因である可能性が高いので下記章を読んでみてください。

外的要因を1つずつチェックする

Photo-by-bruce-mars-from-Pexels

外的要因は様々あり中々特定しづらいものです。

サンプル作製においても基本マシンベースで進めばいいのですが、研究となると新規性のあるものを作るのでどうしてもハンドリングを必要とする作業が出てくると思います。

基本的には外的要因はそのハンドリングを要する作業から発生している場合が多いので、そこに着目し出てきた結果と照らし合わせながら原因を探ることをオススメします。

僕の場合、共同研究である時期から再現性が全く取れず悩んでいた時期がありましたが、原因を探っていると季節(6月)・湿気が原因でサンプルにダメージが入っていました。もちろん対策はとっていたつもりだったのですが、思わぬところで影響を及ぼしており、発見するのに時間がかかったなんてこともありました。

まとめ

今回紹介した内容はあくまで大学のラボレベルでの話が中心です。

企業であれば生産ラインにもっていく必要があるので本記事での認識だとかなり厳しい考え方になるので注意する必要があります。

逆に言うとやはりそれだけ大学のラボレベルの研究は創作性に富んでいると見ることもできるかもしれませんね。