У журналі Nature опублікована стаття, в якій йдеться про те, що в деяких сферах соціальних наук близько половини досліджень не можуть бути відтворені. Нова ініціатива, спрямована на швидке тестування та безвідмовність, була націлена на те, щоб показати які дослідження актуальні, а які ні.

У жовтні 2022 року автори згаданої статті провели спеціальний семінар у дослідному центрі в Осло, щоб спробувати відтворити статті з економічних журналів. Замість жменьки місцевих жителів, які мали бути присутніми, на захід записалися 70 людей з усієї Європи. Ідея була зрозумілою: дослідники хочуть повторити дослідження.

Відтворюваність вкрай необхідна в таких областях соціальних наук, як економіка, філософія та психологія, деякі дослідження показують, що з 35 % до 70 % опублікованих результатів неможливо відтворити під час перевірки з новими даними. Часто дослідники не можуть навіть відтворити результати, використовуючи ті ж дані та код, що у вихідній статті, оскільки ключова інформація відсутня.

Проте більшість журналів не публікуватимуть про відтворення, якщо вони не спростовують впливову статтю. В галузі економіки менше ніж 1 % статей, опублікованих у 50 провідних журналах у період з 2010 по 2020 рік, являли собою той чи інший тип відтворюваності. Це говорить про те, що багато досліджень з помилками залишаються непоміченими.

Після семінару в Осло автори вирішили спробувати зробити зусилля щодо відтворення результатів у своїх галузях економіки та політології більш систематичними. Їхня віртуальна некомерційна організація, Інститут реплікації, тепер проводить одноденні семінари, які називаються іграми з реплікації, для перевірки результатів досліджень.

З жовтня 2022 року було проведено 12 семінарів у Європі, Північній Америці та Австралії, ще три заплановані на цей рік. У кожному семінарі зазвичай беруть участь близько 65 дослідників у групах по 3–5 осіб, які повторно аналізують близько 15 статей. Команди або намагаються відтворити статті, генеруючи нові дані та знову перевіряючи гіпотези, або намагаються відтворити їх, перевіряючи, чи збережуться результати при повторному аналізі опублікованих даних. У багатьох статтях в областях досліджень, в яких відтворення результатів часто включає повторний запуск комп'ютерних кодів, більшу частину цієї роботи можна виконати за один день (див. «A typical replication games project»). Результати кожної команди публікуються у вигляді звітів-препринтів, і ці звіти будуть зіставлятися та публікуватись щороку у вигляді мета-документу.

Джерело: https://www.nature.com/articles/d41586-023-02997-5

#публікація #статті #соціальні_науки #відтворення_результатів #дослідження #журнал #Nature #technologycenter