Хакатон, організований платформами обчислювальної та дослідницької спільноти Hugging Face та alphaXiv, поставив амбітне питання: чи можуть агенти штучного інтелекту дозволити перевіряти наукові роботи в масштабах, які дедалі більше недоступні для рецензентів-людей?

Цей конкурс був найбільшою на сьогодні спробою використати штучний інтелект для відтворення статей, представлених на великій технічній конференції. Багато учасників не були експертами зі штучного інтелекту за освітою. Тим не менш, зрештою вони розглянули понад 2000 статей і виявили сотні результатів, які агенти штучного інтелекту не змогли відтворити або які вважалися непідтвердженими доказами. Наразі організатори хакатону підтвердили, що щонайменше десяток статей містять реальні помилки, які пропустили рецензенти конференції.

В останні роки кількість заявок на конференції з інформатики різко зростала. Цього року Conference on Machine Learning (ICML) прийняла близько 6000 статей, що майже вдвічі більше, ніж роком раніше. Але кількість рецензентів зростала не так швидко, і цей дисбаланс довів систему рецензування до критичної точки. Чи може штучний інтелект допомогти у рецензуванні, є предметом запеклих дискусій, оскільки цей процес часто вимагає оцінки новизни чи значущості.

Джерело https://www.science.org/content/article/researchers-presented-6000-papers-major-meeting-could-ai-reproduce-their-findings

Ще одна гучна справа зацікавила науковців. Прочитати зараз