Нещодавнє дослідження великомасштабного емпіричного аналізу (опубліковане на сервері препринтів) показало, що штучний інтелект може бути цінним інструментом для пошуку відгуків про якість опублікованих статей після виявлення збігів у питаннях, піднятих GPT-4 і рецензентами. Наприклад, для журналів Nature середнє збіг між GPT-4 і рецензентом становило 30,85 %, а збіг між двома рецензентами — 28,58 %. Однак інші попереджають про необхідність критично оцінювати правдивість оглядів, створених ШІ.

Наразі інструменти штучного інтелекту корисні для попередньої перевірки рукописів, щоб перевірити обсяг журналу, підтвердити автентичність авторів та їхню приналежність, визначити відсутні елементи, такі як малюнки та таблиці, і запропонувати потенційних рецензентів. Однак питання полягає в тому, наскільки ефективними були б ці боти зі штучним інтелектом, якщо ми повинні покладатися на їхні відгуки без участі людини:

• LLM, такі як ChatGPT, покладаються на базу даних з обмеженим доступом для сканування Інтернету для пошуку всієї доступної інформації. Отже, LLMs навряд чи зберуть повну довідкову інформацію.
• LLM ефективні в підбиванні підсумків роботи над рукописом і внесенні пропозицій щодо додаткової роботи. Однак бракує критичного аналізу результатів у контексті раніше опублікованих робіт або виявлення новизни.
• Цікаво, що ChatGPT і Bing AI Chat надають запит на рецензування наукової статті у відповідь на підказку користувача, тобто кінцевий відгук залежить від того, як сформульовано запит на рецензування. Якщо запит полягає в написанні негативного відгуку, бот створює відгук із критичними оцінками, які висвітлюють недоліки та рекомендує не публікувати. Приклади цих двох різних рецензій, створених ChatGPT-2 і Bing AI Chat для тієї самої гіпотетичної назви статті, представлено тут.
• ШІ-боти сприйнятливі до упередженості та дискримінації.
• Відомо, що ШІ-боти, такі як ChatGPT, посилаються на нереальні джерела. Враховуючи цей недолік, боти ШІ погано оснащені для перевірки цитованих посилань у рукописі або створення надійних нових пропозицій під час обговорення раніше опублікованої роботи.
• ШІ-боти навряд чи розпізнають нові винаходи, для яких існує мінімальна попередня наукова база або довідкова інформація.

Джерело: https://arxiv.org/abs/2310.01783

#рукопис #журнал #рецензування #ШІ #LLM #ChatGPT #ШІ-боти #technologycenter