Чому не варто користуватися пошуковим інструментом ChatGPT?

OpenAI запустив новий пошуковий інструмент на основі ChatGPT, який, за словами компанії, дозволяє видавцям контролювати використання їхнього контенту, вказуючи параметри доступу у файлі «robots.txt» на своїх вебсайтах. На відміну від початкового розгортання ChatGPT два роки тому, коли видавці дізналися, що OpenAI зібрав їхній вміст без повідомлення чи згоди для навчання своїх базових моделей, це може здатися покращенням. Проте, дослідження Tow Center показало, що чатбот часто неправильно цитує джерела, попри заяви компанії про точність. Це викликає занепокоєння щодо надійності нового інструмента пошуку та його потенційного впливу на видавців. Ось перелік проблем, які було виявлено Tow Center.
"ВПЕВНЕНО" ПОМИЛЯЄТЬСЯ
Дослідники протестували здатність ChatGPT точно визначати джерело цитат. Результати показали, що чат-бот часто надавав неправильні відповіді, навіть коли не міг знайти точного джерела. На відміну від традиційних пошукових систем (наприклад, Google або Bing), ChatGPT рідко визнавав свою нездатність знайти відповідь, замінюючи її вигаданими даними. Це може вводити користувачів в оману та завдавати шкоди репутації видавців, оскільки їхній контент може бути неправильно приписаний. Така поведінка чат-бота підкреслює необхідність критично оцінювати інформацію, отриману від штучного інтелекту.
КОПІЮВАЛЬНІ ДЖЕРЕЛА
OpenAI заявляє про здатність знаходити якісний контент, але дослідження показало, що чатбот часто посилається на плагіатні або синдиковані версії статей, ігноруючи оригінальні джерела. Наприклад, замість того, щоб цитувати оригінальну статтю New York Times, ChatGPT послався на сайт, який її скопіював. Це викликає занепокоєння щодо якості джерел даних, які використовує ChatGPT, та його здатності точно визначати авторство. Така поведінка може призвести до розмивання брендів видавців, оскільки їхній контент може бути представлений без належного визнання, і стимулювати плагіат.
НЕПЕРЕДБАЧЕНА (НЕПРАВИЛЬНА) АТРИБУЦІЯ
ChatGPT може надавати різні відповіді на однаковий запит через налаштування моделі, яке дозволяє їй генерувати різноманітні варіанти тексту. Це означає, що чатбот може відповісти правильно один раз, а наступного разу помилитися. Наприклад, на те саме запитання про джерело цитати ChatGPT спочатку вказав неправильний сайт, а потім правильно знайшов статтю. Така нестабільність у відповідях може призводити до непослідовних і неточних результатів, що підриває довіру до точності інформації, яку надає чатбот.
ІЛЮЗІЯ КОНТРОЛЮ
Дослідження показало, що ChatGPT часто неточно цитує джерела, навіть якщо видавці дозволили доступ до своїх сайтів. Незалежно від того, чи видавці співпрацювали з OpenAI, чи ні, їхній контент часто був представлений неправильно. Це свідчить про те, що доступність сканера не гарантує точності цитування. Навіть видання, які уклали ліцензійні угоди з OpenAI, стикнулися з проблемою неточних цитат. Це підкреслює необхідність подальших досліджень для розуміння причин таких помилок та розробки ефективніших способів забезпечення точності інформації, що генерується штучним інтелектом.
Отже, підсумовуючи вищевказані проблеми пошукового інструменту ChatGPT, на сьогодні його не варто використовувати для пошуку інформації, особливо, для досліджень. Ми не хочемо применшите корисність ШІ в житті науковця. Наприклад, ChatGPT можна використати для структурування своїх думок. Інколи буває тяжко сформулювати власні думки у читабельні речення, й з цим може допомогти ШІ. Але пам'ятайте, що ШІ може допомогти оформити ваші думки-слова в гарні та зрозуміли для читача речення, а не написати за вас публікацію. Не забувайте вказувати про те, що користувалися ШІ (будь-то, обрахунки, аналіз або генерування зображень для матеріалів досліджень, чи оформлення тексту та літератури) у розділі про методи дослідження.
Джерело: https://www.cjr.org/tow_center/how-chatgpt-misrepresents-publisher-content.php


