Результати опитування рецензентів 23 журналів Elsevier

У дослідженні, що проведено заступником головного редактора одного з журналів видавництва Springer та співробітника компанії Elsevier, говориться про недоліки традиційного рецензування. Це підтверджено численними публікаціями, в яких наводились такі недоліки традиційної системи рецензування, як нездатність виявити (значні) методологічні недоліки статей, плутанину в інтерпретації та узагальненні результатів, неправильне використання посилань, відсутність звітності про елементи, необхідні для повторного аналізу або повторення досліджень, відсутність елементів, необхідних для оцінки ризику упередженості або якості досліджень тощо. Також ці публікації показали (дуже) низьку згоду між оцінками декількох рецензентів щодо одної публікації. Так, дані Elsevier, що охоплюють 7,220,243 рукописи, опубліковані з 2019 по 2021 рік у 2416 журналах, знайшли лише 30% абсолютної згоди рецензентів на першому раунді рецензування. Це пов’язано з тим, що рецензенти рідко коментують ті самі аспекти рукопису, що ускладнює правильну оцінку якості рукописів і якості процесу рецензування. Отже, пілотне дослідження щодо рецензування полягало в тому, щоб оцінити реалізацію структурованої експертної оцінки.

У серпні 2022 року у 220 журналах Elsevier було запущено структуровану експертну оцінку, що складається з 9 питань. Випадковим чином було відібрано 10% цих журналів у всіх галузях і квартилях, і включили рукописи, які отримали два рецензійних відгуки протягом перших 2 місяців пілотного проєкту, залишивши нам 107 рукописів, що належать до 23 журналів. Вісім питань мали відкриті поля, тоді як дев’яте запитання (щодо мовного редагування) містило лише варіант «так/ні». Рецензенти також могли залишати Коментарі до автора та Коментарі до редактора. Відповіді були незалежно проаналізовані двома оцінювачами з використанням якісних методів.

Таблиця даних, яка показує відсоткове співвідношення відгуків ((часткова) згода) обох рецензентів щодо одного рукопису на структуровані питання рецензування 107 рукописів

DOI: 10.7717/peerj.17514/table-1

Примітка:

*Усі запитання мали відкриті текстові поля, за винятком запитання 9, яке мало спадне меню з варіантами «так» або «ні».

Майже всі рецензенти (196, тобто 92%) надали відповіді на всі запитання, хоча ці запитання не були обов’язковими в системі. Найдовша відповідь (Md 27 слів, IQR від 11 до 68) була для методів звітності з достатньою кількістю деталей для повторюваності або відтворюваності. Рецензенти мали найвищу (часткову) згоду (72%) щодо оцінки оформлення результатів та структури рукопису та найнижчу (53%) щодо оцінки того, чи інтерпретація результатів підтверджується даними, а також щодо оцінки статистичних даних. Аналізи були доречними та представлені досить детально (52%). Дві третини рецензентів (145, тобто 68%) заповнили розділ Коментарі до автора», з яких 105 (49%) нагадували традиційні звіти про рецензування. Ці звіти містили Md 4 (IQR від 3 до 5) тем, охоплених структурованими запитаннями. Абсолютна згода щодо остаточних рекомендацій (точна відповідність вибору рекомендацій) становила 41%, що було вище, ніж у цих журналів у період з 2019 по 2021 рік (згода 31%).

Ці результати показують, що рецензенти успішно адаптувалися до нового формату рецензування та охопили більше тем, ніж у своїх традиційних звітах. Аналіз індивідуальних запитань показав найбільшу розбіжність щодо інтерпретації результатів та проведення та звітування статистичних аналізів. Хоча структурована експертна оцінка призвела до покращення остаточних рекомендацій рецензентів, автори пілотного дослідження вважають, що оскільки не було рандомізованого дослідження, то для підтвердження переваг структурованої експертної оцінки слід провести додаткові дослідження. А також потрібні подальші дослідження, щоб визначити, чи веде структуроване рецензування до більшої передачі знань або кращого вдосконалення рукописів.

Джерело: https://peerj.com/articles/17514/#supp-1

А на Вашу думку, чи полегшує структуроване рецензування, як сам процес рецензування з боку рецензентів, так і внесення корективів з боку авторів?