Учені показали ненадійність системи експертної оцінки наукових робіт

29/06/2014

 
Учені показали, що процес експертної оцінки наукових робіт - основний інструмент їх "пропуску" в журнали - є украй ненадійним через людський чинник. Свої напрацювання дослідники виклали в архів електронних препринтів Корнельського університету. Коротко робота описана на сайті Physics World.
 
У сучасній науковій практиці критерієм для публікації статті в науковому журналі є її оцінка декількома експертами у відповідній галузі - вони читають прислані в редакцію роботи і виносять ухвалу, опублікувати їх, відкинути чи відправити на доопрацювання. Ця система не вважається ідеальною (наприклад, є думка, що їй не вистачає відвертості), проте більшість учених вважають, що вона є достатньо об`єктивною і в цілому працює задовільно.
 
Автори нової роботи вирішили перевірити, наскільки система експертної оцінки стійка до такого чинника як недобросовісні експерти. Учені розробили модель, в яку включили п`ять типів експертів: правильні (відхиляють погані роботи і приймають хороші), альтруїсти і мізантропи (відповідно приймають або відхиляють всі роботи), раціоналісти (відхиляють роботи, які можуть відвести увагу від їх власних досліджень) і випадкові (ухвалюють рішення випадковим чином через брак кваліфікації або часу).
 
Дослідники розглядали схему, коли кожна нова робота прямує на розгляд двом експертам, випадково вибраним із загального пулу (усередині експертного співтовариства всі типи експертів представлені згідно з гауссівським, або нормальним, розподілом). Робота вважалася опублікованою, якщо обидва експерти давали їй позитивну оцінку. Якщо один був проти, вірогідність публікації приймалася за 0,5.
 
Після того, як учені "прогнали" модель для 1000 публікацій, вони з`ясували, що навіть невеликий відсоток раціоналістів і/чи випадкових експертів здатний істотно погіршити якість відбираних робіт. Коли співвідношення раціоналістів, правильних і випадкових експертів в пулі становило 1:1:1, статті до публікації приймалися фактично за випадковим принципом.
 
Отримані результати вказують, що адекватність експертної оцінки надзвичайно сильно залежить від складу експертів. Один з видавців фізичного журналу New Journal of Physics, що ознайомився з результатами нової роботи, заявив, що автори недооцінюють роль редакції журналу в процесі відбору публікацій. Саме редакція вирішує, кому з експертів направити ту або іншу роботу, і прагне уникнути ситуацій конфлікту інтересів (хоча іноді - наприклад, у разі вузької тематики - повністю виключити такий варіант не можна).
 
Це не перша робота, в якій беруться під сумнів існуючі методи оцінки значущості наукових робіт. Раніше вчені неодноразово висловлювали претензії до системи, що ранжує роботи за їх цитованістю (посилання на статті в статтях інших авторів). Втім, на сьогодні зручнішого і об`єктивнішого способу оцінки не існує.
 

Повернутися до списку публікацій



Останні новини

Статті

Попередні публікації