独木帆 >首页 >科学 >正文

公开审稿意见,会是同行评议中权力滥用的解药吗?

Nature自然科研 2018-09-18 20:19:15 阅读:

开放同行评议

审稿意见的公开透明有利于科学发展,但并非所有研究人员都愿意将他们的审稿意见公布于众。

公开审稿意见,会是同行评议中权力滥用的解药吗?

公开发表审稿人的意见或有利于科学发展,但并非人人都愿意。

来源:Getty

当《自然》请专家审阅尚待发表的稿件时,我们承诺会对他们返回的意见报告保密。但需要这么做吗?近日,我们发表的一篇评论文章(见下)提出了一项颇具争议的挑战:期刊编辑应将更多的审稿意见进行发表。此文作者认为这种做法有利于科学界的进步,不仅能让已发表作品更有意义,还能帮助青年科学家熟悉评审流程。

长期以来,《自然》和自然旗下研究类期刊一直广泛寻求各方建议,以求把同行评议做得更好,服务于学界。《自然-通讯》从2016年起,在征得论文作者同意的情况下,开始发表匿名的审稿意见报告。

这一尝试所收获的回应很有启发性。首先,实践证明生命科学特定领域的作者更欢迎这种开放方式,而物理学等其它学科的接受度相对不这么高。

事实上,当《自然-通讯》告知审稿人一旦论文作者同意,他们的审稿意见会以不署名的方式公开时,好几位可靠的化学审稿人都选择不再与《自然-通讯》合作。首先,他们认为自己对审稿意见公开与否并无发言权很不恰当;其次,他们感到这些意见在小范围的目标受众之外并没有什么价值。

正因为如此,《自然》及自然旗下研究类期刊不会强制要求审稿意见必须公开。不过,我们仍在积极探索将来拓展这一服务的可能性——在读者、审稿人和作者都愿意考虑这个选项的前提下。

不同群体对同行评议透明化的渴望程度有很大差异,因为各方对透明化所涉及的问题有不同的立场。比如,审稿人的出发点是否会从说服原先旨在提高文章质量的少部分人,转移到试图让大规模读者都接受他对某个课题的看法?

此外,文章作者在得知审稿意见会公开后,是否能够从容接受批评?又有,既然之前文稿的修改意见已经不适用了,公开这些意见是否会给科学界造成混淆?审稿意见是否会被竞选者或反对者断章取义地利用?

出版方也有其他问题需要解决。在发表评论性或各执己见的内容时,尤其需要注意的是审稿人意见是否构成诽谤风险;或更常见的情况是,作者回复内容中引用的受版权保护或敏感的第三方材料虽然有助于稿件评估,但不能公开。

如今,一些临床医学期刊会定期鉴定审稿人身份,避免利益冲突相关指控。相比之下,许多社会学和政治学期刊则在评审过程中隐去作者和审稿人的身份,此举旨在鼓励真实意见,避免出现过度畏权或轻视少数群体的现象。从2015年开始,所有自然旗下的研究类期刊都将这种双盲评议作为可选项。

《自然》编辑认为审稿意见非常宝贵。我们知道一些读者也觉得审稿意见的用处很大,我们希望这篇“评论”文章能激发更大范围的讨论。在我们不断磨合实际操作和各学科需求的同时,也欢迎科学领域的人士给予更多意见和反馈。

---《自然》社论 Opening up peer review

下文以Publish peer reviews为标题

发布在2018年8月29日的《自然》评论上

ASAPBio的Jessica K. Polka和惠康基金会、霍华德·休斯医学研究所的同行号召期刊签署一项保证书,呼吁将审稿意见匿名加入正式科研记录中。

原文作者:Jessica K. Polka, Robert Kiley, Boyana Konforti, Bodo Stern & Ronald D. Vale

长久以来,同行评议的内容都隐藏在黑暗中,现在终于得以公开了。过去10年,eLife、F1000Research、Royal Society Open Science、Annals of Anatomy、《自然-通讯》、PeerJ和 EMBO Press等期刊陆续开始公开发表审稿意见报告。

而Copernicus、BMJ和BMC(BMC是施普林格·自然旗下机构)等出版商公开同行评议的历史就更久了(见“同行评议时间轴”)。去年,“同行评议周”组织方在有关透明度的主题下对这个话题展开了深入探讨。

公开审稿意见,会是同行评议中权力滥用的解药吗?

插图:David Parkins

我们作为两大生物医学类资助机构——英国惠康基金会(Wellcome Trust)和霍华德·休斯医学研究所(HHMI),以及促进生命科学出版创新的非盈利机构ASAPbio的代表,坚信发表审稿意见报告能够为作者和读者提供更多信息、提升同行评议过程、增加公众对科学的信任度。目前,发表审稿意见的科学期刊还不到3%(见 go.nature.com/2weh6vn)。

为了扩大这一比例,我们的组织在今年2月举办了一次会议,邀请主要来自北美和欧洲的约90位生命科学人士参会,他们包括科研作者、审稿人、读者、期刊编辑以及资助机构的领导。我们也特意邀请了更加保守的人士,但是会议的主题更吸引那些准备好接受改变的人。

本文的主要观点来自于此次参会的心得,并获得了HHMI主席Erin O’Shea、加州大学圣克鲁兹分校的分子生物学家Needhi Bhalla、美国国立研究院综合医学科学研究所的博士后训练项目主任Kenneth Gibbs以及澳洲Know-Center研究所Tony Ross-Hellauer的帮助。

与会者一致认为,目前同行评议过程缺乏透明度,不利于科学进步;而部分期刊坚持将审稿意见(不一定公开审稿人身份)和作者反驳公开发表。在此,我们号召更多的期刊加入到这个行动中来。是时候让透明度成为新常态了。

同行评议时间轴

期刊编辑一向依赖审稿人来筛选和提高论文质量,如今,焦点开始转向分享审稿人的意见。

18世纪50年代:英国皇家学会成立了一个委员会,由委员会决定哪些文章可以刊登在《自然科学会报》(The Philosophical Transactions of the Royal Society)上。

19世纪90年代:英国科学学会经讨论决定放弃采用标准化的审稿模式,以防“在科学清流中倾倒污”的行为。

20世纪40-60年代:正式的同行评议形式逐渐成为科学的支柱。《科学》、《自然》、《美国医学会杂志》都开始采用同行评议。

20世纪70年代:“同行评议”一词被广泛使用。

1989年:进行流程评估的同行评议大会(Peer Review Congress)首次召开,会议定为每四年召开一次。

1999-2003年:《英国医学杂志》在评估随机试验结果后决定公开审稿人姓名。出版商BMC也开始发表署名的审稿意见。《大气化学和物理学》(Atmospheric Chemistry and Physics)鼓励公开讨论投稿论文。

2006-2016年:一些期刊和出版平台开始陆续发表审稿意见,其中包括Biology Direct (2006)、eLife (2011)、The EMBO Journal (2010),F1000 Research (2012)、PeerJ (2013)以及《自然-通讯》(2016)。

定义评议

“公开评议”一词可以有多重含义。“公开身份”是指公布审稿人姓名;“公开报告”(也叫做透明评议或已发布的同行评议)是指发表审稿意见。期刊要么公开其中一项,要么都公开,要么都不公开。

在2016年的一项调查中,3062个受访者中有59%的人支持公开报告。只有31%的人支持公开身份。不支持公开身份的受访者担心,公开身份会让审稿人弱化对稿件的批评意见,或引致作者报复。在此,我们支持公开报告为默认形式,而公开身份为可选项。

大多数科学家认为同行评议是筛选论文的必要条件。同行评议能够给予作者建设性反馈,为编辑提供深度意见,并确保读者能信任所发表的研究。但一般情况下只有编辑、作者、审稿人(看情况)才看到审稿报告。

这就会导致几种形式的权力滥用:审稿意见可能较为肤浅、粗鲁或带有偏见;作者对合理批评反应过激;编辑可能不会参考作者或审稿人的意见;掠夺性出版商在收费后无法提供高质量的同行评议。

而公开同行评议有诸多好处(见“公开评议的潜在好处”)。科研人员可以从审稿人和编辑的意见中学到很多。社会学家也可以采集数据(比如,审稿人的偏见或是审稿人的纠错能力),用于完善整个同行评议模式。处于职业生涯早期的研究者也可以从别人的实例中学习。而且,公众也不再需要无端信任那些从不公开的评阅过程了。

公开评议的潜在好处

激发高质量、有建设性的审稿意见。在预知自己的意见会被发表后,编辑和审稿人都会提高评阅过程的质量标准。

保留有价值的学术争议。同行评议中包含能够体现一个领域思潮发展的对话和思想。这些材料应该被保留并公开。

建立信任。读者有权知道一篇论文背后的评议深度。

期刊决策透明化。编辑必须整合审稿人等来源的信息并做出最终决策。公开审稿意见可为这一决策过程打开一个窗口。

构筑同行评议的价值通道。在申请资助和晋升时,审稿人可以(私下)向别人展示自己的评阅意见,证明自己的学术参与度。

提供培训资源。审稿报告告诉人们应该从(或不从)何种角度评估一篇论文。

提升同行评议的系统研究。公开的审稿报告和作者的反驳能促使同行评议过程变得更好,使整个系统得到提升。

由于公开的同行评议的研究样本往往很小,而且把公开身份和其他公开模式都包括了进去,因此统计功效难于研究。然而,迄今为止的证据表明,学术圈认为公开的同行评议报告很有价值。在The EMBO Journal上,同行评议文件的点击量是论文点击量的10%。

出版商爱思唯尔(Elsevier)的试点项目发现,其网站上三分之一的访客浏览过同行评议报告。一些编辑表示,他们用公开的同行评议报告指导那些审稿经验不足的审稿人(见go.nature.com/2oujfgv)。《欧洲神经病学杂志》在2016年底启动了透明评议后发现,审稿人的意见报告不仅写得更好,而且返回时间更及时(见go.nature.com/2oxgtyf)。

实实在在的障碍

可是,为什么公开同行评议的做法还是这么少呢?原因有很多,一些是惯性使然,还有一些是概念上的认识问题。

同时,这也因学科而异。《自然-通讯》发现,如果有选择的话,在演化和生态学类的稿件中,超过70%的作者(以及审稿人)会选择公开评议报告。但是在核物理,粒子物理和理论物理领域,这个数字则小于50%。

一方面的担忧是,即使审稿意见是匿名公开的,也多少会影响到审稿人接受邀请或自由评论的意愿,因为作者可能会抵触批评意见,或者对他们猜测的审稿人展开报复。

《英国医学杂志》发现,署名公开审稿报告并没有改变审稿质量,说明这种做法并不会让审稿人感到担忧害怕。另外,在标准的审稿流程中,作者读到的审稿意见往往是匿名的。

另一个更大的疑虑是,在今后申请资助,职位,奖项或者晋升时,公开的审稿报告可能会以不利的方式被用来评价作者。究竟作者的种族,性别,国籍或是所在机构是否会影响对其论文的评价,目前的数据还很少。

但是有证据表明,学术发表领域确实存在偏见。比如,高分期刊上女性作为第一作者或最后一个作者的概率较小,受邀审稿的可能性也较低(见go.nature.com/2pzyvcw)。从女性教授获得的工作评价也能看出性别歧视的存在(见go.nature.com/2ppat2k)。

因此,人们担心少数族裔会得到带有偏见的审稿意见。如果作者属于少数族裔或是来自不太知名的科研机构,那么研究资助,招聘和晋升申请的评审很有可能会更多地注意到那些对他们的负面意见。此外,一些领域的竞争更激烈也更苛刻,这都会让评阅意见存在偏向性。

公开评阅报告的做法还有利于研究竞争以及偏见如何对评议过程产生影响。同时,公开同行评议过程中所有参与者(或是在事后进行评价的人)都应留意这种不公平的出现。

还应提防的另一个风险是审稿意见的“武器化”。特定研究方向(如转基因,气候变化和疫苗)的反对者可能会对审稿意见断章取义,或者进行曲解,用来削弱公众对该论文、该领域或是整个学界的信任。

对eLife、《英国医学杂志》和EMBO Press的调查只发现了一个不算严重的案例(见go.nature.com/2piygkb)。但对于那些发表内容容易被政治利用的期刊来说,评议报告被当成武器确是个潜在担忧。

保险起见,期刊可以在公开评议报告中发布一条免责声明,解释同行评议过程以及它在科学讨论中的作用。公开内容,并与记者,政客以及公众展开讨论也是建立信任,促进他们理解科研运作过程的契机。

公开同行评议报告也可以让编辑的决策受到更大的监督,或许还可以起到震慑作用,让编辑不敢擅自无视评议中的批评意见(见go.nature.com/2bid8ag)。同样地,公开报告也有助于推动大家更好地理解编辑整合取舍不同意见的工作内容。

编辑判断对于我们对科研质量的把握具有重大影响,对于学术讨论的价值也很高。公开决策信件以及作者的反馈可以驳斥批评意见,补充背景情况,纠正误解,并提供论文终稿中没有包含的信息。

最后,实际问题也不得不考虑。编辑指出,手动发表一篇审稿意见的时间是25分钟——这虽然不能和协调,实施和评估同行评议的时间相比,但依然不少。大多数发表平台的设立初衷并不是为了发布、组织或是分配审稿报告和相关材料的DOI号,而且要改造这些系统也绝非易事。

不论如何,我们依然期待期刊可以努力让这些任务变得系统化,并把这些额外工作的成本公开化。编辑要学会处理包含不当内容的审稿意见,比如诽谤性评论或未发表的数据,也要习惯于公开互通信件。其实,许多编辑已经在这么做了。

前进

我们认为,对于审稿人、作者、公众以及编辑来说,公开同行评议利大于弊。在理想的情况下,所有发表论文都应该附上其审稿意见。但是现在,在鼓励公开机制的同时,学术界也需要评估作者的身份特征,如种族和国籍是否会影响审稿人的反馈。实现公平道路上的所有结构性障碍都应该被铲平。

理想的情况下,审稿报告要易于查找,并和相关资料(如作者的反馈和稿件的不同版本)自动整理一起存档。出版商也应该提供鸣谢审稿人贡献的机会。许多最新的技术都可以用来减少管理负担,处理信息过载,并为读者提供额外的链接和内容。

投稿系统管理平台开发者可以研发工作流系统,优化公开审稿报告的过程并实现自动化,从而减少期刊工作人员、作者和审稿人的负担。PubMed等指数服务平台应寻找把原始论文和同行评议显著关联的方法。

好在一些这方面的基础架构已经出现了,比如CrossRef从2017年末开始为同行评议添加DOI,评阅报告(包括公开和不公开审稿人身份的两种)可以在PubMed Central 和 Europe PubMed Central存档。

但是,如果要进一步研发稳健系统的话,公开审稿报告的做法必须更加普及。即使如今的现实情况离理想状态还很远,但是有行动就会有需求,也为将来的迭代进步打下了基础。

近日,来自100多家期刊的超过20位编辑和出版商联合签署了一份公开信,表明已经公开或打算公开(公开或不公开审稿人身份)的同行评议报告的立场。我们号召更多的人加入我们。(《自然-通讯》已经签署了这份保证书,其他的自然期刊也在考虑中。)

科学家可以要求他们所投、所审或担任编辑的期刊公开同行评议,通过这种方式他们也可以助推这场变革。资助机构和学会也能助一臂之力,通过改变人们的态度,比如在自己学会期刊里实施或尝试公开审稿意见。

科学是在批评声和不同意见中前行的。公开这一内部流程虽然会让一些人不太适应,但对于科学进步来说确是一桩好事。ⓝ

热点推荐

图文焦点

独木帆(www.xieshudeng.com)版权所有 关于我们 | 广告服务 | 诚聘英才 | 联系我们 | 免责申明 | 举报投诉须知 | 作文