纵观资讯 纵观资讯

当前位置: 首页 » 实时追踪 »

AI“参与”同行评审喜忧参半

来源:科技日报

科技日报记者 刘霞

今年2月,加拿大蒙特利尔大学生态学家蒂莫西·波伊索在审阅自己论文的评审意见时,意外发现其中一份评审报告可能由AI代笔。他对此感到愤怒并在博客中痛斥:我递交论文参与评审,期待的是同行的思想碰撞。若这一前提不再,那么同行评审制度将沦为数字废墟。

英国《自然》杂志网站在3月27日的报道中指出,AI系统正以惊人速度渗透同行评审体系。多家出版商纷纷测试各种AI审稿系统,用于标记稿件中的文本谬误、数据漏洞,以及对文字进行润色等。一些平台甚至能一键生成完整AI评审报告。一些拥趸认为同行评审自动化不可避免,另外一些科学家则忧心AI未来可能最终主导同行评审过程,弱化甚至完全取代人类审稿人的角色。

人工智能渗入评审生态

在ChatGPT等基于大语言模型(LLMs)的生成式AI工具掀起浪潮前,学术出版界已将AI技术引入同行评审环节,用于数据校验、研究结论提炼等辅助工作。但随着具备类人写作能力的生成式AI工具横空出世,这场技术革命也在学术界掀起一场风浪。

美国威利出版集团针对近5000名研究者的调研显示,约19%的受访者承认尝试过使用AI工具提高评审效率。更令人关注的是,对2023年—2024年AI领域会议论文的评审报告分析发现,7%—17%的评审报告存在由AI工具“深度润色”的迹象,这意味着修改幅度远超基础语法校正范畴。

当前,很多资助机构和出版商明令禁止评审人员在论文或基金评审中使用AI工具,主要担忧敏感信息经聊天机器人外泄。不过,美国哥本哈根大学科学家塞巴斯蒂安·波斯达姆·曼认为,若使用本地部署的离线AI工具,数据无需上传云端即可处理完成,大大降低了泄密风险。葡萄牙里斯本天主教大学组织行为学研究员德里琼·格鲁达补充道,离线LLMs犹如智能文字助手,能加速并优化评审意见的撰写过程,前提是AI工具仅作帮手而非代写全文。

尽管使用生成式AI工具日益普遍,但知名期刊仍对其持谨慎观望态度。2024年底针对78种顶级医学期刊AI评审指南的调查显示,59%的期刊完全禁止评审环节使用AI技术。其余期刊允许使用,但提出了不同要求。三大出版集团对AI评审的态度也大不相同。爱思唯尔集团目前禁止审稿人使用生成式AI工具辅助审稿;威利和施普林格·自然集团则允许“有限使用”,但须披露使用细节,并严禁将论文上传至在线平台。

智能助手纷纷上线

鉴于主流学术期刊对AI自主评审持审慎态度,科研团队纷纷开发辅助人类评审的生成式AI工具。

比如,斯坦福大学计算生物学家詹姆斯·周团队打造的“反馈代理”审稿系统,如同文字雕琢大师,能自动识别评审报告中出现的语义模糊等问题,并给审稿人提供相关建议。

荷兰阿姆斯特丹WBS公司开发的Eliza工具则展现出跨语言处理智能:不仅能向人类评审推荐参考文献,还能将其他语言的评审内容实时翻译成英文。创始人泽杰·卡尔森表示,这就像为审稿人配备了一款多语种秘书,但最终决策权仍在人类手中。据悉,该技术已经帮助《欧洲物理评论》杂志处理了23%的非英语评审内容。

由英论阁出版集团和查尔斯沃思属公司携手开发的“审议助手”则能快速识别违反匿名规则的论文。不过,该工具也可能产生带有偏见的评审意见,如误认为英语为母语作者的论文更具创新性。

英国初创公司Grounded AI打造的Veracity系统堪称“打假利器”,可以验证引用文献的真实性,以及文献与文章观点是否相符。此外,它还能标记高重复率段落,防范抄袭风险。该公司联合创始人尼克·莫利描述称,这位不知疲倦的学术侦探,专治文献注水。

Alchemist review则能快速提炼论文核心发现,评估研究方法的创新性,并验证数据的可重复性。美国物理联合会出版社目前正在旗下两家期刊上试运行该软件。据悉,该系统已经拦截了7篇涉嫌数据造假的投稿。

由澳大利亚认知神经科学家尚恩·伊尔哈特等人开发的Paper Wizard,能生成多页评审报告,并对论文的方法论进行系统性审查,开发者将其定位为这是一种“预审阶段的智能助手”。

包括威利出版集团在内的一些出版商也在尝试开发内部AI工具助力同行评审。

学术批判力不可或缺

关于AI评审,人们最大的担忧是,其未来会取代人类评审员。

加拿大非营利学术服务公司OurResearch联合创始人贾森·普瑞姆是AI评审的狂热拥趸,他表示,未来所有论文或都将由AI评审。

学术传播顾问克里斯·莱昂纳德也预测,尽管目前的AI系统无法完成人类评审员的全部工作,比如精准判断论文的原创性等。但是,随着技术不断精进,AI生成的评审报告的质量将显著优于大多数人类评审。而且至关重要的是,AI的工作效率很高。

不过,他也强调,就像自动驾驶需要人类监督一样,AI评审必须配备“思想制动系统”。在必要的情况下,启动二次评审。

包括波伊索在内的一些科学家则认为,AI不具备评审所需的批判性思维,提出的内容大多是“泛泛而谈”。华盛顿大学进化生物学家卡尔·伯格斯特龙也表示,LLMs远不足以写出合格的同行评审报告。写作即思考,如果审稿人将评审工作外包给AI,会导致评审内容流于肤浅。

波斯达姆·曼则声称,尽管AI确实能对某些评审人的报告进行润色。但LLMs基于训练数据和输入内容生成统计概率上看似合理的文本,其输出几乎总会包含错误。

英国牛津大学学术伦理研究中心主任艾玛·威尔逊更是警告称:当算法开始评判人类智慧,人们失去的不仅是审稿人的专业判断,更是学术共同体最珍贵的批判性思维。

如果科学界开始接受AI审查,那么就需要制定强有力的透明度标准,AI审查的每个细节、使用的每个提示词等,都必须予以公开。

未经允许不得转载: 纵观资讯 » AI“参与”同行评审喜忧参半