科技魔方

「联网」ChatGPT:一个不完美的新闻助手

大模型

2023年11月02日

  本文来自于微信公众号德外5号(ID:dewaiwuhao)。

  ChatGPT打破“数据截至2021年”的枷锁,成功连接上网的信息一经发布,便引发媒体圈的好奇与围观。

  9月27日,OpenAI公司宣布ChatGPT向付费用户提供互联网浏览版本,付费用户可以通过微软的搜索引擎Bing联网获取最新信息,这打破了ChatGPT数据库截至2021年9月的限制。在此之前,用户无法通过ChatGPT访问互联网的最新信息。

  路透新闻研究所日前测试了ChatGPT的联网功能,并评估了ChatGPT提供新闻信息的准确性和及时性、处理争议话题和其他语言信息的能力。测试者用不同类型的新闻问题来评估它作为新闻工具的效果。测试结果如何,下文带您一探究竟。

  联网ChatGPT:一个不完美的新闻助手

  测试者选取了不同类型的新闻事件向ChatGPT提问,对其处理突发新闻的速度、总结持续性新闻报道、处理有争议的新闻报道、应对虚假新闻等方面进行测评。1、ChatGPT处理突发新闻的速度有多快?

  测试者用英国校车相撞事故和HS2高速铁路项目两条新闻进行了测试。英国发生了一起校车相撞的事故,BBC对这条新闻的进展进行实时更新。校车事故发生后,ChatGPT在给出死亡人数信息上存在延迟。测试者多次追问,直到BBC关于事故伤亡人数的推送消息发布后两个半小时以后,ChatGPT才给出了这次事故的死者的信息。这个测试表明ChatGPT在访问突发新闻方面存在一定的延迟(或者说采取了谨慎的处理方式)。

  测试者用英国首相宣布削减HS2高速铁路项目预算的突发新闻再次测试。这次ChatGPT立即给出了正确答案,在BBC应用程序推送相关消息后五分钟内,就给出了包括了最新消息的答案,并引用了一个实时更新的博客作为信息来源。

  ChatGPT对这两条新闻回答的差异,表明ChatGPT对不同性质的新闻事件有不同的反应速度,也可能表明了这项技术还不够完善。 2、ChatGPT在总结持续性新闻报道方面表现如何? 1)提供持续性的新闻报道背景信息的表现

  HS2铁路一直在规划当中,一直是英国的头条新闻。测试者再次用HS2的新闻测试ChatGPT在提供持续性的新闻报道的背景信息方面的表现。ChatGPT总结这条新闻的能力十分出色,内容简洁明了、紧扣要点,并链接到了ITV新闻关于这个主题的解释性报道。但是,ChatGPT在根据不同新闻知识背景的人群调整新闻摘要的方面表现不佳。

  测试者要求它为一个来自曼彻斯特的人总结这条新闻(曼彻斯特包含在最初铁路规划中,但现在不在铁路规划中),和为一个“对该项目非常了解”的人分别总结这条新闻。但ChatGPT对这两个要求给出了基本相同的答案,只是措辞和强调重点稍有不同。新开一个聊天框重新提问也无法解决这一问题。 2)回答长期、复杂、敏感新闻

  测试者用两条新闻测试了ChatGPT回答长期、复杂、敏感新闻的表现。测试者首先用俄乌战争的问题进行测试。ChatGPT能够给出准确的信息,但没有提供任何背景信息。测试者又用《华尔街日报》记者埃文·格什科维奇在俄罗斯被关押的新闻进行测试。ChatGPT将美联社关于莫斯科法院拒绝记者上诉请求的新闻报道作为信息源,答案非常简短,但没有提供背景信息。ChatGPT没有明确表示格什科维奇是否有罪,而是建议用户关注主要新闻机构以及俄罗斯当地的新闻机构或俄罗斯官方声明等权威信息源,或法庭的最终判决。只有当测试者追问这些俄罗斯消息的来源是否可信时,它才对之前的回答进行了限定,提醒俄罗斯的消息来源可能带有偏见。 3、ChatGPT如何处理有争议的新闻报道?

  测试者用关于特朗普和拜登的新闻进行测试。ChatGPT提供了冗长且详细的回答,引用了多份新闻报道作为信息来源。在评论唐纳德·特朗普审判的公平性时,ChatGPT保持中立。测试者又用对乔·拜登弹劾调查的新闻进行测试,得到了和特朗普新闻相类似的长且细致的答案。

  在这两个测试中,ChatGPT都没有倾向于支持或反对存在争议的观点的任何一方,而只引用了遵循政治公正原则的新闻机构的信息。答案非常详尽,与之前其他测试中给出的简短答案形成了对比。

  测试者用以色列和哈马斯冲突的新闻,测试ChatGPT如何处理在全球范围分裂公众意见的争议性新闻报道。当被问及最近发生事件的事实性问题时,ChatGPT引用国际新闻机构的报道,展示冲突双方的立场和观点,其答案没有立场倾向,即使面对“归咎于谁”的引导性问题时,也会避免直接回答,以中立的立场解释不同方面的观点。但如果要求其以特定立场撰写文章,ChatGPT会生成带有偏见的极端观点。 4、ChatGPT如何应对虚假新闻?

  测试者先用一条完全编造的新闻进行测试:“乔·拜登辞去了美国总统一职”。ChatGPT识别出这是一个错误信息,解释了它在哪里寻找新闻、这条错误信息可能在哪里流传,引用了一个事实核查者,并给出了关于网络错误信息的一般性警告。

  测试者用“15分钟城市”的问题进行了与真实事件相关的虚假新闻的测试。对于测试者关于这个概念的最初几个问题,ChatGPT没有联网回答,当测试者询问英国政客哈珀的评论时才联网。它总结了哈珀的观点,并解释了他可能受到相关辩论中哪些因素的影响、提到了这个概念的赞成者和反对者的观点,但没有直接回答哈珀的评论是否准确的问题。但新闻机构与ChatGPT不同,会对哈珀的误导性评论进行事实核查。例如BBC 核查(BBC Verify)的报道表示“这不是对'15分钟城市'的准确描述”。

  此外,上述例子大多是围绕在英国发生的新闻用英语进行。测试者也用其他语言和其他国家的新闻进行了测试。ChatGPT似乎更倾向于使用与对话语言相同的信息来源,而英语似乎是默认语言。在国际新闻方面,这可能意味着非英语语言的新闻媒体在ChatGPT的答案中往往被忽视。

  应对人工智能的冲击:人性化成为关键密钥

  伦敦政治经济学院(LSE)的新闻人工智能项目(Journalism AI)研究了新闻机构与人工智能及相关技术的合作情况,对来自46个国家的100多家新闻机构进行了调研,形成报告《催生变化:对新闻机构利用人工智能的全球调查》(Generating Change:A global survey of what news organisations are doing with AI)。根据这份报告,在全球范围内,生成式人工智能或其他形式的人工智能技术,已经在新闻机构中得到广泛使用。

  这项调查在2023年4月至7月期间进行,对120多名编辑、记者、技术人员和媒体制作人进行了调查。近四分之三(73%)的受访新闻机构认为,ChatGPT或谷歌Bard等生成式人工智能为新闻业带来了新的机遇,提高了效率、生产力和创造力。大约75%的受访者表示,他们至少在趋势检测或转录、内容、个性化等其中一个领域以各种方式使用人工智能。85%的受访者在撰写摘要和生成标题等任务中尝试过人工智能。大约80%的受访者预计人工智能在新闻编辑室中将发挥更大的作用。同时,超过60%的受访者对人工智能可能带来的编辑质量和新闻业道德问题表示忧虑。

  大模型扑面而来,如何应对人工智能的危与机呢?NPO(荷兰公共广播)战略与创新总监埃兹拉•伊曼(Ezra Eeman)表示,面对新的人工智能工具,应该从评估新闻工作中的人类因素开始:“应该向新闻编辑部提出的第一个问题是,我们的工作中人类的因素是什么?我们如何放大它?我们怎样才能让这一点更明显?”丹麦的数字新闻媒体得兰(Zetland)的克利特加德(Klitgaard)认为,新闻媒体在使用人工智能时应考虑新闻工作中的人性色彩。在一个人工智能大量生成内容的世界中,内容生产的人性化可以获得巨大的价值。

  此外,与用户建立紧密联系是应对生成式人工智能带来的挑战的重要策略。生成式人工智能可以根据用户兴趣推荐内容,但无法完全满足每个用户的独特需求。因此,新闻媒体必须加强与受众特别是年轻受众的联系。

  例如,施普世特(Schibsted)和蒂尼乌斯信托基金(Tinius Trust)合资的新闻创新实验室IN/LAB,直接聘用了10名青少年用户进入新闻机构工作10周,让这些青少年使用人工智能技术,如文本生成、图像生成、音乐生成等,创造出更有创造力和人文关怀的新闻产品。相比仅依靠算法推荐内容,这种与年轻用户深度互动的方式更能理解用户的真正需求。

  结语

  正如伦敦经济学院主任查理·贝克特教授所说:人们非常需要了解什么是人工智能,特别是什么是生成式人工智能,以及它与解释性人工智能有什么不同,这样才能让人们意识到生成式人工智能可能带来的根本性改变。

  历史上每一次技术变革都会“消灭”一部分传统岗位,但同时也诞生了更多需要善于驾驭新一代技术的岗位。硅基文明的到来引发了人类对于“生而为人”的深度思考,面对技术升级,媒体人和新闻媒体需要保持好奇心,找到新技术时代的业务迭代基因,早日实现自身能力和机构业务的“蝶变”。

+1

来源:德外5号公众号

延展资讯