返 回
用魔法打败魔法,用AI识别AI!西湖大学最新研究公布: AI生成的文章可被一键识别
发布时间:2024-06-17 11:25:25

都市快报讯 重庆爆炸?西安爆炸?据近日《重庆晨报》的消息,南昌、重庆、郑州等地公安部门接连查处网民用AI编造“爆炸新闻”的案件,不法分子利用AI合成技术编造谣言,严重扰乱了社会秩序。在谣言散布前,有没有办法快速识别出这些AI制造的假新闻?

西湖大学“文本智能实验室”日前在接受记者采访时介绍,近日实验室公布了一项最新研究成果,通过他们研发的开源大模型,大众可以一键识别出哪些文章出自AI之手。该研究项目的负责人鲍光胜说,针对GPT3.5生成的文章,识别率可以达到96%,对GPT4生成的文章的识别率达到90%。

据鲍光胜介绍,出于对AI安全性和可信赖方面的担忧,这类研究在欧美国家已有很多,但在国内还不多。文本智能实验室的研究从去年初到现在已持续一年多时间,这次公布的研究成果发布在2024年国际表征学习大会(ICLR 2024)上。

区别大型模型生成的文本与人写的文本之间的关键点是什么?“文本智能实验室”通过对新闻、小说、论坛问答和技术问答等进行研究后认为,两者的差异性体现在词汇使用、句子结构、语法复杂度、语义连贯性等方面。他们提取覆盖这些特征的统计量,分析它们在两种不同文本上的分布并设定阈值。当某个文本的特征值超过阈值,模型就会将其判断为AI生成的。

用AI识别AI,不仅可以识别出AI生成的假新闻,对学术论文的甄别也是一个很大的应用场景。去年以来,国内外众多高校和学术期刊宣布,对在论文写作过程中的各种AI使用加以限制。一旦发现论文主要内容是利用AI工具生成的,将以学术不端行为处理。而有学生在写毕业论文时也发现,他们利用AI大模型检索得到的文献资料,虽然标注了出处,但之后核实却发现这些内容并不存在。

ChatGPT诞生以来,人工智能加速发展。AI生成文本、视频、音频不仅快速,也越来越像人做的。在上述公安部门查处的案件中,不法分子通过AI软件,只需说出“爆炸”等关键词,软件便会自动在网络上抓取相关信息,生成文本,并配上貌似和事件具有相关性的虚假图片,形成看起来信息量很大、实际上子虚乌有的内容。而一键识别AI身份工具的出现,或能很大程度上抑制假新闻、假论文的泛滥。

在这场“矛与盾的竞速”中,“矛”正越来越利,“盾”不会亦不能失位。

来源:都市快报   作者:记者 顾国飞   编辑:陈俊男