62%→ 94%，“AI 率”不降反升？央视介绍毕业论文 AI 检测原理

IT之家 6 月 24 日消息，当下正是毕业季，论文的“AI 味”太浓，是高校共同面对的新难题。今年的高校毕业生在毕业论文阶段，除了传统的查重、盲审、答辩，毕业路上又多了一道关卡 ——AIGC 检测，也就是人工智能生成内容检测。假设你是一名毕业生，发现自己的论文 AI 率有 62%，离学校规定的 15% 的红线差了 47 个百分点。而后你打开一个大模型，输入“帮我把这篇论文改得像人写的”，改完一查 ——AI 率竟然升到了 94%。这种情况并非个案，过去一段时间不少毕业生都遇到过。央视新闻今天介绍了检测论文“AI 率”的原理。首都师范大学教育学院副院长蔡海龙表示，查重是将论文与语料库进行语句对比，从而确定这种语句的重复性，做出确定性的判断。而 AI 检测是运用 AI 系统去检测人类文本，在语意、语言表达风格上和 AI 写作是否存在重叠，本质上是一种基于概率的分类，而非基于证据的确定性的判断。当前 AI 检测的技术瓶颈核心，在于我们是在用 AI 去查 AI，这就导致无法明确判定这段文字是人类作者所写还是 AI 所写，不能对此做出明确的解释和说明，这是技术瓶颈最为关键之所在。IT之家从报道中获悉，除此之外，中文语言表达方面还有另外一个特点：语意非常丰富，语句的表达方式也非常丰富。这就使得人工智能系统在检测人类作者所写作的语句时，产生很多的歧义，难度、准确率都会相应增加，这是导致误判的一个很重要的原因。由于 AI 率检测目前还不能做到十分精准，老师们认为在论文审核上，应建立透明可回溯的 AI 使用标注制度，而非简单地划定 AI 率“红线”。在判定机制上，应确立以人工评议为主、AI 检测为辅的“人机共判”模式。当前，学校对于学生的论文设置“AI 率”检测红线，但是有不少学生反映，学校检查论文 AI 率也是依托指定检测平台、结合算法模型分析。一般来讲，目前主流高校多采用知网、维普、万方等系统的 AIGC 检测模块。央视记者将“AI 大模型如何检测一篇文章有多少内容由 AI 生成”一问抛给多个大模型，总结相关的回答，简单来说就是通过“困惑度与突发性”等特征来判断。AI 文本通常更“平滑”，人类文本波动更大。大模型回答，困惑度指的是文本的“可预测性”，越充满人类特有的、意外的、跳出常规的表达，越像人类。突发性，就是文本节奏波动 —— 人类写作如心电图般起伏，AI 输出则如直线般平稳。如此判断，准确吗？对此，专家告诉记者，除了困惑度、突发性等指标外，AI 文本生成的原理是通过预测下一个最有可能出现这种词的概率来逐渐生成文本，可以理解为基于一种概率统计。所以，目前检测 AI 生成内容准确性都做不到 100%，误判也时有发生。相关阅读：《“代降论文 AI 率”乱象曝光：学生花费不菲却维权无门》