中央网信办部署开展“清朗 · 整治 AI 应用乱象”专项行动，重点整治“数字泔水”等问题

IT之家 4 月 30 日消息，据“网信中国”微信公众号，为规范 AI 服务和应用，促进行业健康有序发展，保障公民合法权益，近日，中央网信办印发通知，在全国范围内部署开展为期 4 个月的“清朗 · 整治 AI 应用乱象”专项行动。中央网信办有关负责人表示，本次专项行动分两个阶段开展。第一阶段为“清朗 ·AI 应用服务典型违规问题”专项治理行动，重点整治未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI 数据投毒、生成合成内容标识落实不到位等问题，强化 AI 技术源头治理。第二阶段为“清朗 · 整治 AI 信息内容乱象”专项行动，聚焦利用 AI 技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗等不良信息、假冒仿冒他人、侵害未成年人权益、从事网络水军活动等问题，坚决清理违法不良信息，依法处置处罚违规账号、MCN 机构和网站平台。据IT之家了解，第一阶段重点整治 7 类突出问题。一是未按规定履行大模型备案登记义务。未按照《生成式人工智能服务管理暂行办法》规定，向网信部门履行备案登记程序，存在“应备未备”情形。二是 AI 平台安全和审核过滤能力不足。模型底层安全能力缺失，在设计训练及部署应用阶段，价值导向存在偏差、纠偏能力不足。缺乏安全围栏机制、审核过滤能力不足，生成违法不良信息，或在生成内容中包含违法不良信息的云盘及网站链接。三是大模型训练语料安全问题。训练语料审核把关不严，模型训练数据存在违法不良信息。训练数据来源合规性存在问题，模型训练过程中使用未经授权的文字、图片、音视频等数据。训练数据覆盖面不足、高质量语料缺乏。四是 AI 数据投毒问题。通过篡改训练语料、伪造权威数据、使用 GEO（生成式搜索引擎优化）技术恶意营销等方式实施 AI 数据投毒。炒作、教授 AI 数据投毒方法，或在电商平台兜售教程及工具。在模型生成回答过程中，对引用信源缺乏交叉验证和风险提示机制，未标注引用信息链接。五是生成合成内容标识落实不到位。未落实《人工智能生成合成内容标识办法》及配套强制性标准要求。未对生成合成内容添加标识或标识大小、位置、透明度等不规范。未落实跨平台隐式标识互识互认义务、未按要求在生成合成内容周边添加显著提示标识或对生成合成内容识别能力不足。存在教授去除 AI 标识的教程信息、提供违规“去标识”工具服务。六是滥用 AI 技术开展违法违规活动。借助 AI 技术实施渗透入侵、恶意样本注入、破坏计算机系统等网络攻击行为。未经他人授权，利用 AI 技术提供“换脸拟声”服务。盗用他人形象，通过数字虚拟人技术进行直播、影像创作，或提供金融咨询、医疗问答等专业服务。利用智能体技术窃取用户数据或账户密钥，侵犯他人隐私或合法权益。七是开源模型安全管理不到位。开源社区缺乏身份认证和安全管理机制，对社区上传的数据集、模型代码等内容未建立有效审核和应急处置机制，未及时清理存在严重风险隐患的数据集或开源模型。第二阶段重点整治 7 类突出问题。一是利用 AI“魔改”经典、生成“数字泔水”。歪曲解构优秀传统文化、历史人物或历史典故，滥用 AI 技术“魔改”古典名著或经典影视作品，植入低俗暴力内容，恶搞古典名著精神内涵、颠覆重要人物人设。批量生成发布逻辑混乱、价值空洞，或带有错误价值观、扭曲文化认知等不良倾向的“数字泔水”类内容。二是制作发布虚假不实信息。生成合成涉时事政治、公共政策、社会民生、国际关系、突发事件等领域谣言信息，或恶意蹭炒突发案事件，虚构原因、细节、进展等。假冒党政军机关、中央和地方新闻媒体，发布虚假公告或假新闻。生成传播医疗、司法、金融、教育等专业领域未经科学验证或明显违背科学常识的信息。三是假冒仿冒他人。利用 AI“换脸”“换声”假冒仿冒公众人物发布不实言论，欺骗网民，甚至营销牟利，或生成合成含有攻击、抹黑、贬损他人的信息。未经授权生成合成与公众人物的合影、亲密照等图片、视频。不当使用 AI“复活逝者”，滥用逝者信息。四是制作发布暴力低俗等不良信息。制作发布含有虐待、殴打、残害等内容的暴力血腥场景，或荒诞、恐怖形象的诡异猎奇画面。生成合成凸显女性特定身体部位，衣着暴露、搔首弄姿等低俗擦边图片、视频，或带有性暗示、性挑逗内容的小说、笔记。五是侵害未成年人权益。生成合成伤害、恶搞未成年人形象的内容，实施网络欺凌。生成合成未成年人怀孕、打架等与其年龄特点不符、宣扬不良价值观的违规内容。以未成年人喜爱的动画人物或玩偶形象为原型，生成合成儿童“虐向”“邪典”等视频，或无底线“二创”版权动画，误导未成年人认知。六是利用 AI“托管”从事网络水军活动。通过 AI“托管”技术运营账号，模拟真人批量注册、运营社交账号，批量生成发布低质同质文案。非法交易买卖账号。使用 AI 群控软件、社交机器人刷量控评，生成虚假流量数据，制造虚假舆论热点。七是 AI 产品服务和应用程序违规。制作和传播仿冒、套壳 AI 网站和应用程序。提供色情陪聊、“一键脱衣”、AI 算命等 AI 违规功能服务，或生成合成违法不良信息内容。为违法违规 AI 应用程序等服务或课程进行营销炒作、推广引流等。中央网信办有关负责人强调，各地网信部门要充分认识专项行动对于推动 AI 应用规范有序发展、维护网民合法权益的重要意义，切实履行属地管理责任，督导网站平台对照整治重点，深入自查自纠，全面排查问题漏洞，完善长效治理机制，有效提升技术防治能力，确保专项行动取得实效。