上海 AI 应用乱象整治首阶段收官：处置违规账号 1.8 万余个，下架智能体 1.4 万余个

IT之家 6 月 26 日消息，上海市委网信办今日发文，针对“清朗 · 整治 AI 应用乱象”专项行动第一阶段工作进行了公告。自 2026 年 4 月下旬起，上海市委网信办根据中央网信办统一部署，启动“清朗 · 整治 AI 应用乱象”专项行动第一阶段工作，聚焦未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI 数据投毒、生成合成内容标识落实不到位、滥用 AI 技术开展违法违规活动、开源模型安全管理不到位等七类突出问题，强化技术源头治理。5 月 13 日，上海市委网信办召开重点平台专项行动推进会，向属地 AI 平台、互联网内容平台、电商平台、应用商店、开源社区等五类共 17 家重点网站平台部署具体要求，指导平台升级安全与举报机制。5 月 15 日，稀宇、千问、小红书、哔哩哔哩、拼多多等重点平台公开发布专项治理公告，同期上海举报中心官网开设专项举报渠道，迄今已受理涉 AI 类违法不良信息举报及 12345 市民反映线索 20 余件。在专项行动第一阶段，上海市委网信办指导 17 家重点网站平台开展自查自纠，累计清理拦截去 AI 标识的工具和教程、数据投毒、未经授权“换脸拟声”、AI 制谣传谣、AI 低俗内容等违法违规信息 487 万余条，处置违规账号 1.8 万余个，下架违规智能体 1.4 万余个，处置违规商品 1300 余个，并对多次违规账号实施阶梯式约束与封禁。各平台根据自身业务特点推进治理：稀宇持续下架“一键脱衣”、赌球博彩等违规智能体，并对利用 AI 编写病毒、钓鱼软件等恶意行为进行打击；小红书打击 AI 托管运营账号，禁售去 AI 标识商品，并推进与各大制作平台的隐式标识互认工作；哔哩哔哩在内容发布页强化提示，将“AI 生成”列为必选标签以引导创作者规范发布；魔搭社区则全面清理涉低俗等违规数据集，强化开源模型的审核与管理。同时，上海市委网信办组织 3 家专业机构，对用户量大、影响力高的 32 款 AI 产品开展专项巡查测试，并赴 4 家企业进行现场检查，督导企业重点整改 AI 标识落实不到位、平台安全和审核能力不足等问题。在协同治理方面，上海市委网信办深化上海市大模型合规指导服务中心与各区委网信办的协作，开展了 16 场 AI 安全合规培训进街镇活动，强化政策指导和业务受理，并对“应备未备”服务进行排查与安全评估督导。截至目前，上海已完成 169 款大模型备案，以及 183 款调用已备案模型 API 的生成式人工智能应用登记。在重点领域，市区两级在浦东软件园举办“AI 场景落地中的安全挑战和合规赋能”主题沙龙，通过专家分享与政企对话推动治理协同；针对医疗、政务等重点领域坚持“先测评后上线”原则，联合市数据局持续优化政务智能应用测评验证中心能力并制定安全规范，同时协同市卫健委依托医疗大模型应用检测验证中心保障医疗 AI 应用安全可靠；此外还联动市市场监管局调研头部 GEO 企业，探索源头治理路径。针对未成年人保护与拟人化 AI 服务规范，上海市委网信办围绕将于 2026 年 7 月 15 日正式施行的《人工智能拟人化互动服务管理暂行办法》开展了多项准备工作，向近百家重点平台进行法规宣贯，指导企业结合业务实际推进合规建设。针对部分应用存在的未成年人模式虚设、身份核验失效及不良内容生成等风险，督导企业严格落实未成年人身份核验，防范情感依赖与消费诱导，并对问题较突出、群众和媒体反映强烈的个别应用开展监管执法。据介绍，专项行动第二阶段将重点聚焦利用 AI 技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗内容、仿冒他人、侵害未成年人权益、从事网络水军活动等问题，持续清理违法不良信息并依法处置违规账号和平台。专项行动期间，上海市委网信办通过专项举报入口持续接受公众提供的违规线索。