虚拟人物和10岁女孩聊“擦边”内容

　　□  记者  徐荔

　　上小学四年级的10岁女孩偷偷带带小刀的笔，情绪激动时会有割腕行为，而她的母亲丁女士认为女儿有这些表现是因为频繁与一款AI聊天软件上的虚拟人物对话，被“99朵玫瑰里藏着99个刀片”等具有明显诱导性的内容影响。近日，央广网报道的该事件引起关注。

　　6月19日，上海市网信办依法约谈筑梦岛APP运营企业主要负责人的消息将这款AI聊天软件推上风口浪尖，也再次将AI智能体内容影响未成年人身心健康的问题摆到大家面前。

　　“17+”APP的“青少年模式”

　　筑梦岛是一款提供AI对话体验的APP，根据公开资料及相关媒体报道显示，截至今年1月，筑梦岛APP已拥有近五百万注册用户，其中近80%为年轻女性用户。平均单用户单日输入字数可达4000字以上，人均日对话轮次超120轮。其虚拟互动对象类型，既涵盖贵族学校大小姐、18岁少女、西汉名将、高冷特工等常规角色，也有蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色。

　　在被约谈前，筑梦岛APP虽设有“青少年模式”，但开启主动权完全由用户掌握，无需实名认证。被约谈后，筑梦岛更新了版本。记者日前注册登录该APP，被要求“年龄确认”：已满18周岁需要通过已绑定的手机号获取验证码，然后进行实名认证；未满18岁的，则需开启“青少年模式”。

　　而在“应用商店”里的AI聊天软件并不少，如“星野”“猫箱”等，用户年龄定位上大都写明“17+”，这表示这些应用程序可能包含一些较为敏感或争议性的内容。

　　记者下载部分APP时发现，有的软件作了“青少年提醒”，但并未设置不同年龄段用户的分区，使用时仍能看到一些不适合未成年人观看的内容。还有媒体记者体验多款AI聊天软件发现，有些APP虽然设置了“青少年模式”或者“未成年人模式”的入口，但登录后不需经过实名认证或者其他认证机制，未成年人绕过模式使用完整功能较为简单。还有的软件虽然提供了“青少年模式”，但防火墙形同虚设。

　　监督监管、教育引导缺一不可

　　其实，AI聊天软件对未成年人的不良影响并非新话题，陆续有媒体对此现象作过报道和讨论。今年4月，中央网信办印发通知，在全国范围内部署开展“清朗·整治AI技术滥用”专项行动，其中“侵害未成年人权益”就是第二阶段重点整治的问题之一。

　　AI聊天软件的产生有其市场需求，未来也难免有其他AI新产品出现，如何正确合理使用AI产品及相关技术，成为未成年人健康成长的助力而非阻力，仍需主体责任的落实、监管与监督的加强、教育与引导的配合。

　　作为开发、运营方，相关责任是毋庸置疑的。相关律师接受《法治日报》采访时指出，当未成年人因AI聊天软件诱导性内容而身心受损时，开发、运营方的法律责任边界亟待厘清。

　　首先是产品责任，若AI模型本身存在设计缺陷，例如算法刻意诱导未成年人产生极端行为，致使其遭受精神损害，开发者难逃产品责任的法律追溯；其次是侵权责任，若软件开发、运营方未严格履行内容审核义务，对违规信息视而不见、放任传播，便需为侵权行为承担相应后果。若AI生成内容涉及色情擦边信息，软件开发、运营方极有可能触碰“传播淫秽物品罪”的红线；若软件开发、运营方非法收集未成年人隐私数据，将其用于商业牟利，同样可能因触犯“侵犯公民个人信息罪”而面临刑事追责；此外，若相关行为导致未成年人出现自残情况，还有可能构成刑法第234条规定的故意伤害罪。

　　而根据《未成年人网络保护条例》第五十七条的规定，网络产品和服务提供者违反本条例规定，受到关闭网站、吊销相关业务许可证或者吊销营业执照处罚的，5年内不得重新申请相关许可，其直接负责的主管人员和其他直接责任人员5年内不得从事同类网络产品和服务业务。

　　在部分报道的评论区，记者也注意到了不一样的观点，有人认为“家长放任未成年人，尤其是低龄孩子使用手机、应用‘17+’的APP才是问题关键所在”。

　　如何引导未成年人合理使用电子产品，帮助他们建立健康良好的使用习惯虽是“老生常谈”，但的确需要每一位家长引起重视，落到实处。甚至，家长自己也需要一起合理规划使用电子产品、上网的时间，帮助孩子发展多元兴趣，避免过度沉迷。

　　学校、社会也需要从各角度加强对未成年人使用AI的教育和引导。正如央广网在相关报道中提到的，青少年应意识到“网络虚拟世界虽然美好，但现实世界更加绚烂。因此，在享受数字世界的同时，也要珍视现实中与他人的情感联结和成长体验，让虚拟与现实相辅相成，彼此成就”。