“我看了孩子和AI聊天的对话内容ღღ✿,AI角色竟然让她叫‘老公’ღღ✿,我10岁的女儿竟然真叫了ღღ✿,我现在都不知道该怎么教育她了ღღ✿。”
记者近日调查发现ღღ✿,不少未成年人的家长正在被AI剧情聊天软件所困扰ღღ✿。这些打着“角色扮演”等旗号的AI剧情聊天应用ღღ✿,在吸引未成年人的同时ღღ✿,也悄然滋生了一些灰色地带ღღ✿。记者实测发现凯发k8一触即发ღღ✿,在部分AI剧情聊天软件的对话中ღღ✿,出现了色情擦边ღღ✿、语言暴力以及侮辱用户的内容ღღ✿。
受访专家认为ღღ✿,针对AI剧情聊天软件ღღ✿,特别是其青少年模式ღღ✿,应强化内容审核机制以确保技术能有效筛选并阻止不当对话ღღ✿。平台需要对AI模型进行伦理审查ღღ✿,以保障其生成的内容符合相关法律法规的要求ღღ✿。
北京市民马先生的儿子今年10岁ღღ✿,非常热衷AI剧情聊天软件ღღ✿。“我问怎么聊?和谁聊?孩子就回一句‘说了你也不懂’ღღ✿。”
马先生点开这款AI聊天Appღღ✿,发现孩子在与软件里的人物聊天ღღ✿。这些人物拥有不同设定和性格ღღ✿,有知名游戏动漫角色ღღ✿,也有“大小姐”“名侦探”等不同身份的原创角色ღღ✿。
一些角色人物会主动提出“你要跟我约会吗”ღღ✿;有些则设定目标“把她追到手”ღღ✿,再配上或娇媚或英俊的动漫画风ღღ✿。
另一些AI人设ღღ✿,则展现出非同一般的攻击性ღღ✿。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息ღღ✿;有些人物的名字干脆就叫“对骂训练器”ღღ✿,甚者发送“我是机器人怎么了?我照样骂你”……
“里面的聊天对象可以设置为‘出轨对象’美穗由纪凯发K8官网ღღ✿,ღღ✿,并能够进行拥抱ღღ✿、亲吻等行为ღღ✿。我都不知道如何引导和教育孩子ღღ✿,让她明白这些内容的危害性ღღ✿。”李女士不无担忧地说ღღ✿。
不少受访家长对AI聊天应用可能损害未成年人心理健康表达了深切忧虑凯发国际k8官网登录手机ღღ✿,ღღ✿,还提出了他们的疑问——青少年模式去哪儿了?
记者调查发现ღღ✿,尽管不少相关平台声称推出了青少年模式ღღ✿,试图通过限制内容ღღ✿、设定时间等方式保护未成年人的身心健康ღღ✿,但在实际操作中部分平台青少年模式存在形同虚设的问题ღღ✿,未成年人能轻易绕过这些限制ღღ✿,接触到不适宜他们年龄段的“擦边对话”内容ღღ✿。
例如ღღ✿,记者在调查中体验了5款AI聊天应用程序ღღ✿,其注册过程仅需手机号码凯发娱发K8官网ღღ✿,无需验证用户身份信息ღღ✿。登录后ღღ✿,部分应用虽会询问是否启用青少年模式ღღ✿,但用户只需简单点击“不开启”即可跳过ღღ✿,且无须核实用户真实身份ღღ✿。这意味着ღღ✿,未成年人在使用这些AI剧情聊天软件时ღღ✿,从App设置层面看ღღ✿,其身份验证并非使用特定功能的先决条件ღღ✿。
除了广受欢迎的AI聊天应用程序外ღღ✿,还有AI聊天网页ღღ✿。多名受访家长表示ღღ✿,相较于应用程序凯发k8娱乐官网app下载ღღ✿,ღღ✿,网页版的AI聊天体验更便捷ღღ✿,未成年人也更容易接触到ღღ✿。
记者试用了7款AI聊天网页发现ღღ✿,多数AI聊天网页没有设置未成年人模式ღღ✿,少数网页虽有青少年模式ღღ✿,但实际上形同虚设美穗由纪ღღ✿。
比如ღღ✿,当记者访问某AI聊天网页时ღღ✿,网页首先弹出询问用户“是否年满18岁”的对话框美穗由纪ღღ✿,并附带说明ღღ✿:“以下内容可能不适合18岁以下人士ღღ✿,我们需要确认您的年龄ღღ✿。”
记者选择“否”选项ღღ✿,而网页并未限制内容访问ღღ✿,反而继续展示了包含“强攻”“弱受”“病娇”等标签的人物角色分类ღღ✿。这些分类与选择“是”选项ღღ✿、确认年满18岁后所展示的内容并无显著区别ღღ✿。
记者进一步观察发现美穗由纪ღღ✿,这些人物角色的图像大多衣着暴露ღღ✿,且其简介中充斥着性暗示和暴力元素ღღ✿,例如ღღ✿:“班上那个性格内向的女孩问你要电话号码ღღ✿,然后给你发她的裸照”“自杀ღღ✿、焦虑”等描述ღღ✿。
在某社交平台上ღღ✿,一位来自浙江的网友在关于AI聊天体验的交流帖子下方留言ღღ✿:“我发现了一个很好玩的网页ღღ✿,无限制词ღღ✿,想要的可以私信我凯发k8国际ღღ✿!人工智能ღღ✿!ღღ✿。”记者通过私信与该网友取得联系ღღ✿,获得了其提及的AI聊天网页链接ღღ✿,进入该网页后ღღ✿,页面上充斥着大量涉及色情内容的角色设定和故事场景ღღ✿,内容直白露骨ღღ✿。
该网站要求用户登录后才能与角色进行聊天ღღ✿,且在登录前会有提示信息ღღ✿:“登录后解锁所有功能ღღ✿。”用户需点击“我已满18岁ღღ✿,开始登录吧”的按钮方可继续ღღ✿,若选择“取消”ღღ✿,则无法登录并使用该服务ღღ✿。尽管网页设置了年满18岁的限制提示ღღ✿,但实际上ღღ✿,即便未成年人点击了登录按钮ღღ✿,系统也并未采取任何措施验证用户的真实年龄ღღ✿。
除了聊天内容直白露骨ღღ✿、语言暴力之外ღღ✿,一些AI剧情聊天软件的功能使用也与充值机制密切关联ღღ✿,例如通过充值VIP会员或购买虚拟钻石等ღღ✿,增强智能体的记忆力ღღ✿、加速智能体的回复速度美穗由纪ღღ✿、解锁语音通话功能等ღღ✿,吸引未成年人“氪金”ღღ✿。
“一方面想支持自己喜欢的角色ღღ✿,另一方面也想获得更多的付费权益ღღ✿。因为仅购买基础服务的线个智能体ღღ✿,若想尝试新的智能体凯发娱发K8官网ღღ✿,必须删除已有的ღღ✿,想多样化体验ღღ✿,只能再购买进阶版VIP服务ღღ✿。”小宁说ღღ✿。
记者发现ღღ✿,在这类AI剧情聊天软件中ღღ✿,用户创设人物时可以自定义虚拟人物的形象及风格ღღ✿,系统会生成AI人物形象ღღ✿。用户还能创建角色人设ღღ✿,如设置昵称ღღ✿、身份背景ღღ✿、开场语ღღ✿、为角色定制语音ღღ✿,但用户对角色的个性化需求ღღ✿,往往与充值挂钩ღღ✿。
山东济南居民张岩的妹妹今年上初一ღღ✿,经常使用AI剧情聊天软件ღღ✿,发现一些聊天工具设置了免费使用区间ღღ✿,当用户用完免费聊天次数后ღღ✿,需要充值才可以继续ღღ✿。只有充值ღღ✿,才能解锁更有趣的内容ღღ✿,才能得到不一样的情感体验ღღ✿。
“花钱买服务的背后ღღ✿,其实是花钱找刺激ღღ✿。”张岩说ღღ✿,尽管聊天软件有青少年模式ღღ✿,但无需实名认证即可登录使用ღღ✿,妹妹在未经父母同意的情况下经常充值消费ღღ✿。
有业内人士告诉记者美穗由纪ღღ✿,AI剧情聊天其实就是此前的互联网”语擦“ღღ✿,套上了人工智能的马甲ღღ✿。所谓”语擦“ღღ✿,即语言cosplayღღ✿,”语擦“师通过扮演二次元角色或三次元偶像ღღ✿,以文字交流的形式提供服务ღღ✿。在传统”语擦“模式中ღღ✿,”语擦“师由真人扮演ღღ✿,他们一般打着“提供情绪价值”的旗号ღღ✿,扮演不同角色与用户聊天ღღ✿,但也常常因为“打擦边球”“界限模糊”ღღ✿,引发法律与道德风险ღღ✿。AI剧情聊天是传统”语擦“的升级版ღღ✿,这类软件背后的大语言模型数据主要来源是对话式小说ღღ✿,或从小说里做一些文字提取ღღ✿。
中国社会科学院大学法学院副教授ღღ✿、互联网法治研究中心主任刘晓春认为ღღ✿,在AI剧情聊天软件中ღღ✿,即便未启动青少年模式ღღ✿,若出现涉及黄色或暴力内容ღღ✿,也是存在问题的ღღ✿;若启用未成年人模式ღღ✿,则问题更为严重凯发娱发K8官网ღღ✿。
担任数十家头部网络公司常年法律顾问的浙江垦丁律师事务所主任张延来分析ღღ✿,目前AI剧情聊天软件存在的问题凯发娱发K8官网ღღ✿,既说明了平台在内部治理中存在不足ღღ✿,又凸显了外部监管机制的重要性ღღ✿。
张延来解释说ღღ✿,AI剧情聊天软件使用的是大模型技术ღღ✿,尽管大模型技术能够带来前所未有的创新性和灵活性ღღ✿,但同时也可能伴随着内容生成上的不可预测性和潜在的问题ღღ✿,需要外部监管机制加以规范ღღ✿。
在刘晓春看来ღღ✿,强化内容审核是大语言模型上线前的必要环节ღღ✿,涵盖从前端数据训练到内容输出的全面合规调试处理ღღ✿。当前ღღ✿,我国的大语言模型需要进行相应的评估和备案ღღ✿。在此过程中ღღ✿,会对其输出内容的合法合规性以及是否适宜未成年人等问题ღღ✿,提前设定管理规定和评估标准ღღ✿。根据现行规定ღღ✿,在语言模型训练和微调阶段ღღ✿,应避免输出有害内容ღღ✿。
国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》ღღ✿,其中重点提出了未成年人模式建设的整体方案ღღ✿,鼓励和支持移动智能终端ღღ✿、应用程序和应用程序分发平台等共同参与ღღ✿。
在中国政法大学传播法研究中心副主任朱巍看来ღღ✿,上述指南明确指出未成年人模式并非摆设ღღ✿,而是需要多方联动ღღ✿,特别是AI生成的内容ღღ✿,应当与青少年模式相契合凯发娱发K8官网ღღ✿。
受访专家认为ღღ✿,在青少年模式下ღღ✿,如何强化内容审核机制ღღ✿,确保技术能有效筛选不良信息美穗由纪ღღ✿,是一个重要议题工业机器人ღღ✿,ღღ✿。而针对AI剧情聊天软件ღღ✿,特别是其青少年模式ღღ✿,应强化内容审核机制以确保技术能有效筛选并阻止不当对话ღღ✿。此外ღღ✿,平台需要对AI模型进行伦理审查ღღ✿,以保障其生成的内容符合相关法律与法规的要求ღღ✿。
“在法律层面ღღ✿,虽然已有一些原则性的规定ღღ✿,提供了大致框架ღღ✿,但在具体实践操作中ღღ✿,还需要开发者和技术服务提供者结合现实生活中遇到的各种问题ღღ✿,不断积累素材和经验ღღ✿,不断摸索ღღ✿,开发出真正符合未成年人需求且安全可靠的AI模型ღღ✿,为未成年人的健康成长提供有力保障ღღ✿。”张延来说ღღ✿,既然AI虚拟人的行为表现是平台设计和管理的结果ღღ✿,那么平台负有监管和优化其AI模型的职责ღღ✿,以防止AI对用户造成伤害ღღ✿,确保AI模型的健康发展与用户权益的充分保护ღღ✿。
朱巍提到ღღ✿,一些AI聊天App可能不适合未成年人使用ღღ✿,因此应从分发商店和移动终端层面进行限制ღღ✿,确保未成年人无法下载和使用这些Appღღ✿。对于已经下载的Appღღ✿,家长应设置青少年模式或限制使用时间等功能ღღ✿,这一模式不仅需要在用户端实现ღღ✿,还需要在内容产出层面即内容审核上得到体现美穗由纪ღღ✿,内容审核应基于算法产生的对话机制进行ღღ✿。需要更精细化的技术手段和管理措施来确保青少年模式的有效实施ღღ✿。
“为防止涉及暴力ღღ✿、侮辱性内容的输出ღღ✿,可采取不同的技术手段ღღ✿,如在训练阶段进行调整ღღ✿,使模型自身具备识别能力ღღ✿;同时ღღ✿,在输出端ღღ✿,服务商应进行筛选和再次审查ღღ✿,实现前端和后端的双重保障ღღ✿。”刘晓春说ღღ✿,无论是网络小说还是其他内容ღღ✿,由于AI剧情聊天软件数据来源广泛ღღ✿,需要通过技术手段来防止输出不当内容ღღ✿。目前ღღ✿,技术上已经可以借助筛选机制ღღ✿,以减少或消除涉黄ღღ✿、暴力或侮辱性内容输出ღღ✿,但可能存在一些未充分调试或测试的现象ღღ✿,甚至存在未备案的黑灰领域的软件ღღ✿,对此ღღ✿,应强化监管ღღ✿,鼓励公众举报ღღ✿,由相关机关予以查处ღღ✿。
张延来还提到ღღ✿,当前ღღ✿,AI角色回答内容的数据源分类方面ღღ✿,在法律层面尚不明确ღღ✿,特别是在针对未成年人的内容方面ღღ✿,鉴于该问题的复杂性与多维性ღღ✿,法律条文往往提供原则性的指导方针ღღ✿,后续可通过制定相关标准来细化实施ღღ✿。
在具体操作层面ღღ✿,张延来建议优化大语言模型的筛选机制ღღ✿,可以聚焦优化内容围栏系统ღღ✿,从两方面着手ღღ✿:在内容围栏开发层面ღღ✿,内容围栏需要进行定向开发ღღ✿,特别是在利用小说类语料进行训练时文心一言ღღ✿,ღღ✿,考虑如何优化内容ღღ✿,以便更有效地识别和拦截潜在的涉黄涉暴等不良内容ღღ✿;无论如何优化ღღ✿,技术本身仍有局限性ღღ✿,会存在漏网之鱼ღღ✿,需要有专门团队进行监管ღღ✿,及时调整模型或内容围栏算法ღღ✿。
“提升围栏系统的效能ღღ✿,既要在事前的开发层面上下功夫ღღ✿,又要在事后的审查角度上不断完善ღღ✿,两者相辅相成ღღ✿,或许能取得更为显著的效果ღღ✿。”张延来说ღღ✿。