我们是华东政法大学暑期实践小组的成员,近期深入调研了AI情感陪伴产品的发展现状和潜在风险。我们发现,近两年,依托智能体数据分析技术,AI伴侣应用掀起热潮,用户能够与AI建立起爱人、知己、搭档等亲密关系,甚至成为社交平台的流量密码;与此同时它带来了隐私侵犯、伦理问题、社交关系异化等诸多问题。
我们通过测试体验国内外多项“AI情感陪伴”产品、发放调研问卷了解到,一方面“AI情感陪伴”虽然发展迅猛,但核心技术水平有待提升,其基础语言模型离达到高水准“拟人化”的人机情感交互体验仍有很大的距离。研发者可能存在文化偏见、性别歧视等,如果体现在算法之中,由于尚未有效限制未成年人的使用,可能会对用户的价值观造成不良的引导,比如擦边行为、淫秽色情内容等。一些“AI情感陪伴”应用平台会处理大量个性化信息,甚至是一些敏感隐私信息,存在信息泄露和违规滥用等风险。部分粘性用户已产生心理依赖,会在AI模型因内容或其他原因被开发商下架、清空数据后,产生过度悲伤的情绪。
另一方面,相关应用尚未得到专门的政策支持、行业规范和法律关注,产业链的构建尚不完善,版权问题日益明显,未能形成高效运转、健康发展的生态系统。作为个性化服务,意味着个性化价格,其不稳定的盈利模式对消费者权益构成风险。
针对以上问题和风险,我们建议研发者应从基础算法模型入手,通过构建一套问题反馈与模型优化机制、综合比较各类语言模型、加强数据样本的输入来优化基础算法。避免开发过度沉浸的虚拟体验,要经常性提醒用户“你是在与AI互动,而非真人”,防止用户脱离现实生活;避免开发仅供娱乐的功能,缺乏对用户现实生活的积极影响;避免只提供虚拟世界的奖励和成就,忽视现实中的实际成就。
其次,还可以加强产品人性化、多样化、社会化设计。如通过人机互动,鼓励用户在现实世界中完成相应的任务;基于用户兴趣和地点,推荐附近的社交活动、志愿服务和社区项目;帮助用户制定学习和成长路径,提供长期支持和反馈;引导用户与现实中的朋友和家人建立和维护情感联系。
去年,我国公布的《生成式人工智能服务管理暂行办法》划定了AI使用的底线,如尊重他人合法权益、不得危害他人身心健康等。在目前的基础上,需要进一步在细分领域制定更具体的准则,如年龄限制,不同适用场景的限制等。尤其是针对未成年人群体,要加强对未成年用户的精准识别,同时根据应用内容的适宜性与复杂性,实施更为细致的内容与功能访问限制和防沉迷机制,确保“AI情感陪伴”产品在提供温馨陪伴的同时,严格守护未成年人的心理健康与成长环境。