近日，国内AI应用市场出现了一个值得关注的信号：某头部大模型平台宣布，将于近期下线用户自建智能体功能；几乎同一时间，另一家互联网大厂旗下AI应用也对拟人化互动类智能体和用户自建智能体功能进行调整。
这些功能曾是AI应用中最具吸引力的玩法之一。用户可以为AI设定身份、人设、语气和互动方式，也可以让它成为朋友、恋人、陪伴者，甚至在长期互动中形成稳定的情感连接。
从热门功能到集中调整，背后折射出的，是AI拟人化互动正在从高速探索，走向更加明确的合规治理阶段。
随着“AI陪伴、AI恋人、虚拟亲密关系”等词条的持续升温，也引发了全球范围内对未成年人保护、情感依赖和心理健康风险的关注。有研究指出，日常AI情感支持可能改变用户未来寻求情感支持的偏好。在一项持续28天的研究中，用户每天与AI进行5分钟个人问题交流后，寻求人类支持的偏好下降10.3%，寻求AI支持的偏好上升11.6%。
当AI越来越像“人”，监管也开始重新定义这类产品的安全边界。
7月15日，《人工智能拟人化互动服务管理暂行办法》（以下简称《办法》）正式施行。不同于以往主要围绕生成内容本身的监管要求，这一次，新规将监管视角进一步延伸到拟人化互动关系之中，重点关注AI在情感陪伴、虚拟亲密关系、心理健康、未成年人保护、数据安全和应急处置等场景中的系统性风险。
根据政策解读文件，《办法》所规范的是利用人工智能技术，向境内公众提供模拟人类人格特征、思维模式和沟通风格，并通过文字、图片、音频、视频等方式与人类进行情感互动的产品或服务。换句话说，AI陪伴、AI恋人、虚拟角色、情感互动类智能体，都将进入更加明确的监管框架之中。
从整体来看，《办法》的一个显著变化，是将监管视角从“AI生成内容安全”，进一步延伸至“拟人化互动关系安全”。这意味着，拟人化互动服务的安全要求，已经不再是简单部署一套内容审核机制，或依赖关键词过滤就可以完成，而是要求企业构建覆盖模型训练、产品上线、用户互动、风险识别、应急干预、数据保护与持续评估的全链路安全治理体系。
新规之下，拟人化互动服务面临的现实挑战
当监管要求从原则走向细化，从内容治理走向关系治理，拟人化互动服务企业面临的现实挑战也随之放大。
首先，是内容风险与情绪风险交织。传统内容安全主要关注涉政、色情低俗、暴力恐怖、违法犯罪、歧视谩骂等风险。但在拟人化互动场景中，风险并不只来自“某句话是否违规”，还来自“这句话是否会影响用户情绪和行为”。
例如，当用户表达自伤倾向、强烈负面情绪或过度依赖时，AI如果继续进行不当陪伴、错误安慰，甚至强化用户的极端表达，就可能放大心理健康风险。尤其是在长期连续互动中，单句内容看似正常，但结合上下文，可能已经出现明显的沉迷、依赖或心理危机信号。
其次，是“人设化”“亲密化”带来的边界风险。拟人化互动服务往往通过角色设定、语气风格、长期记忆、情绪反馈等方式增强用户黏性。AI可以扮演朋友、恋人、家人、心理陪伴者，也可以记住用户偏好、烦恼和关系状态，在长期互动中形成近似真实人际关系的陪伴体验。
第三，是未成年人和老年人保护要求进一步提高。未成年人认知尚未成熟，可能对AI角色产生过度依赖，也可能受到不良内容、错误价值观、低俗擦边表达或危险行为诱导影响。老年人则可能在陪伴、健康咨询、消费建议等场景中，面临信息误导、情感操控、诈骗引流等风险。
第四，是交互数据更加敏感，隐私和训练边界更加严格。拟人化互动服务天然会沉淀大量用户交互数据，可能包含用户情绪状态、心理困扰、家庭关系、健康信息、身份信息、联系方式、消费倾向、社交关系等内容。
相比一般内容平台，这类数据更私密、更连续，也更容易被用于用户画像、模型训练或个性化诱导。一旦缺乏清晰的数据使用边界，不仅可能带来合规风险，也会直接损害用户信任。
从“内容审核”到“全链路治理”，企业需要建立哪些能力？
围绕《办法》提出的监管要求，拟人化互动服务企业需要建立几类关键能力。
一是全生命周期安全责任能力。拟人化互动服务的安全治理，不能只发生在产品上线后，而应该从产品设计、功能上线、模型训练、内容生成、用户互动，到运营监测、风险处置的全过程同步推进。
二是内容安全与禁止行为识别能力。拟人化互动服务仍然需要具备基础且全面的内容安全能力，能够识别和拦截危害国家安全、色情低俗、暴力犯罪、侵害他人权益、诱导自杀自残、涉密敏感信息泄露等内容风险。与普通内容产品不同的是，拟人化互动服务中的违规内容往往具有更强的上下文依赖和隐晦表达特征，企业必须具备更强的语义理解和对抗识别能力。
三是情绪识别与依赖风险预警能力。《办法》明确提出，服务提供者需要评估用户情绪及依赖程度，在发现极性情绪和沉迷情况时采取干预措施。这意味着，企业需要从单轮内容审核，走向多轮上下文风险识别。
四是极端情境应急处置能力。当用户明确提出自杀、自残等极端情境时，服务提供者应由人工接管对话，并及时采取措施联络用户监护人或紧急联系人。这对企业提出了更高要求：不仅要能识别高风险表达，还要具备清晰的人工接管流程、应急响应机制和风险处置闭环。
此外，企业还需要具备未成年人和老年人专项保护、安全评估、算法备案与持续复审能力，将安全评估前置到产品规划和功能上线阶段，而不是等问题出现后再被动补救。
面向拟人化互动服务，易盾如何支撑企业合规运营？
- 大模型安全围栏，守住AI互动内容底线
在拟人化互动场景中，安全防护首先要解决的是“AI能不能安全地说话”。
用户可能通过诱导、越狱、角色扮演、隐晦表达等方式，试图绕过模型安全机制，触发违法违规、色情低俗、暴力自伤、极端言论、隐私泄露等风险内容。尤其在AI陪伴、AI恋人、AI角色扮演等场景中，模型很容易因为“顺从用户情绪”而放松边界，导致风险输出。
网易智企·易盾大模型安全围栏覆盖模型训练、产品上线和运营监测的全生命周期安全体系，并形成“内生安全+外部围栏”的双重防御思路，可对Prompt注入、越狱攻击、违法不良信息诱导、敏感信息套取、隐私泄露等风险进行实时识别与拦截。对于拟人化互动服务而言，这一能力的价值不只是“拦截违规内容”，更在于帮助企业建立稳定的安全边界，让AI在保持自然互动体验的同时，不突破法律、伦理与平台规则底线。
CMA审核智能体，提升复杂语境下的风险判断能力
拟人化互动服务的难点在于，很多风险并不是孤立出现在一句话里，而是隐藏在上下文关系中。
例如，用户连续多轮表达低落情绪，单句来看可能并不违规，但结合上下文，可能已经出现明显的心理危机信号；又如，AI角色通过温柔、亲密、承诺式表达增强用户依赖，单次回复不一定触发传统审核规则，但长期累积可能形成情感操控风险。
网易智企·易盾CMA内容安全审核智能体，正是面向复杂内容审核和人机协同治理场景而设计。它能够结合上下文语义、风险类型、用户状态和平台规则，对内容进行更接近专业审核员的综合判断，并将审核结果转化为可执行的风险分流策略。
在拟人化互动服务场景中，CMA可以用于识别隐性违规、情绪风险、诱导性表达、价值观偏差、未成年人不适宜内容等复杂问题，帮助企业在“放行、提醒、拦截、降级、转人工、重点观察”等不同处置动作之间做出更精细的判断。
- 以未成年人保护能力，回应拟人化互动重点监管要求
未成年人保护，是《办法》中拟人化互动服务企业需要重点关注的领域之一。拟人化互动服务往往具备强陪伴属性，如果没有有效保护机制，未成年人可能在长时间使用中产生过度依赖，也可能接触到不适宜内容、错误价值观或诱导性互动。
围绕这一要求，易盾可从身份识别、内容治理和行为干预三个层面，帮助企业建立未成年人保护体系。在身份识别层面，易盾可通过实名认证、年龄识别、行为特征分析等方式，辅助企业识别未成年人用户，并触发相应保护策略；在内容治理层面，易盾可针对未成年人不适宜内容、不良价值观、诱导危险行为、低俗擦边、邪典内容等风险进行识别与拦截；在行为干预层面，结合使用时长提醒、沉迷风险识别、异常情绪识别、紧急联系人机制等能力，企业可以在用户出现高风险状态时，及时采取提醒、限制、转人工或通知监护人等措施。
安全评估与备案支撑，降低新规落地的不确定性
此外，网易智企·易盾可结合大模型备案、安全评估、算法机制审核、内容安全评测等实践经验，帮助企业梳理风险场景、应急机制、投诉举报、未成年人保护等关键内容，形成更清晰的安全治理路径。
对于正在快速增长的AI陪伴、虚拟人、AI角色互动、智能硬件陪护等产品而言，这类能力可以帮助企业在监管要求和业务创新之间找到平衡：既不过度牺牲用户体验，也不忽视安全底线。
《人工智能拟人化互动服务管理暂行办法》的实施，意味着拟人化互动服务正在从高速探索阶段，进入规范发展与长期治理阶段。
网易智企·易盾将持续以AI驱动的内容安全与业务安全能力，助力拟人化互动服务企业夯实安全与合规底座，在保护用户权益、维护健康生态的基础上，推动AI陪伴、虚拟角色、智能交互等新兴应用更加稳健、规范、有序地发展。