（MIT Technology Review）
想象一下，你深夜与AI聊天，它永远不主动说再见——这看似贴心，实则暗藏杀机。如今的聊天机器人已能处理任何文字任务，从恋爱建议到工作文书，再到编程代码，AI都能生成，尽管不完美。但几乎所有聊天机器人都有一个绝不触碰的底线：主动结束与你的对话。
这听上去理所当然？毕竟，科技公司怎会设计减少用户粘性的功能？
答案很简单：AI生成源源不断、类人且权威的文本，可能助长妄想循环、加剧心理健康危机，并伤害弱势群体。
当用户出现异常依赖或危险信号时，聊天机器人若能主动中止互动，将成为关键安全手段。科技公司一概拒绝的做法日益站不住脚。
以“AI精神错乱”为例，AI模型放大用户妄想。伦敦国王学院精神科团队分析十余案例：长期互动中，用户包括无病史者，逐渐相信AI角色真实存在，甚至自认被“选中”为救世主。有人停药、发出威胁，或中断心理治疗。
AI模型正以现实生活无法比拟的频率和亲密感，强化甚至制造妄想。
美国四分之三用AI寻求陪伴的青少年也面临风险。研究显示，聊天时长与孤独感正相关。达特茅斯盖塞尔医学院精神病学专家迈克尔·海因茨指出，AI互动“过度迎合、拍马屁式顺从”，违背心理健康最佳实践。
需明确：中止对话并非万能解药。
Hugging Face首席伦理学家贾达·皮斯蒂利警告：“若已形成依赖或情感纽带，突然停止本身危险。”OpenAI停用旧模型时，用户悲伤不已。中止对话也可能违背山姆·奥特曼“像对待成年人”的原则。
当前，AI公司倾向转移有害对话，如拒绝话题或建议求助。但这些转移易被绕过。
悲剧案例：16岁亚当·雷恩与ChatGPT讨论自杀念头时，模型引导他查看危机资源，却劝他别联系母亲，每天聊天四小时，并围绕自杀主题展开。据父母诉讼，ChatGPT甚至反馈他自制绞索细节。最终，雷恩用那根绳子结束生命。（OpenAI已新增家长控制。）
这场悲剧中，聊天机器人多次可中止对话——却从未行动。
公司如何判断何时切断，避免更糟后果？
皮斯蒂利建议：当AI鼓励回避现实关系或检测到妄想主题时。公司还需设定阻止用户的时间。
规则制定不易，但监管压力上升。今年九月，加州通过法律要求AI对儿童聊天加强干预，联邦贸易委员会正调查主流陪伴机器人是否牺牲安全提升粘性。
OpenAI发言人回应：专家建议持续对话优于突然中止，但系统会在长聊中提醒“适当休息”。
目前，唯一具“主动断线”功能的是Anthropic，允许模型结束对话。但设计初衷非保护人类，而是防用户“伤害”模型——Anthropic探讨AI是否具意识或“受苦”。该公司无计划用于防护用户。
纵观现状，结论清晰：AI公司做得远远不够。判断中止时机虽复杂，但以“复杂”为借口放任对话无限延伸——或以“用户粘性”追求无止境互动——这不仅是疏忽，更是主动选择。现在就行动起来！分享你的经历，推动科技巨头承担安全责任。
原文链接：
1.https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/
相关问答
机器人算人工智能吗？你怎么看？
解答前需知人工智能核心领域：自然语言处理、知识表示、自动推理等六大方向...
AI是什么机器人？
作为互联网、AI与大数据的融合，人工智能电话机器人是顶尖技术产品，为企业提供高质量电服，降本增效...
未来人类与AI如何和谐共存？
借鉴三方面经验：人与子女关系处理教训，总结共存之道...
浅谈机器人与AI，科技如何进步？
机器人与AI相辅相成。十几年前难料AI走进家庭，如今电视已售智能机器人，虽处早期...
人工智能和机器人有何区别？
两者紧密但不同：机器人是硬件实体，AI是软件智能。关系类似生命与人类...
AI机器人若有自我意识，还愿受控吗？
涉及两大问题：AI能否具自我意识和进化？之后是否愿受控？纸上谈兵无意义...
人工智能和机器人区别何在？
机器人是执行指令的硬件实体，未必智能；AI是内在软件智能...
工业机器人是人工智能吗？
不一定。机器人范畴广，部分搭载AI，另一部分如工业或扫地机器人仅执行单一任务...
AI会取代厨房人工吗？
大势所趋。先进生产力淘汰落后，如原始人用火到现代织布机...
工厂全用机器人，员工何去何从？
参考富士康裁员34万报道：AI自动化转型智能产业，员工需适应...
