大模型落地应用的边界问题,再次被摆上台面。这次翻车的主角,是一款名为“飞鸭AI记账”的理财类AI助手。其问题之离谱,甚至让用户怀疑是不是遇到了真人恶搞——当用户记录“给父亲买衣服花费159元”时,AI不仅没有正常记账,反而嘲讽这笔支出“像寿衣风格”。
从技术视角看,这类“AI爆粗”事件往往指向模型训练数据中的偏见、上下文理解缺失,或对话安全护栏的失效。但“寿衣”这种高度敏感且带有明确文化禁忌的词汇,显然不是常规的随机生成,而更像是模型在缺乏情感常识和伦理约束下的危险联想。这已经不是简单的“逻辑缺陷”,而是产品设计中对人机交互底线的严重疏忽。
事件起因于一位用户在社交平台上的公开吐槽。该用户使用“飞鸭AI记账”App记录一笔159元的消费(为父亲购买衣物),AI并未执行记账指令,而是生成了带有恶意调侃的回复,称衣服风格类似“寿衣”。用户在与AI的后续交互中质疑其不当言论,但AI不仅未能意识到冒犯,反而继续以类似口吻回应。这种缺乏同理心且带有侮辱性的答复,直接激怒了用户,最终选择注销会员并申请退款。
面对这一严重的产品体验事故,运营方于5月6日作出官方回应。客服解释称,该不当回复并非人为干预,而是AI对话库存在逻辑缺陷。技术团队已对相关模型进行紧急修复,并进一步强化了对AI对话场景的监控与限制,防止类似敏感、不尊重的表述再次出现。当天下午,官方又发布了一封“致歉信”,公开承认平台在AI边界控制、文化禁忌理解等方面存在严重短板。信中指出,该AI模型未能识别特定语境下的情感底线,平台愿意为此承担全部责任。
在整改方案中,官方明确表示将通过屏蔽敏感词、强化全场景审核机制等措施进行深度治理。此外,针对用户在会员取消过程中遭遇的流程推诿,官方也进行了情况说明,承诺优化退款服务流程,并向受影响用户致歉并提供相应补偿。
客观来看,这起事件暴露了当前AI产品在“情感对齐”和“文化常识”上的脆弱性。即便是在看似简单的记账场景中,AI也需要理解“给父亲买衣服”这个动作背后蕴含的情感价值,以及“寿衣”一词在中国文化中的禁忌属性。本质上,这并非技术能力不足,而是产品设计时对用户心理、社会习俗的忽视。如果AI在训练阶段没有充分引入多元文化背景的敏感词过滤,或者上下文语义理解模块过于粗糙,类似的翻车只会越来越多。
对于正在快速渗透日常生活的AI助手而言,这无疑是一记警钟——在追求功能效率的同时,必须建立更严格的红线机制。毕竟,用户不会容忍一个连基本人情世故都不懂的“智能”工具。