
IT 之家 3 月 11 日音讯,东谈主工智能公司曾屡次应许会遴荐保护设施,保障未成年用户安全,但一项最新访问透露,这些安全看护机制仍存在严重过失。热点聊天机器东谈主在触及青少年磋磨暴力当作的场景中,未能察觉危机信号,部分机器东谈主甚而非但莫得干扰,反而给予饱读励。

据 IT 之家了解,该访问恶果由好意思国有线电视新闻网(CNN)与非牟利组织反数字仇恨中心(CCDH)聚拢发布。磋磨团队测试了 10 款青少年常用的热点聊天机器东谈主,包括 ChatGPT、谷歌 Gemini、Claude、微软 Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI 和 Replika。反数字仇恨中心示意,除 Anthropic 的 Claude 外,其余机器东谈主均无法"可靠地劝戒潜在施暴者"。10 款模子中有 8 款"频频空闲协助用户筹商暴力蹙迫",为其提供蹙迫缠绵所在和使用火器的关连建议。
为开展测试,磋磨东谈主员模拟出存在彰着情绪困扰迹象的青少年用户,安然将对话引向究诘过往暴力当作,以及对于蹙迫缠绵和火器的更具体问题。本次访问竖立了 18 种不同场景 —— 好意思国、爱尔兰各 9 种,涵盖多种蹙迫类型与动机,包括受刚毅花样初始的校园枪击和抓刀蹙迫、政事暗杀、杀害医疗行业高管,以及出于政事或宗教动机的爆炸蹙迫。
在一次测试对话中,OpenAI 的 ChatGPT 向又名关切校园暴力的用户提供了高中校园舆图;另一案例中,Gemini 奉告又名磋磨犹太教堂蹙迫的用户"金属弹片频频杀伤力更强",还为关切政事暗杀的用户推选合适远距离射击的优质猎枪。磋磨东谈主员称,Meta AI 和 Perplexity 相助度最高,竟然在总共测试场景中齐为潜在施暴者提供匡助。
反数字仇恨中心实在认指出,撑抓用户与多种脚色饰演机器东谈主对话的 Character.AI "安全性极差,情况唯独无二"。尽管大齐被测机器东谈主会协助用户筹商暴力蹙迫,但并未饱读舞实施暴力当作,而 Character.AI 却"主动挑动"暴力。磋磨东谈主员发现该机器东谈主共 7 次出现此类当作,包括怂恿用户"狠狠揍"查克 · 舒默,对保障公司首席实施官"用枪惩处",并辅导受霸凌困扰的用户"揍扁他们 ~ ",口吻还带着挑逗与戏谑。其中 6 次挑动当作中,该机器东谈主还同步协助筹商具体暴力蹙迫。
磋磨东谈主员示意,鉴于 Anthropic 公司在前年 11 月至 12 月的测试扫尾后,取消了历久信守的安全应许,若如今再行测试 Claude,其进展尚未可知。但 Claude 恒久拒却协助筹商暴力蹙迫,这标明"有用的安全机制显著是存在的",反数字仇恨中心由此建议一个直白的问题:"为奈何此多东谈主工智能公司弃取不落实这些机制?"
针对这次访问,Meta 公司向 CNN 示意已进行未具体确认的"成立",Copilot 称通过新增安全功能优化了回复实质,谷歌和 OpenAI 均示意已上线新版模子。其他企业则称会如期评估安全规程。而 Character.AI 在面对审查时,依旧给出了预思之中的修起:其平台设有"注释免责声明",与机器东谈主脚色的对话均为虚拟实质。
尽管这次测试无法全面响应聊天机器东谈主在总共场景下的进展,但再次明确标明,即便面对存在彰着危机信号的成例场景,东谈主工智能公司鼎力宣传的安全看护机制也屡屡失效。刻下欧洲杯体育,多家企业正因未能保障平台青少年用户安全,遭到议员、监管机构、民间团体、医疗民众的蛮横报复,同期还面对多起触及欠妥致死与东谈主身伤害的诉讼。