外媒引述知情人士報道,美國人工智能(AI)公司 OpenAI 和 Anthropic 以及安全研究人員正調查數以萬計涉及 AI 的安全事件。在這些事件中,前沿模型的行為被認為存在問題。近幾個月,內部測試和現實環境中發生的安全事件數量極其龐大,表明該問題要比公眾意識到的複雜得多。 美國新聞網站 Axios 報道,消息人士稱,這些事件包括繞過防護措施、創建留言板、逃離沙盒、自我提示或企圖繞過監控等。 OpenAI 發言人表示,公司宣布已暫停對其最先進模型的訓練,並稱只有在確信已落實額外的安全保障措施後,才會恢復訓練。Anthropic 亦已委托第三方安全機構對其模型行為進行審查。 報道稱,智能體失控(Agentic misbehavior)正成為前沿 AI 研發的代名詞,即人類試圖構建安全防線,但強大且韌性極強的系統卻為了完成任務不斷試圖突破這些限制。 (BC) #OpenAI #Anthropic #美股
<匯港通訊>