OpenAI前首席技術官(CTO)Mira Murati創立的人工智能(AI)初創公司Thinking Machines Lab(TML)推出首個模型「Inkling」，是一個混合專家模型(MOE)。 公司介紹，該模型擁有9750億個參數，其中410億個屬活躍參數，支援高達100萬個詞元(tokens)的上下文視窗。模型在包含45萬個tokens的文字、圖像、音訊和影片進行預訓練。該公司分享Inkling-Small預覽版，這是一個更輕量級模型，擁有120億個活躍參數，採用類似方法進行訓練，但在成本和延遲更低情況下實現強大性能。 Inkling的MoE架構主要參考DeepSeek-V3，訓練後期還使用月之暗面的Kimi K2.5等開放模型生成的數據進行優化。公司指，Inkling「並非當前最強模型，不論開源或閉源」。 (WL)
<匯港通訊>