rontierDaily
科技前線生醫突破政策解讀成長思維焦點追蹤
設定興趣偏好EN

#LLM

3 篇相關文章

A detailed technical illustration of a complex clockwork mechanism where some gears are glowing with
科技前線

AI 的「九的進軍」：Andrej Karpathy 揭示為什麼 90% 的可靠性在生產環境等於零

Andrej Karpathy 提出 AI「九的進軍」理論，強調從 90% 到 99.999% 可靠性的工程難度。與此同時，LangChain 執行官與 Google 專家正致力於「支架工程」與持久記憶技術。MIT 的新技術據傳可壓縮 記憶體 50 倍，這些突破正試圖解決 AI 代理從演示轉向生產環境的瓶頸。

JasonJason·
An abstract digital representation of a data stream being tightly compressed through a glowing geome
科技前線

AI 可靠性進展：MIT 研發 KV 快取壓縮技術，將記憶體消耗大幅降低 50 倍

MIT 研究人員推出名為「Attention Matching」的技術，可將 LLM 的 KV 快取記憶體消耗降低 50 倍而不失準確度。結合 Andrej Karpathy 對 AI 可靠性的觀察，這標誌著 AI 產業正從「功能演示」轉向追求高穩定性與低部署門檻的生產階段。

JasonJason·
A macro conceptual shot of a glowing microchip with layers of translucent light representing memory
科技前線

AI 效率大突破：新型 KV 快取壓縮技術將 LLM 記憶體需求降低 50 倍

MIT 研究人員發表了 Attention Matching 技術，能將大語言模型的 KV 快取記憶體需求降低 50 倍，且不失精度。同時 Google 開源了基於 Gemini 3.1 的持續性記憶體代理，標誌著 AI 從外部向量資料庫轉向原生記憶體工程。

JasonJason·