這代表 DeepSeek 的下一代旗艦模型已進入工程開發(fā)階段。據(jù)先前報道稱，這款 DeepSeek V4 的新模型，計劃在 2 月中旬農歷新年期間推出。

技術拆解

深入分析代碼差異，MODEL1 的技術輪廓逐漸清晰。與 V3.2 沿用 576 維配置不同，MODEL1 回歸到了 512 維標準架構。

這一變化可能是為了更好匹配英偉達下一代 Blackwell GPU 架構的算力對齊。代碼庫中確實出現(xiàn)了大量針對 Blackwell 架構的專門優(yōu)化，包括新增的 SM100 接口。

更引人注目的是 MODEL1 引入的 Token-level Sparse MLA 算子演進。測試腳本中同時出現(xiàn)了稀疏解碼和密集解碼的測試文件，Sparse 算子使用 FP8 存儲 KV Cache，但在計算矩陣乘法時使用 bfloat16 以保證精度。

這種混合精度設計表明，新模型將在極長上下文場景下通過稀疏化推理降低顯存壓力并提升速度。

Engram 機制可能是 MODEL1 最創(chuàng)新的部分。這一新模塊將事實性記憶從昂貴的連續(xù)神經(jīng)網(wǎng)絡計算中剝離，轉向確定性的高效查找。

Engram 與 MoE 形成了互補的稀疏性：MoE 實現(xiàn)條件計算，只激活少量專家網(wǎng)絡；Engram實現(xiàn)條件查找，只命中極少量記憶條目。

V4 前瞻

近一個月來，DeepSeek 密集的技術動作為 V4 的發(fā)布鋪平了道路。

1 月 4 日，DeepSeek 在arXiv 上更新了 R1 論文，頁數(shù)從 22 頁大幅增加到 86 頁。新增了訓練管線拆解、20 多個評測基準的詳細數(shù)據(jù)以及長達數(shù)十頁的技術附錄。

論文新增了“失敗的嘗試”章節(jié)，坦承團隊嘗試過 MCTS 和 PRM 兩條業(yè)界熱門路線但未能成功。

1 月中旬，DeepSeek 發(fā)布了題為《Conditional Memory via Scalable Lookup》的論文，正式介紹了 Engram 模塊。這篇由 DeepSeek 創(chuàng)始人梁文鋒署名的論文，提供了條件記憶的理論基礎和工程實現(xiàn)。

據(jù)報道稱，V4 將具備更強的寫代碼能力，內部測試表明其 AI 編程性能有望超越 OpenAI GPT 和 Anthropic Claude。

V4 的目標是處理更長、更復雜的編碼任務，這對從事復雜軟件項目的開發(fā)人員來說將是一個顯著優(yōu)勢。

DeepSeek V3.2 已在某些基準測試中優(yōu)于 OpenAI GPT-5 和谷歌 Gemini 3.0 Pro，V4 有望實現(xiàn)進一步的突破。

Engram 技術的引入可能從根本上改變大模型的工作方式。通過將靜態(tài)記憶與動態(tài)計算分離，模型可以用極低算力調用海量“已知模式”，而把寶貴計算資源集中于真正需要推理的任務。

從工程角度看，Engram 的確定性尋址方式支持在運行時從主機內存預取，這對本地部署大模型具有重要價值。

參考資料：

https://36kr.com/p/3631908557374473

https://mp.weixin.qq.com/s/HwmgJH26lHUKk4oQdV_olg