美團於本週正式對外開源了其萬億參數級巨量模型 LongCat-2.0。這款模型不只標誌著其技術成果的共享，更特別的是，它同步公開了針對國產算力晶片的推理程式碼，旨在推動國產算力生態系的發展與應用。
LongCat-2.0 以 1.6 兆（萬億）參數規模亮相，平均有效啟動參數量約 480 億（48B），其核心設計理念是為自動代理程式碼（Agentic Coding）任務而生。據開發團隊指出，這是業界第一個在五萬張國產算力卡組成的叢集上，成功完成推理的萬億參數模型。為克服國產算力晶片在顯存與頻寬方面的固有侷限，這項專案在模型架構、晶片適配與部署策略上，進行了深度協同最佳化，確保萬億參數模型能在現有國產硬體上穩定運行並展現高效能。開發團隊希望透過開源的方式，分享其在模型能力與推理優化上的成果，從而活化更多既有的國產算力資源，並實現其長期的生態價值。
萬億參數模型：模型、晶片適配與部署的三大突破
據開發團隊揭露，為了讓 LongCat-2.0 在國產晶片上實現流暢推理，他們分別從模型、晶片適配與部署三個主要面向，逐一擊破了來自顯存、頻寬和晶片間互聯等多重限制。
模型層面：提升效率與緩解壓力
在模型架構方面，LongCat-2.0 針對超長上下文處理，引入了多項創新技術。其中，「注意力機制」（Attention）透過吸收式計算模式（absorb calculation mode）、索引器（Indexer）與多層感知機前向處理（MLA prolog）的並行處理，以及鍵值快取（KV-cache）的分塊處理（KVP切分），有效緩解了在處理超長上下文時產生的 I/O 負載與顯存壓力。
此外，模型還採用了「稀疏專家混合」（Sparse Mixture-of-Experts, ScMoE）架構。這項技術善用國產晶片的控制核心能力，實現了稠密（Dense）與稀疏專家（MoE）分支在物理核心層級的並行執行，進一步壓縮了端到端延遲。這使得 LongCat-2.0 能夠在國產晶片上實現百萬級上下文的高效推理。
晶片適配層面：最大化硬體利用率
為最大化國產晶片的硬體利用率，LongCat-2.0 在晶片適配上亦做了多層次最佳化。透過「超級核」（Super Kernel）技術，減少了運算子的數量，進而降低了運算啟動時的開銷。同時，利用「權重預取」（Weight Prefetch）策略，在先前的計算過程中隱藏了 I/O 延遲。
此外，該專案也善用高速的晶片間互聯技術，完成了層級（layer-wise）的鍵值快取傳輸。在受限的顯存與頻寬條件下，張量並行（Tensor Parallel, TP）、管道並行（Pipeline Parallel, SP）以及鍵值快取分塊（KVP）等策略都在擴展互聯域（scale-up互聯域）內完成，有效地壓榨出硬體的最大效能。
部署策略層面：兼顧延遲與穩定性
在部署策略上，LongCat-2.0 採用了預填充（Prefill）與解碼（Decode）分離部署（PD分離）的設計，旨在同時兼顧首字元生成時間（Time-To-First-Token, TTFT）與每輸出字元時間（Time-Per-Output-Token, TPOT）。
在預填充階段，透過縮小專家並行域（Expert-Parallel domain）與序列並行（sequence parallel）的方式，共同分擔長序列計算壓力。而在解碼階段，則利用鍵值快取分塊（KV-cache 切分）與高並行度來降低單張卡的顯存佔用。此外，搭配異步化的專家並行負載平衡（Expert-Parallel Load Balancing），解決了在大專家並行度下可能出現的負載不均問題。
這些並行方案均已適配受限解碼（constrained decoding）、多步調度（multi-step scheduling）和多租戶並行（MTP, Multi-Tenant Parallelism）等推理優化特性，旨在確保萬億參數模型在國產算力平台上的穩定服務能力。
透過這些創新與優化，LongCat-2.0 不僅驗證了國產晶片承載複雜巨量模型任務的成熟能力，也期望透過這次開源作業，為業界提供一個可複現的技術路徑，進一步推動現有算力資源在實際應用場景中的價值發揮。
LongCat-2.0 模型全面升級：會執行、會推理、懂交互
LongCat-2.0 的整體設計沿襲自其前身 LongCat-Flash，但在長上下文處理、程式碼任務和智慧代理（Agent）應用場景方面，開發團隊進行了三項關鍵的升級優化，讓模型具備更強的執行、推理與交互能力。
2.1 長上下文處理效率：引入 LongCat 稀疏注意力機制
為應對智慧代理任務中常見的長輸入場景，LongCat-2.0 引入了獨特的 LongCat 稀疏注意力機制（LSA）。該機制結合了流感知索引（stream-aware indexing）、跨層索引（cross-layer indexing）和層級化索引（hierarchical indexing）三項策略。這些策略旨在減少碎片化記憶體存取（fragmented memory access）和重複的索引計算，在維持模型性能的前提下，顯著加速了百萬級長上下文的訓練與推理過程。這意味著模型能更高效地處理大量資訊，對於複雜的程式碼理解與生成至關重要。
2.2 參數利用效率提升：導入 N-gram Embedding
在模型參數擴展方面，LongCat-2.0 在既有的「稀疏專家混合」（MoE）模組之外，創新性地引入了 N-gram Embedding 作為新的參數擴展路徑。開發團隊發現，在 MoE 稀疏度已接近 97% 的情況下，投入 1350 億（135B）參數於 N-gram Embedding 所帶來的效益，遠超越繼續擴充 MoE 專家所能達到的效果。這個 N-gram Embedding 模組的參數佔比控制在總參數的 10% 以內，成功兼顧了參數增益與模型的結構穩定性。這項創新不僅提升了模型對語意資訊的捕捉能力，也優化了整體參數的利用效率。
2.3 融合多模態能力：MOPD 架構下的執行、推理與交互
在模型的後訓練階段，LongCat-2.0 採用了多教師線上蒸餾（multi-teacher online distillation）的方法。在這一過程中，專家被區分為三種類型：代理（Agent）、推理（Reasoning）和交互（Interaction），分別專注於自主執行、自適應推理與安全對齊等核心能力。
最終，這些能力透過 MOPD（Multi-Objective Post-Distillation）架構在國產算力叢集上無縫融合。這使得 LongCat-2.0 具備了深度推理、自主執行以及精準交互的綜合表現，這對於需要複雜決策與代碼生成能力的智慧代理任務尤為重要。
綜合來看，LongCat-2.0 的全面升級展現了其在處理複雜任務，特別是自動代理程式碼任務上的強大潛力，並為未來在國產算力平台上的應用奠定了堅實基礎。
開源開放：促進國產算力生態發展
LongCat-2.0 的開源，不僅是技術成果的公開，更被視為一次針對業界的生態邀請。
此次開源同步提供了 BF16、FP8 以及 INT8 等多種精度版本，全面涵蓋了不同算力平台的部署需求。開發團隊表示，他們深度擁抱開源社群，並將針對國產算力進行極致優化的推理成果同步開源。這意味著，即使使用者手頭沒有最新的高效能算力資源，也能夠基於現有的國產硬體，穩定地運行 LongCat-2.0。
開發團隊期望透過這套「開箱即用」的推理棧，能讓更多的國產晶片，包括較舊型的國產算力卡，都能流暢部署萬億參數級的巨量模型推理服務，進而在實際生產力場景中發揮更大的價值。
開源模型權重與推理程式碼已透過 GitHub 提供。其中，GPU 版本的推理程式碼已整合至開源專案中，而 NPU（國產類神經網路處理器）版本的推理程式碼則在另一個專案分支中提供。此外，API 平台也同步開放，旨在便利開發者接入與應用。