DeepSeek下一代技術曝光：“原生稀疏注意力”！

在今年1月突然爆火之后幾個月來，DeepSeek下一代技術一直值得期待。

近日，DeepSeek的下一代技術“原生稀疏注意力”（NSA）在ACL 2025大會上提前曝光，同時由DeepSeek創始人梁文鋒作為通訊作者與北京大學等機構聯合發表的論文榮獲最佳論文獎。這一成果標志著DeepSeek在長文本處理和計算效率方面取得了重大突破。

據悉，ACL 2025的投稿量高達8360篇，是歷史上最卷的一屆，競爭異常激烈。盡管如此，DeepSeek與北京大學合作的論文憑借其創新性和實用性，成功脫穎而出，獲得了最佳論文獎。該論文不僅在技術上具有突破性，還在學術界和工業界引發了廣泛關注。

核心技術貢獻：動態分層稀疏策略

傳統稀疏注意力方法通常通過固定的稀疏模式（如滑動窗口、全局-局部組合）來降低計算復雜度，但這往往以犧牲模型性能為代價。NSA的革命性在于它采用了一種動態、分層的稀疏策略，通過三條精心設計的并行注意力分支協同工作，實現了效率與能力的完美平衡 ：

1.壓縮注意力（Compression Attention） ：此分支負責捕捉全局的、粗粒度的信息模式。它類似于人類快速瀏覽文章以抓住核心大意，通過對輸入序列進行壓縮，高效地構建全局上下文表征。

2.選擇性注意力（Selective Attention） ：此分支聚焦于序列中最關鍵的詞塊（token），執行更精細的計算。這好比人類在閱讀時對重點段落進行精讀，確保模型不會錯過最重要的語義信息。

3.滑動注意力（Sliding Attention） ：此分支專注于處理局部的、相鄰的上下文信息，確保模型對文本細節的理解不丟失。這相當于人類逐字逐句地閱讀，保證了局部語境的連貫性。

這種動態分層設計并非簡單地丟棄信息，而是通過智能算法，將計算資源動態地分配到最需要的地方，從而在大幅降低計算密度的同時，最大程度地保留了模型的表達能力 。

關鍵創新點：算法與硬件的協同革命

NSA的另一大突破在于它不僅僅是算法層面的創新，更是算法與現代GPU硬件深度協同優化的典范。該機制實現了端到端的“原生可訓練”模式，意味著它在訓練階段就能高效運行，而非像某些早期稀疏方法那樣需要復雜的工程改造或只能在推理階段使用 。通過對計算圖、內存訪問模式進行深度優化，NSA能夠充分利用GPU的并行計算能力，實現了驚人的性能提升。

與傳統全注意力模型相比，NSA在多個維度上表現出顯著優勢：

• 速度提升：在處理64k長度序列時，NSA在解碼階段速度提升11.6倍，前向傳播提升9倍，反向傳播提升6倍。

• 性能超越：在9個評測指標中，采用NSA預訓練的27B參數模型有7個超越了全注意力基線。

• 長文本處理能力：在LongBench基準測試中，NSA取得了0.469的平均分，不僅超越了全注意力基線（+0.032），還大幅領先其他稀疏注意力方法。

• 數學推理能力：在AIME 24測試中，NSA-R在8k上下文設置下的準確率達到0.121，而全注意力模型僅為0.046；在16k上下文下，NSA-R仍保持0.146的準確率，遠超全注意力的0.092。

ACL2025評選出4篇最佳論文

ACL 2025 是國際計算語言學協會（ACL）于 2025 年 7 月 27 日至 8 月 1 日在奧地利維也納舉行的第 63 屆年度會議。該會議是自然語言處理（NLP）領域的頂級學術會議之一，其主題為“NLP 模型的泛化”，旨在探討如何增強模型在多任務、多語言、多領域和多數據分布下的魯棒性和可靠性。ACL2025最終評選出了4篇最佳論文。

1. 《Native Sparse Attention： Hardware-Aligned and Natively Trainable Sparse Attention》
   該論文由北京大學、DeepSeek和華盛頓大學合作完成，作者包括Jingyang Yuan、Huazuo Gao等。論文提出的稀疏注意力（NSA）模型在長文本處理方面表現出色，將處理速度提高了最多11倍，性能超過了全注意力模型。該模型專為硬件優化設計，推動了高效大型語言模型的發展。

2. 《A Theory of Response Sampling in LLMs： Part Descriptive and Part Prescriptive》
   該論文由Sarath Sivaprasad、Pramod Kaushik、Sahar Abdelnabi和Mario Fritz共同撰寫，來自CISPA亥姆霍茲信息安全中心、TCS研究院和微軟。論文探討了大語言模型（LLM）在生成內容時的行為模式，指出其不僅反映數據中的常見情況，還會系統性地偏向“理想化”狀態。這一現象可能帶來決策偏見和倫理問題。

3. 《Fairness through Difference Awareness： Measuring Desired Group Discrimination in LLMs》
   該論文由Angelina Wang、Michelle Phan、Daniel E. Ho和Sanmi Koyejo共同撰寫，來自斯坦福大學。論文挑戰了當前AI公平性研究的主流觀點，提出“差異意識”（DiffAware）和“情境意識”（CtxtAware）的概念，強調在適當情況下識別和區別對待不同群體的重要性。

4. 《Language Models Resist Alignment： Evidence From Data Compression》
   該論文由北京大學人工智能研究院的研究人員撰寫，包括Jiaming Ji、Kaile Wang等。論文揭示了大語言模型在對齊訓練過程中存在“彈性”現象，即模型傾向于維持其原始行為和知識分布，抗拒對齊訓練帶來的改變。這一發現對實現真正穩固、深入的對齊具有重要意義。

ACL2025的4篇最佳論文分別涉及稀疏注意力技術、LLM的行為模式、AI公平性、以及模型對齊的彈性，展示了自然語言處理領域的最新研究成果和創新方向。