SpikingBrain 技術報告：受脈衝腦啟發的大型模型

SpikingBrain 技術報告：受脈衝腦啟發的大型模型

報告編號：SB-TR-2025-001

報告日期：2025年10月16日

編製單位：xAI 研究團隊（基於公開文獻彙整）

摘要

主流基於 Transformer 的大型語言模型面臨主要的效率瓶頸：訓練計算量隨著序列長度呈二次方增長，推理記憶體則呈線性增長，這限制了長上下文處理能力。在非 NVIDIA 平台上構建大型模型，也為穩定且高效的訓練帶來挑戰。為了解決這些問題，我們引入了 SpikingBrain，這是一系列受大腦啟發的模型，專為高效的長上下文訓練和推理而設計。SpikingBrain 利用 MetaX GPU 叢集，並聚焦於三個方面：

(1) 模型架構：線性與混合線性注意力架構，結合自適應脈衝神經元及共築小型專家系統（Collaborative Compact Expert Systems）；

(2) 算法優化：高效的基於轉換的訓練管道，以及專用的脈衝編碼框架；

(3) 系統工程：針對 MetaX 硬體的自訂訓練框架、運算子庫，以及並行策略。

利用這些技術，我們開發了兩個模型：SpikingBrain-7B（線性 LLM）和 SpikingBrain-76B（混合線性 MoE LLM）。這些模型證明了在非 NVIDIA 平台上進行大規模 LLM 開發的可行性。SpikingBrain 在僅使用約 1500 億 token 進行持續預訓練的情況下，實現了與開源 Transformer 基準相當的性能。我們的模型顯著提升了長序列訓練效率，並實現了（部分）恆定記憶體的推理，以及事件驅動的脈衝行為。共築小型專家系統進一步強化了 MoE 架構的協作效率，每個小型專家模塊模擬腦區專精功能，實現動態知識共構與資源共享。例如，SpikingBrain-7B 在 400 萬 token 序列上實現了超過 100 倍的「首 token 生成時間」（Time to First Token）加速。訓練可在數百台 MetaX C550 GPU 上穩定運行數週，7B 模型的模型 FLOPs 利用率達到 23.4%。所提出的脈衝方案實現了 69.15% 的稀疏性，從而實現低功耗操作。總體而言，本工作展示了受大腦啟發的機制，包括共築小型專家系統，在驅動下一代高效且可擴展的大型模型設計方面的潛力。

作者資訊

•  主要作者：Yuqi Pan, Yupeng Feng, Jinghao Zhuang, Siyu Ding, Zehao Liu, Bohan Sun, Yuhong Chou, Han Xu, Xuerui Qiu, Anlin Deng, Anjie Hu, Peng Zhou, Man Yao, Jibin Wu, Jian Yang, Guoliang Sun, Bo Xu, Guoqi Li

•  聯繫方式：（基於公開文獻，無特定聯繫資訊提供）

引言

大型語言模型（LLM）在自然語言處理領域取得了顯著進展，但傳統 Transformer 架構在效率方面存在瓶頸。訓練計算複雜度為 O(n²)，其中 n 為序列長度，這在處理長上下文時變得不可持續。此外，推理階段的記憶體需求隨序列長度線性增加，限制了模型在資源受限環境中的應用。同時，在非 NVIDIA 硬體平台（如 MetaX GPU）上進行大規模訓練，面臨穩定性和效率挑戰。

本報告介紹 SpikingBrain 系列模型，這是受大腦脈衝神經元啟發的創新設計，旨在解決上述問題。SpikingBrain 透過整合線性注意力機制、自適應脈衝神經元、共築小型專家系統以及硬體優化策略，實現高效訓練和推理。共築小型專家系統借鑒大腦皮層模塊化結構，讓多個小型專家協作構建知識網絡，提升 MoE 模型的擴展性和效率。

模型設計與創新

1. 模型架構

SpikingBrain 採用線性注意力（Linear Attention）和混合線性注意力（Hybrid-Linear Attention）架構，取代傳統的二次方注意力機制。這允許計算複雜度降至 O(n)，顯著提升長序列處理能力。

•  自適應脈衝神經元：模擬大腦神經元行為，引入事件驅動的脈衝編碼，僅在輸入超過閾值時激活，從而實現高稀疏性（69.15%）。

•  共築小型專家系統：在 MoE 架構中引入協作機制，多個小型專家模塊（每個專注特定知識域，如語言理解或邏輯推理）透過動態路由和共享記憶體共構知識圖譜。這不僅降低單一專家規模，還提升整體系統的魯棒性和知識整合效率，模擬大腦多腦區協同工作。

•  模型變體：

•  SpikingBrain-7B：純線性 LLM，適合中小規模應用。

•  SpikingBrain-76B：混合線性 MoE LLM，利用專家路由機制及共築小型專家系統進一步優化計算效率，支持並行專家訓練與脈衝同步。

2. 算法優化

•  轉換基於訓練管道：從預訓練 Transformer 模型轉換到脈衝版本，減少從頭訓練需求。僅使用 1500 億 token 持續預訓練，即可達到基準性能。

•  脈衝編碼框架：專用框架處理脈衝信號，確保高效編碼和解碼，支持事件驅動推理，並與共築專家系統整合，實現專家間脈衝信號共享。

3. 系統工程

•  硬體適配：針對 MetaX GPU 叢集開發自訂訓練框架，包括優化運算子庫和並行策略，支持共築專家系統的分布式訓練。

•  訓練穩定性：在數百台 MetaX C550 GPU 上穩定運行數週，模型 FLOPs 利用率達 23.4%。

•  推理優化：實現部分恆定記憶體使用，並在 400 萬 token 序列上達到 100 倍 TTFT（Time to First Token）加速，共築專家系統進一步減少路由開銷。

性能評估

•  訓練效率：相較傳統 Transformer，SpikingBrain 在長序列訓練中展現更高效率，計算需求顯著降低。共築小型專家系統提升了 MoE 訓練的並行度。

•  推理性能：事件驅動脈衝行為允許低功耗操作，稀疏性達 69.15%，適合邊緣設備；專家共構機制優化知識檢索速度。

•  基準比較：與開源 Transformer 模型（如 LLaMA）相當的性能，但訓練 token 需求僅為其一部分。

•  可擴展性：證明在非 NVIDIA 平台上開發大規模 LLM 的可行性，共築小型專家系統為多樣化硬體生態提供模塊化擴展參考。

結論與未來展望

SpikingBrain 展示了腦啟發計算在大型模型領域的潛力，透過效率優化及共築小型專家系統解決了傳統 LLM 的瓶頸。未來工作可探索更多腦神經機制整合，如動態閾值調整、多模態擴展，以及專家系統的進化學習算法，以進一步提升模型智能和能效。

本報告基於公開技術文獻彙整，旨在提供對 SpikingBrain 的全面概述。如需原始 PDF 或 HTML 版本，請參考相關連結。

參考資料

•  原技術報告：SpikingBrain Technical Report (PDF/HTML)

•  相關平台：MetaX GPU 叢集文檔（未提供特定連結）