一文看懂MoE的前世今生，大模型的未來它說了算？
分類: 最新資訊
潛能詞典
編輯 : 潛能
發布 : 05-01
閱讀 :232
出品｜科技《態度》欄目作者｜薛世軒編輯｜丁廣勝所有的創新都有其現實驅動力。在互聯網巨頭的世界，這一驅動力就是成本。“降本增效”的邏輯貫穿著技術演進的始終，大模型架構也不例外。目前，大模型的發展已經到了一個瓶頸期，包括被業內詬病的邏輯理解問題、數學推理能力等，想要解決這些問題就不得不繼續增加模型的復雜度。如何平衡大模型的訓練難度和推理成本成為擺在各位玩家面前的難題。而MoE模型的日漸成熟為開發者們重新指引了前進的方向——通過改變模型底層架構，換一種耗能低且訓練和推理效果好的模型架構進行大模型開發。一、MoE的前世今生：老樹又冒新芽MoE（Mixture-of-Experts，專家混合），首次出現于1991年的論文Adaptive Mixture of Local Experts中，其前身是“集成學習”（Ensemble Learning），作為一種由專家模型和門控模型組成稀疏門控制的深度學習技術，MoE由多個子模型（即專家）組成，每個子模型都是一個局部模型，專門處理輸入空間的一個子集。在“分而治之”的核心思想指導下，MoE 使用門控網絡來決定每個數據應該被哪個模型去訓練，從而減輕不同類型樣本之間的干擾。通俗來講，MoE就像復仇者聯盟，每個子模型（專家）都是一個超級英雄，門控網絡則是尼克·弗瑞，負責協調各個超級英雄，決定在什么情況下召喚哪位英雄。門控網絡會根據任務的特點，選擇最合適的專家進行處理，然后將各位專家的輸出匯總起來，給出最終的答案。門控功能“稀疏性”的引入讓MoE在處理輸入數據時只激活使用少數專家模型，大部分專家模型處于未激活狀態。換言之，只有擅長某一特定領域的超級英雄會被派遣，為用戶提供最專業的服務，而其他超級英雄則原地待命，靜待自己擅長的領域到來。這種“稀疏狀態”作為混合專家模型的重要優勢，進一步提升了模型訓練和推理過程的效率。MoE發展至今，離不開兩個研究領域對其所做的巨大貢獻：專家作為關鍵組件與條件計算。
