6月1日，北京智源人工智能研究院在2021北京智源大會上發(fā)布超大規(guī)模智能模型“悟道2.0”。據悉，其參數規(guī)模達1.75萬億，是AI模型GPT-3的10倍，打破之前由GoogleSwitchTransformer預訓練模型創(chuàng)造的1.6萬億參數記錄，是目前中國首個、全球最大的萬億級模型。

智源研究院理事長張宏江表示，目前，“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對于人工智能發(fā)展具有重大意義，未來將基于大模型形成類似電網的變革性AI產業(yè)基礎設施。AI大模型相當于“發(fā)電廠”，將數據，也就是“燃料”，轉換為智能能力，驅動各種AI應用。如果將大模型和所有的AI應用相連接，為用戶提供統(tǒng)一的智能能力，全社會將形成一個智能能力生產和使用的網絡，即“智網”。大模型就是下一個AI的基礎平臺，是未來AI發(fā)展的戰(zhàn)略基礎設施。

智源研究院學術副院長唐杰教授介紹說，“悟道”超大模型智能模型旨在打造數據和知識雙輪驅動的認知智能，讓機器能夠像人一樣思考，實現超越圖靈測試的機器認知能力。“悟道”團隊在大規(guī)模預訓練模型研發(fā)上做了很多基礎性工作，形成自主的超大規(guī)模智能模型技術創(chuàng)新體系，擁有從預訓練理論技術到預訓練工具，再到預訓練模型構建和最終模型測評的完整鏈條，從技術上是完整成熟的。“悟道2.0”實現了“大而聰明”，具備大規(guī)模、高精度、高效率的特點。

據了解，“悟道”團隊研發(fā)的FastMoE技術，是打破國外技術瓶頸，實現“萬億模型”基石的關鍵。其研究并開源的FastMoE是首個支持PyTorch框架的MoE系統(tǒng)，具有簡單易用、靈活、高性能等特點，并且支持大規(guī)模并行訓練。而且，其還支持Switch、GShard等復雜均衡策略以及不同模型。

關鍵詞： 智能模型 悟道 人工智能 AI模型