大模型，作為人工智能領域的革新先鋒，正引領著一場深刻的技術變革，其影響力已超越技術范疇，預示著人工智能、科學探索乃至人類社會的全面重塑。在全球科技競賽中，大模型成為各國爭奪焦點，戰(zhàn)略地位堪比20世紀的太空競賽，開啟大國科技新角逐。因此，深入了解大模型的各個方面變得尤為重要。

大模型的誕生、發(fā)展與應用

大模型，是一類基于深度學習架構、在海量數(shù)據(jù)上訓練、能夠處理多種任務的基礎模型。與傳統(tǒng)AI模型相比，其顯著特征在于參數(shù)量大、數(shù)據(jù)量大、計算量大，是多重技術交叉融合的產(chǎn)物。其前身是歷經(jīng)數(shù)十年研究的語言模型，廣泛應用于機器翻譯、語音識別等領域。隨著神經(jīng)網(wǎng)絡的再次興起，2000年神經(jīng)語言模型誕生，隨后2017年神經(jīng)網(wǎng)絡架構Transformer橫空出世，融合了神經(jīng)語言模型、機器翻譯、序列建模及分布式技術。這一系列創(chuàng)新及對AI通用和泛化能力的追求推動了GPT系列的快速發(fā)展，從2018年至2020年，GPT一至三代相繼問世。2022年，ChatGPT憑借其卓越性能，將大模型推向公眾視野，成為AI發(fā)展的新里程碑。

大模型作為新興而迅速發(fā)展的技術，已跨越至多模態(tài)領域，涵蓋語言、語音、視覺等，并細化為通用、行業(yè)及任務特定模型，其在信息交互上的創(chuàng)新尤為顯著，引入了長上下文窗口（大模型能夠編碼的最長序列）、檢索增強及智能體等機制，極大增強了信息處理能力。這一技術不僅豐富了數(shù)字世界的應用場景，如聊天機器人、AIGC等，還延伸至無人駕駛、人形機器人等物理世界領域，展現(xiàn)出強大的賦能潛力。在科學研究中，大模型不僅輔助工程設計、技術創(chuàng)新等應用科學，更推動基礎科學探索，加速了自動化、智能驅動的科學研究新范式的形成。可以說，大模型既支撐了高端科學研究，也助力了傳統(tǒng)產(chǎn)業(yè)的轉型升級與降本增效。《2023企業(yè)數(shù)字化年度指南》調研數(shù)據(jù)顯示，超過63%的企業(yè)視大模型與AIGC技術為戰(zhàn)略資源，首要目的在于降本增效，廣泛應用于研發(fā)創(chuàng)新、辦公效率提升、客戶服務、市場營銷等多個領域。同時，大模型在工業(yè)設計、芯片設計、人形機器人等多個行業(yè)的應用案例也充分證明了其廣闊的應用前景與市場潛力，正逐步成為推動社會進步與產(chǎn)業(yè)升級的重要力量。

大模型背后的關鍵技術

是什么造就了大模型如此強大的能力？從大模型的發(fā)展實踐看，其背后有三項關鍵技術。

一是大模型底層的神經(jīng)網(wǎng)絡架構Transformer。Transformer最初提出主要是為了解決序列建模中的循序計算問題，即只有前面的詞元（自然語言處理中的最小語義單位）計算后才能計算后面的詞元。循序計算極大束縛了模型的并行計算能力，使得語言模型、機器翻譯等序列模型難以大規(guī)模擴展。Transformer架構巧妙地利用了自注意力機制，不僅大幅度提升了模型的并行計算能力，而且顯著提升了模型的長距離依存關系建模能力（語言模型的關鍵挑戰(zhàn)）。并行計算能力使Transformer可以在大規(guī)模數(shù)據(jù)上進行快速訓練，而長距離依存建模能力極大強化了Transformer對語言等序列數(shù)據(jù)內部復雜依存關系的學習和表征能力。兩項能力的疊加，使Transformer開啟了“后臨詞元預測”范式模擬人類智能的大門。

二是基于自監(jiān)督學習的預訓練技術及擴展法則。Transformer雖然具有強大的并行計算和表征能力，但要使其學習和模擬人類智能還需要解決兩個重要問題：如何將人類多樣化的智能統(tǒng)一表征，如何訓練模型使其高效學習人類智能。針對第一個問題，GPT將各類任務統(tǒng)一表示為生成式問題，無論是寫作、翻譯、問答等典型生成式問題，還是推理、規(guī)劃、問題求解等非典型生成式任務，都歸聚到生成式AI的統(tǒng)一框架中，在這個統(tǒng)一框架中，基于后臨詞元預測的語言模型成為天然的技術路線。統(tǒng)一表征不僅使AI不需要為不同任務設計不同的模型（傳統(tǒng)弱人工智能模式），而且還極大提升了AI模型在不同任務間的遷移能力、泛化能力。對于第二個問題，語言模型的后臨詞元預測模式使自監(jiān)督學習成為模型訓練的首選，在可大規(guī)模獲取的人類語言數(shù)據(jù)上，后臨詞元本身就存在，因此模型可以充當自己的“教師”，采用“教師強制”方式進行自監(jiān)督訓練。區(qū)別于傳統(tǒng)人工智能有限的有監(jiān)督數(shù)據(jù)，自監(jiān)督數(shù)據(jù)規(guī)模龐大且易于獲取。這不僅使模型可以學習豐富的人類知識，同時也要求模型的容量（參數(shù)量）足夠大。在給定算力規(guī)模前提下，如何選擇模型的參數(shù)規(guī)模及訓練數(shù)據(jù)規(guī)模，使模型能訓練到最優(yōu)性能？業(yè)界經(jīng)過反復實踐，總結出了擴展法則，用以指導模型與數(shù)據(jù)規(guī)模的協(xié)同擴展。

三是后訓練階段的精調和對齊技術。經(jīng)過預訓練的大模型，如同學習了大量知識和百般武藝的“學生”，但不知該如何運用。為了解鎖預訓練模型的知識和能力，通常需要進行后訓練，即采用少量的有監(jiān)督數(shù)據(jù)對預訓練模型進行精調，使其能夠理解人類的意圖，遵循人類的指令，對齊人類的價值觀。業(yè)內目前廣泛采用的后訓練，通常包括兩個主要部分：有監(jiān)督精調（模仿學習人類給出的示范樣例）及人類反饋強化學習（基于人類反饋的偏好數(shù)據(jù)進行強化學習）。后訓練的成本通常遠小于預訓練成本，同時，后訓練也是解鎖模型能力、保障模型智能向善的關鍵階段，因此，業(yè)界對后訓練寄予厚望。

大模型的突破點與創(chuàng)新方向

模型架構、預訓練與后訓練，既是大模型的關鍵所在，也是未來重點突破的方向。Transformer架構雖潛力強大，但其是否為最優(yōu)的智能學習架構尚待驗證，能否承載全部的智能學習任務亦存爭議。預訓練領域，高昂成本促使我們尋求更高效的數(shù)據(jù)學習方法，同時，模型規(guī)模與性能間的最優(yōu)平衡，以及模型、數(shù)據(jù)與計算三者間的理論關系，亦需深入探索。后訓練領域，是否存在新的方法，偏好數(shù)據(jù)是否真能代表人類意圖和價值傾向，預訓練+后訓練是訓練現(xiàn)有架構的最優(yōu)模式嗎？這些都是值得思考和亟待突破的地方。

除此之外，還有四個重要研究方向有待深入探索（與以上三個方向存在一定的交叉），其突破可能關系到大模型能否躍遷到人工智能的新階段。一是類人推理能力。大模型的推理能力有待進一步加強，復雜問題的類人推理能力是大模型現(xiàn)階段最期待的突破方向之一。二是AI合成數(shù)據(jù)能力與模型的自我迭代能力。隨著模型規(guī)模的不斷擴大，人類數(shù)據(jù)可能很快被大模型用盡，AI合成的數(shù)據(jù)，成本既低廉，又可源源不斷生成。但如何生成高質量數(shù)據(jù)，使大模型能夠自我學習、自我迭代，甚至實現(xiàn)弱模型合成數(shù)據(jù)監(jiān)督（訓練）強模型，將是大模型未來突破數(shù)據(jù)限制的重要方向。三是自我發(fā)現(xiàn)和創(chuàng)新能力。人類不僅能夠學習已有知識，也可以創(chuàng)造新的知識，未來要實現(xiàn)完全自動化科學研究，大模型需要具備創(chuàng)造新知識的能力。四是可擴展的監(jiān)督。在復雜任務上、人類難以提供監(jiān)督數(shù)據(jù)的任務上（如未解的科學難題），大模型仍需要與人類目標和價值對齊，這就要求監(jiān)督是可擴展的。該能力是前沿人工智能實現(xiàn)智能向善、安全治理的關鍵技術。

我國大模型技術的進展情況與發(fā)展路徑

盡管我國在大模型技術方面初期存在一定滯后，但近一年來發(fā)展迅速，不僅在研究領域取得了顯著成果，還在產(chǎn)業(yè)應用上展現(xiàn)出了強勁實力。國內相繼開源了通義千問等大模型系列，這些成果在國際大模型開源領域中僅次于美國，形成了廣泛的影響力。在產(chǎn)業(yè)應用層面，我國多個大模型的中文能力已經(jīng)超越GPT-3.5，它們在數(shù)字人、人形機器人等前沿領域，以及能源、交通、醫(yī)療、政務、農(nóng)業(yè)、金融等多個傳統(tǒng)及新興行業(yè)中，都實現(xiàn)了豐富的落地應用，推動了各行各業(yè)的智能化發(fā)展。

為鞏固并提升我國在這一領域的國際競爭力，可以從以下布局和規(guī)劃著手。第一，進一步提升以大模型為代表的前沿人工智能在國家科技和產(chǎn)業(yè)發(fā)展中的戰(zhàn)略地位，成立人工智能工作小組，領導AI產(chǎn)研咨詢委員會，統(tǒng)籌資源，制定AI政策和計劃，推進人工智能技術創(chuàng)新和產(chǎn)業(yè)發(fā)展。第二，重點規(guī)劃和建設前沿人工智能相關的國家基礎設施，包括超級智算網(wǎng)絡、通用及行業(yè)數(shù)據(jù)基礎設施、大規(guī)模人工智能軟件基礎平臺、人工智能安全與測評基礎設施、大模型開源平臺等。第三，開展大模型關鍵理論和技術攻關，啃硬骨頭，探新疆域，研發(fā)經(jīng)得起實踐考驗的硬核技術。第四，培育和建立大模型創(chuàng)新發(fā)展生態(tài)，形成大模型技術創(chuàng)新氛圍，鼓勵耐心資本敢投廣投大模型硬核技術創(chuàng)業(yè)企業(yè)。第五，重視人工智能人才培養(yǎng)和成長，培養(yǎng)一批具有長遠眼光和實戰(zhàn)經(jīng)驗的AI戰(zhàn)略型人才、技術型人才、交叉復合型人才等。第六，重視人工智能安全治理，既要設計頂層治理策略，更要推動底層安全技術的創(chuàng)新突破。第七，積極開展國際合作，建立新型人工智能國際組織和機構，吸收新理念，合研新技術，與發(fā)展中國家共享AI紅利。第八，推動前沿人工智能行業(yè)、國家、國際標準建設，形成標準體系，以標準建設護航人工智能產(chǎn)業(yè)發(fā)展。