小明永久免费大陆在线观看-小明永久免费视频-小明永久视频免费播放-小嫩妇好紧好爽再快视频-小嫩嫩12欧美-小日本xxx

首頁 資訊 > 創新 > 正文

浪潮信息Owen ZHU:大模型百花齊放,算力效率決定速度


(相關資料圖)

與狹義的人工智能相比,通用人工智能通過跨領域、跨學科、跨任務和跨模態的大模型,能夠滿足更廣泛的場景需求、實現更高程度的邏輯理解能力與使用工具能力。2023年,隨著 LLM 大規模語言模型技術的不斷突破,大模型為探索更高階的通用人工智能帶來了新的曙光。通用人工智能進入了快速發展期,在中國,大模型已經呈現出百花齊放的態勢,各種大模型層出不窮。

要想在"百模爭秀"的時代占得先機,AI開發團隊需要著力化解算力、算法、數據層面的巨大挑戰,而開發效率和訓練速度是保障大模型市場競爭力的核心關鍵因素,也是未來的核心發力點。近日,浪潮信息人工智能與高性能應用軟件部 AI 架構師Owen ZHU參與首屆由CSDN、《新程序員》聯合主辦的NPCon大會,發表重要技術演講,分享面向新一輪AIGC產業革命,AI大模型的算力系統解決之道,并強調算力、算法、數據和系統架構等多個方面的綜合優化對大模型訓練到了至關重要的作用。

以下為Owen ZHU在NPCon大會的演講實錄整理:

"百模爭秀"時代的算力瓶頸

大模型研發的核心技術是由預訓練與Alignment組成的,第一部分就是預訓練,需要用大量的數據使模型收斂速度更快、性能更好。第二部分則是Alignment,Alignment不完全等于強化學習,其通過使用多種方式/策略優化模型輸出,讓AI在和人的交流反饋中學會如何溝通表達,這兩部分是提升大模型質量的核心要素。

目前來看,模型基礎能力取決于數據、模型參數量和算力。模型參數量越大、投入的訓練數據越大,模型泛化能力越強。由于資源限制,在兩者不可兼得的時候,應該如何進行取舍呢?OpenAI的研究結論認為,與增加數據量相比,先增大模型參數量受益則會更好,用一千億的模型訓練兩千億的Token和兩千億模型訓練一千億的Token,后者的模型性能會更高。

由此可見,參數量是衡量模型能力的一個重要指標,當模型參數量增長超過一定閾值時,模型能力表現出躍遷式的提升,表現出來語言理解能力、生成能力、邏輯推理能力等能力的顯著提升,這也就是我們所說的模型的涌現能力。

模型規模多大能產生涌現能力呢?現在來看,百億參數是模型具備涌現能力的門檻,千億參數的模型具備較好的涌現能力。但這并不意味著模型規模就要上升到萬億規模級別的競爭,因為現有大模型并沒有得到充分訓練,如GPT-3的每個參數基本上只訓練了1-2個Token,DeepMind的研究表明,如果把一個大模型訓練充分,需要把每個參數量訓練20個Token。所以,當前的很多千億規模的大模型還需要用多10倍的數據進行訓練,模型性能才能達到比較好的水平。

無論是提高模型參數量還是提升數據規模,算力依舊是大模型能力提升的核心驅動力:需要用"足夠大"的算力,去支撐起"足夠精準"模型泛化能力。當前大模型訓練的算力當量還在進一步增大,從GPT-3到GPT-4算力當量增長了68倍。算力當量越大,交叉熵越小,模型能力越強。隨著訓練的token數、模型參數、計算量的增加,語言模型的loss在平滑下降,這就意味著大語言模型的精度可以隨著計算量、參數規模、token數擴展進一步提升。

關鍵詞:

最近更新

關于本站 管理團隊 版權申明 網站地圖 聯系合作 招聘信息

Copyright © 2005-2023 創投網 - m.zhigu.net.cn All rights reserved
聯系我們:39 60 29 14 2@qq.com
皖ICP備2022009963號-3

少妇无码一区二区三区 | 吃奶摸下的激烈视频 | 91精品视频在线播放 | 中文字幕爆乳julia女教师 | 狠狠色成人综合网 | 免费大片黄在线观看 | 黄页网站免费在线观看 | 欧洲av无码放荡人妇网站 | 国产精品第5页 | 苍井空浴缸大战猛男120分钟 | 男女车车的车车网站w98免费 | 国产精品夜色视频一级区 | 成人免费国产欧美日韩你懂的 | 国产大量女主播精品视频 | 脱岳裙子从后面挺进去视频 | 91国内外精品自在线播放 | 成片免费观看 | 人妻少妇精品中文字幕av蜜桃 | 又大又紧又粉嫩18p少妇 | 免费大片黄国产在线观看 | 成人性视频全过程 | 玩两个丰满老熟女 | 人妻少妇久久久久久97人妻 | 国产高潮刺激叫喊视频 | 免费无码一区二区三区蜜桃大 | 国产欧美亚洲精品a | 久久国产劲暴∨内射新川 | 2022国产成人福利精品视频 | 男女男精品免费视频网站 | 国产98色在线 | 日韩 | 黄又色又污又爽又高潮动态图 | 免费女人18毛片a级毛片视频 | 国产精品99久久久久久www | 亚洲精品乱码久久久久久蜜桃图片 | 狼人大香伊蕉国产www亚洲 | 国产在线观看网站 | 又爽又高潮的bb视频免费看 | 久久天天躁夜夜躁狠狠 | 国产一级持黄大片99久久 | 麻豆蜜桃av蜜臀av色欲av | 亚洲欧美色一区二区三区 |