“新三樣”乘風破浪領跑出口
2023-06-26 15:32:46
GPT-4 由 8 個 MoE 模型組成，真的嗎？|環球快看點
2023-06-26 15:32:46 來源: 商業新知網
(相關資料圖)
讓大家沒想到的是，被傳的神乎其神的GPT-4依舊是大力出奇跡的產物。回到ensemble的老路上去了，OpenAI一直在畫的AGI的大餅感覺又離我們遠了。
黑客 George Hotz 在一個播客中透露，GPT-4 是由 8 個 2200 億參數的 MoE 模型組成的，每個模型都針對不同的數據和任務分布進行了訓練，然后通過一些小技巧將它們混合起來。他還說，這樣做是因為單個模型的參數規模已經達到了極限，而且訓練時間越長效果越差，所以他們采用了多模型集成的方法來提高性能。他認為，OpenAI 對此保密的原因是不想讓別人知道他們的模型并不是那么先進，只要花更多的錢就能復制。
這個說法得到了 PyTorch 創始人 Soumith Chintala 的認可2，他表示自己也聽過類似的傳聞，但只有 George Hotz 在公開場合說出來了。不過，也有人對這個說法表示懷疑或質疑134，認為這樣的模型推理成本太高，而且沒有充分利用 GPT-4 的潛力。目前，OpenAI 還沒有對這個爆料做出任何回應或證實。
這件事情很可能是真的，理由如下：
已知的Prior：
1.多個信源認為GPT4比GPT3.5參數量大至少一個數量級，也就是1.7萬億以上。
2. OpenAI去年六月發表過技術報告說他們訓練LLM用了MoE.
現在的觀測：
有人說GPT4是一個1.76萬億參數的MoE
網友得知秘訣后，打算自己也要訓練一個LLaMA集合體與GPT-4競爭。
關鍵詞：
您可能也感興趣:
今日熱點
為您推薦
大量《王者榮耀》主播參與盲盒宣傳：現已道歉退款！_每日關注
2023-06-26 15:32:46
街拍禁止，三里屯太古里潮牌變遷史
2023-06-26 15:32:46
天天快消息！緋色是什么顏色 玄色（緋色是什么顏色）
2023-06-26 15:32:46
排行
最近更新
- GPT-4 由 8 個 MoE 模型組成，真的嗎？|環球快看點
- 異動快報：ST通脈（603559）6月26日13點2分觸及漲停板
- 廈門：461個省市重點項目建設提速 世界速遞
- 今日聚焦!公安部：快偵快破打架斗毆、尋釁滋事等夏季多發案件
- 中國今年做到的，“超過美國過去50年的總和”
- 世界看熱訊：中央氣象臺：我國近海海域將有5-7級風
- 蛋仔派對熊貓保育員皮膚怎么獲得 熊貓保育員皮膚獲取方法[多圖]
- 持續做強養老“第三支柱”（財經眼·創新金融服務 助力“...
- 看點：年輕人為養老行業帶來“新機” 托舉起更美的夕陽紅
- “上汽紅巖杯”第四屆上海市集裝箱運輸行業駕駛員（新能源車...
- 環球熱資訊！什么牌子的化妝品好(女士化妝護膚品哪個牌子好?)
- 環球滾動:【受權發布】北京26日發布雷電黃色預警
- 東離劍游紀官網在哪下載 最新官方下載安裝地址_環球短訊
- 轉發學習精密減速器人形機器人關鍵零部件，產業格局解析 每...
- 每日播報!社企聯盟聚力 共創幸福鄰里 ——浦發銀行福州路支...
- 世界微動態丨讓幼兒成長環境更安全，他們走進幼兒園
- 均價沒漲 距離7號線僅500米！寶山大華“親兒子”又來了
- prada全球代言人有哪些？十大高奢品牌一覽表
- 焦點消息！即將召開的全國人大常委會會議看點前瞻
- 快訊：志愿填報系統、志愿填報輔助系統和志愿填報智能參考系...
- SHEIN推出“希有引力”百萬賣家計劃 今日精選
- 武漢集中供地第二日：聯發、中鐵、德信東西湖區各得一宗
- 天天速讀：無處方販賣管制精神藥品 診所經營者被判有期徒刑八年
- 天天新消息丨未來兩天將有對流性降水，大部地區伴有雷暴、短...
- 【全球熱聞】楊浦區軍工路快速路高架橋梁主體結構成型
- 海南碧城黎客國際酒店二手房子怎么樣？三亞二手房的利弊~|天...
- 世界快播：基金業績“中考”臨近 “含AI量”成決勝關鍵...
- 天天微速訊：2021奇妙陪伴季開啟 萬科上海區域60多萬戶家庭...
- 2023對講機發展需求與未來行業趨向預測|世界速遞
- 太陽兜售艾頓卻無人問津 沃格爾能將他調教為新版希伯特嗎？