小明永久免费大陆在线观看-小明永久免费视频-小明永久视频免费播放-小嫩妇好紧好爽再快视频-小嫩嫩12欧美-小日本xxx

首頁 資訊 > 投資 > 正文

天天動態:MosaicML 推出 300 億參數模型,訓練成本 70 萬


(相關資料圖)

AI 創業公司 MosaicML 近日發布了其語言模型 MPT-30B,單從參數來看,這個模型具有 300 億參數,放在如今動則上千億參數的模型領域中并沒有什么突出的地方。但這個新模型的訓練成本卻只有其他模型的零頭,有望擴大模型在更廣泛領域的運用。

MosaicML 的首席執行官兼聯合創始人 Naveen Rao 表示,MPT-30B 的訓練成本為 70 萬美元,遠低于訓練 GPT-3 所需的數千萬美元。此外,MPT-30B 模型的質量超過了 OpenAI 在 2020 年發布的初版 GPT-3。由于 MPT-30B 的成本較低,體積較小,它也可以更快速地被訓練,并部署在本地硬件設備上。

MosaicML 使用了 Alibi 和 FlashAttention 技術來優化模型,可以實現更長的文本長度和對 GPU 計算的高利用率。MosaicML 也是少數幾個能夠使用 Nvidia H100 GPU 的實驗室,相比以往,這使得每 GPU 的吞吐量增加了 2.4 倍以上,帶來更快的完成時間。

300 億參數這是一個在大模型領域經常看到的數字,300 億參數為什么這么特殊呢?MosaicML 首席科學家 Frankle 則解釋道,首先 300 億參數能夠確保它可以在本地硬件上輕松運行,同時保持質量與 GPT-3 差不多或略優于它。

其次任何超過 300 億參數限制的模型都需要將模型分解成多個平行段,通常也需要更加昂貴的多 GPU 設置。

除了讓 AI 技術更容易獲得之外,MosaicML 還專注于提高數據質量,以提高模型性能。他們目前正在開發工具,幫助用戶在預訓練過程中分層加入特定領域的數據。這確保了多樣化和高質量的數據組合。將模型擴展到 300 億參數只是 MosaicML 的第一步,接下來他們將以降低成本為前提,推出更大的、更高質量的模型。

開發者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎模型,開發者還可以在自己的硬件上用自己的數據對模型進行微調。

關鍵詞:

最近更新

關于本站 管理團隊 版權申明 網站地圖 聯系合作 招聘信息

Copyright © 2005-2023 創投網 - m.zhigu.net.cn All rights reserved
聯系我們:39 60 29 14 2@qq.com
皖ICP備2022009963號-3

久草中文在线观看 | 美女性爽视频国产免费 | 国产一区欧美二区 | 高潮毛片无遮挡高清免费 | 人妻在卧室被老板疯狂进入国产 | 亚洲熟妇av日韩熟妇在线 | 亚洲av无码久久寂寞少妇 | 国产真实乱16部种子 | 国产成人亚洲精品乱码在线观看 | 久久久久综合网久久 | 挺进朋友人妻雪白的身体韩国电影 | 久久久久成人精品无码 | 国产又粗又猛又爽又黄的视频在线观看动漫 | 国产精品爱久久久久久久 | 伊人婷婷色香五月综合缴缴情 | 久久精品aⅴ无码中文字字幕 | 亚洲精品毛片一区二区三区 | 樱花影院电视剧免费 | 中文字幕乱码人妻一区二区三区 | 九九综合九色综合网站 | 无码中文字幕人妻在线一区二区三区 | 又大又粗弄得我出好多水 | 在线播放五十路熟妇 | 国产自国产自愉自愉免费24区 | 老子影院午夜伦不卡 | 精品亚洲成a人片在线观看 色吊丝中文字幕 | 亚洲经典三级 | 中文字幕无码视频手机免费看 | 国产手机在线αⅴ片无码观看 | 国产精品秘入口18禁麻豆免会员 | 欧美丰满大乳高跟鞋 | 国产精品免费av片在线观看 | 大地资源网第二页免费观看 | 波多野结衣网站 | 国产乱子伦一区二区三区 | 精品亚洲成a人无码成a在线观看 | 国产高清视频免费最新在线 | 东北少妇不戴套对白第一次 | 亚洲 欧美 另类 在线 | 美女美女高清毛片视频 | 91视频久久久久 |