小明永久免费大陆在线观看-小明永久免费视频-小明永久视频免费播放-小嫩妇好紧好爽再快视频-小嫩嫩12欧美-小日本xxx

首頁 資訊 > 資訊 > 正文

彩云科技發布基于DCFormer架構通用大模型云錦天章

11月13日,彩云科技在北京總部與媒體進行一場主題為“From Paper to App”的溝通會。會上,彩云科技CEO袁行遠,就通用大模型未來進化之路,與人工智能的落地場景等熱點話題進行了交流,并正式推出了首款基于DCFormer架構開發的通用大模型云錦天章,與此同時,彩云科技旗下AI RPG平臺彩云小夢,也成為首款基于DCFormer架構開發的AI產品。

早在2017年,谷歌發布《Attention Is All You Need》論文,首次提出Transformer架構,掀開了人工智能自然語言處理(NLP)領域發展的全新篇章。Transformer架構作為神經網絡學習中最重要的架構,成為后來席卷全球的一系列通用大模型如ChatGPT、Gemini的底層技術支撐。而提升Transformer的運行效率也成為人工智能領域的研究熱點,2024年4月,谷歌最近一次更新了Transformer架構,提出了Mixture-of-Depths(MoD)方法,使得訓練后采樣過程中提速50%,成為Transformer架構提速升級的又一重要事件。

同樣在今年,一家來自國內的人工智能企業彩云科技,在國際機器學習領域的頂級會議ICML(國際機器學習大會)上,發布全新大模型論文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在該論文中,彩云科技團隊首次發布DCFormer架構,并在基于DCFormer打造的模型DCPythia-6.9B上,實現了在預訓練困惑度和下游任務評估上都優于開源Pythia-12B。這意味著,DCFormer模型在性能上,實現了對Transformer模型1.7-2倍的提升。

只有模型效率和智能度提升才能實現真正的AGI

溝通會現場,袁行遠首先向參會者展示了一個ChatGPT o1的問答:“假設ChatGPT4每天響應用戶約2億個請求,消耗超過50萬千瓦時的電力。假設全球網絡都使用ChatGPT作為訪問入口,ChatGPT每天消耗多少電力?另外按照這個速度發展下去,到2050年全球人工智能的耗電量會達到目前地球發電能力的多少倍?”ChatGPT o1給出的答案是,“到2050年,全球人工智能的耗電量可能會達到目前地球發電能力的8倍”。

“Scaling Law告訴我們,隨著算力的提升,模型更大、數據更多,模型效果會越來越好,但與之相應的,能耗也會越來越高,在Scaling Law失效,人工智能實現之前,或許我們地球的能源就已經無法支撐了。”袁行遠表示,“沒有效率的提升,AI就是鏡花水月。”

彩云科技團隊構建DCFormer框架,提出可動態組合的多頭注意力(DCMHA),替換Transformer核心組件多頭注意力模塊(MHA),解除了MHA注意力頭的查找選擇回路和變換回路的固定綁定,讓它們可以根據輸入動態組合,從根本上提升了模型的表達能力,由此實現了對Transformer架構1.7—2倍的性能提升。

今年的ICML會議上,彩云科技團隊的3篇論文,在錄用平均分為4.25-6.33的情況下,獲得平均7分的高分,并成為國內唯二受邀參加維也納ICML2024登臺演講的企業,另一家則是華為。

袁行遠表示:我們的工作表明,Transformer架構距離“理想模型架構”還有很大的提升空間,除了堆算力堆數據的“大力出奇跡”路線,模型架構創新同樣大有可為。往小了說,在大模型領域,利用效率更高的模型架構,小公司也可以在與世界頂級人工智能企業的對抗中取得優勢。往大了說,模型效率的提升,可以有效地降低人工智能升級迭代的成本,加速AI時代的到來。

云錦天章問世首個基于DCFormer架構的通用大模型

作為國內最早做LLM(大語言模型)的公司之一,彩云科技在2017年就已經開始做NLP和大模型方面的工作。目前,彩云科技旗下有彩云天氣、彩云小夢、彩云小譯三款面向C端用戶的AI產品,是國內為數不多能夠實現盈利的人工智能公司。

“世界最強的小說續寫通用模型。”溝通會上,袁行遠向大家展示了首個基于DCFormer架構的通用大模型云錦天章。“這個成語是比喻文章極為高雅、華美,和我們的大模型想要實現的效果有共通之處。”袁行遠介紹,云錦天章可以實現在虛構世界觀的基礎上,賦予小說人物編程、數學等基礎能力,可以高速針對大量文字進行擴寫、縮寫,針對文章風格進行大容量更換,同時兼具其他模型的問答、數學、編程等基礎能力。

而在應用端,擁有四百萬用戶的彩云小夢,也迎來了基于全新DCFormer架構的V.3.5版本。與之前的版本相比,彩云小夢V3.5整體流暢性和連貫性提升了20%,支持前文長度由2000字提升至10000字,故事背景設定最長長度高達10000字。“這意味著,在故事創作或者與人工智能對話中,人工智能能夠記住之前發生的事情,記住之前故事里發生的細節,人物記得自己明確的目標,并且會根據劇情及時進行反思修正。在做到自主創作的同時,發散性收斂,不會天馬行空,人物性格前后一致,故事邏輯性更強。”

“深度對話,超長記憶,邏輯清晰。”袁行遠總結彩云小夢V3.5的特征,“我們的目標是為用戶打造指尖伴侶定制夢境。”袁行遠表示,彩云小夢的用戶單次使用時長,累計使用時長在同類產品中都處于領先的地位,“對話超過400句,你會發現彩云小夢真正的魅力。”

袁行遠介紹,公司接下來將繼續加大對DCFormer的研究和投入:“一方面有打破‘國外做技術層,國內做應用層’刻板印象的情懷所在,一方面也是為公司自有產品應對市場競爭,實現快速迭代升級和能力領先的現實需要。”

關鍵詞: 彩云科技 蠟燭 課后題 貸款案例分析 酒店前臺案例分析

最近更新

關于本站 管理團隊 版權申明 網站地圖 聯系合作 招聘信息

Copyright © 2005-2023 創投網 - m.zhigu.net.cn All rights reserved
聯系我們:39 60 29 14 2@qq.com
皖ICP備2022009963號-3

久久久久国产精品 | 国产高清视频免费最新在线 | 亚洲国产精品ⅴa在线观看 妺妺窝人体色www在线 | 少妇高潮流白浆在线观看 | 无码人妻丰满熟妇啪啪7774 | 国产精品成熟老女人视频 | 国产黄色三级网站 | 中文字幕日韩人妻在线视频 | 精品人妻一区二区三区四区在线 | 国产免费一区二区三区在线观看 | 成人无码精品1区2区3区免费看 | 国产精品黄页网站在线播放免费 | 亚洲色成人www永久在线观看 | 欧美精品欧美人与动人物牲交 | 久久精品国产99国产精偷 | 亚洲第一av导航av尤物 | 久操视频在线免费观看 | 6080亚洲精品一区 | 国产欧美日韩精品专区 | 美女网站免费观看视频 | 国产性色强伦免费视频 | 艳妇乳肉豪妇荡乳在线观看 | 久久久精品人妻无码专区不卡 | 999久久久国产精品 国产人妻精品一区二区三区 | 亚洲av无码精品色午夜果冻不卡 | 欧美黑人性暴力猛交喷水黑人巨大 | 九九九免费观看视频 | 国产精品理论片在线观看 | 国产破外女出血视频 | 国产日韩av免费无码一区二区三区 | 国产激情久久久久影院小草 | 国产特级毛片aaaaaaa高清 | 99精品久久精品一区二区 | 乱精品一区字幕二区 | 国产拍拍拍在线观看视频 | 日本高清无卡码一区二区久久 | 女的被弄到高潮娇喘喷水视频 | 台湾佬自拍偷区亚洲综合 | 亚洲精品国产一区二区 | 午夜爽爽爽男女免费观看影院 | 国产av一区二区三区传媒 |