智東西

(資料圖片)

作者 | 周炎

編輯 | 云鵬

大模型爆火以后，在元宇宙中“失意”的數(shù)字人再次成為行業(yè)關(guān)注的生意。

今年以來(lái)，科技企業(yè)，電商平臺(tái)都推出數(shù)字人生成平臺(tái)。從東方證券發(fā)布的虛擬數(shù)字人行業(yè)報(bào)告來(lái)看，2030年，我國(guó)虛擬數(shù)字人的市場(chǎng)規(guī)模有望達(dá)到2700億元。

然而，目前無(wú)論是直播領(lǐng)域還是創(chuàng)投領(lǐng)域，依然沒(méi)有出現(xiàn)爆款的數(shù)字人平臺(tái)，數(shù)字人在商用落地方面仍然面臨著難題。不僅如此，高額的成本依舊是數(shù)字人大規(guī)模落地前的“絆腳石”。

就在上月，新壹科技使用了董事長(zhǎng)韓坤的數(shù)字人形象主持了一場(chǎng)國(guó)內(nèi)首個(gè)視頻大模型的發(fā)布會(huì)。會(huì)上，新壹科技發(fā)布了基于大模型的AIGC視頻生成平臺(tái)“秒創(chuàng)平臺(tái)”、商用數(shù)字人平臺(tái)“新壹數(shù)字人平臺(tái)”。

▲新壹科技董事長(zhǎng)韓坤數(shù)字人形象主持發(fā)布會(huì)

據(jù)新壹科技CEO雷濤介紹，未來(lái)一年里，中國(guó)將至少新增100萬(wàn)個(gè)數(shù)字人，未來(lái)將實(shí)現(xiàn)數(shù)字人“人人可擁有”。隨著私域經(jīng)濟(jì)的進(jìn)一步發(fā)展，數(shù)字人將在視頻領(lǐng)域破圈。

在數(shù)字人競(jìng)賽升溫的當(dāng)下，智東西對(duì)話新壹科技CEO雷濤，新壹科技副總裁、AIGC業(yè)務(wù)負(fù)責(zé)人陳鵬，來(lái)探究一個(gè)注冊(cè)剛一年多的公司是如何打造出中國(guó)版的“Midjourney”、“Runway”、“Character.ai”的“集大成者”？在數(shù)字人打造成本依舊較為高昂的當(dāng)下，是什么讓雷濤認(rèn)為，今年，中國(guó)將至少新增100萬(wàn)個(gè)數(shù)字人？下一步，數(shù)字人平臺(tái)比拼的焦點(diǎn)到底是什么？

▲新壹科技CEO雷濤演示數(shù)字人平臺(tái)

一番交流下來(lái)，我們看到了這個(gè)在視頻領(lǐng)域摸爬滾打20年團(tuán)隊(duì)，如何抓住AIGC時(shí)代機(jī)遇再度崛起，以及未來(lái)在數(shù)字人賽道發(fā)展的野心。

一、科幻電影不再需要“群演”了，AIGC釋放視頻領(lǐng)域生產(chǎn)力

在ChatGPT推出后半年多時(shí)間里，AI大模型“井噴”，百度、華為、360等互聯(lián)網(wǎng)企業(yè)接連推出接入大模型的數(shù)字人平臺(tái)，然而大模型究竟如何為數(shù)字人賦能？數(shù)字人如何真正應(yīng)用到千行百業(yè)中去？仍然是入局者的痛點(diǎn)問(wèn)題。

今年以來(lái)，由RunwayML參與制作的《瞬息全宇宙》斬獲奧斯卡最佳女主角，AI生成視頻就引起了行業(yè)的廣泛關(guān)注，IR、Ten24等公司也將靜態(tài)重建技術(shù)完全商業(yè)化，服務(wù)于好萊塢大型數(shù)字人制作。可以看到，國(guó)外這種AI數(shù)字人參與視頻制作的模式已經(jīng)趨近成熟化，同時(shí)為數(shù)字人落地提供了一個(gè)可實(shí)施的方向。

在國(guó)內(nèi)的AIGC創(chuàng)業(yè)公司中，新壹科技算是可以與前者對(duì)標(biāo)的公司。上月，新壹科技在視頻大模型發(fā)布上演示了基于自家大模型打造的AIGC視頻平臺(tái)“秒創(chuàng)”、商用數(shù)字人平臺(tái)“新壹數(shù)字人平臺(tái)”的能力。

簡(jiǎn)單而言，有一天像《三體》《流浪地球》這樣的科幻電影的預(yù)告片，很多鏡頭將不再需要拍攝，只要這個(gè)對(duì)著“秒創(chuàng)”平臺(tái)輸入一段話或一張圖片，即可實(shí)現(xiàn)圖文轉(zhuǎn)視頻。如果需要人物，那么還可以通過(guò)“新壹數(shù)字人平臺(tái)”完成相關(guān)數(shù)字人的訓(xùn)練。

▲新壹科技推出的視頻大模型生成的內(nèi)容

據(jù)雷濤介紹，未來(lái)，中國(guó)電影預(yù)告片將會(huì)在很大程度上被“AI”所接管，數(shù)字人將在很大程度上代替目前的群演。而更加顛覆性的事情可能是，每一個(gè)用戶都能成為自己影片的“導(dǎo)演”。

為了探究AICG時(shí)代視頻領(lǐng)域生產(chǎn)力將如何釋放？數(shù)字人在視頻領(lǐng)域應(yīng)用又將擦出怎么的火花？我們與新壹科技CEO雷濤，新壹科技副總裁、AIGC業(yè)務(wù)負(fù)責(zé)人陳鵬進(jìn)行了深入交流。

據(jù)雷濤介紹，目前大部分通用大模型沒(méi)有從實(shí)用場(chǎng)景出發(fā)，從而導(dǎo)致其實(shí)用性不強(qiáng)，難以真正重塑生成。而新壹科技推出的視頻大模型，在使用通用大模型的基礎(chǔ)上，還利用曾經(jīng)在秒拍、微博等平臺(tái)積累的數(shù)據(jù)集進(jìn)行訓(xùn)練，其中文本數(shù)據(jù)可以達(dá)到百億級(jí)、圖片視頻數(shù)據(jù)量可以達(dá)到20億左右。

▲新壹科技CEO雷濤演示秒創(chuàng)平臺(tái)

據(jù)陳鵬介紹，相較于ChatGPT等通用大模型使用的數(shù)據(jù)集而言，該公司積累的數(shù)據(jù)集經(jīng)過(guò)了“安全合規(guī)”的審核。同時(shí)，此前運(yùn)行的過(guò)程中還進(jìn)行了數(shù)據(jù)標(biāo)注、結(jié)構(gòu)化等工作，在打造視頻大模型的過(guò)程中，還對(duì)數(shù)據(jù)進(jìn)行了清洗，這都進(jìn)一步保證了AIGC視頻生成平臺(tái)“秒創(chuàng)”、商用數(shù)字人平臺(tái)“新壹數(shù)字人平臺(tái)”中數(shù)據(jù)的質(zhì)量。

▲新壹科技數(shù)字人平臺(tái)訓(xùn)練出來(lái)的數(shù)字人“伊人”

此外，為了保證圖文轉(zhuǎn)視頻的精準(zhǔn)度，新壹科技持續(xù)優(yōu)化視頻大模型中素材的匹配度，目前精準(zhǔn)匹配可以達(dá)到千萬(wàn)級(jí)，泛匹配可以達(dá)到20億的規(guī)模，這將進(jìn)一步推動(dòng)視頻領(lǐng)域生產(chǎn)力的提高。

當(dāng)視頻能用“大模型”生產(chǎn)了，那真人出鏡的部分如何解決呢？還要一段段去錄、一段段去剪來(lái)完成嗎？

新壹科技的數(shù)字人平臺(tái)就是這樣的實(shí)際需求從而落地的。目前，新壹科技的數(shù)字人通過(guò)多模態(tài)AI合成技術(shù)，可以將真人錄制的視頻和音頻素材生產(chǎn)寫實(shí)數(shù)字人，該平臺(tái)目前可以在24小時(shí)完成一個(gè)數(shù)字人的訓(xùn)練。開(kāi)篇所提到的董事長(zhǎng)韓坤的數(shù)字人形象就是這樣訓(xùn)練出來(lái)。

二、視頻領(lǐng)域20年“老兵”，抓住AIGC時(shí)代機(jī)遇，滿足垂直場(chǎng)景需求

能夠在如此短的時(shí)間就推出國(guó)內(nèi)首個(gè)視頻大模型，并推動(dòng)多款應(yīng)用落地的的企業(yè)背后又有著怎樣的人才、技術(shù)以及行業(yè)優(yōu)勢(shì)？

公開(kāi)信息顯示，新壹科技注冊(cè)于2022年1月，算是一家非常年輕的創(chuàng)業(yè)公司。能夠推出國(guó)產(chǎn)首個(gè)視頻大模型以及推出數(shù)字人平臺(tái)落地，與他們的團(tuán)隊(duì)有很大的關(guān)系。

▲公開(kāi)信息顯示，新壹科技成立于2022年

他們?cè)窃谝曨l領(lǐng)域摸爬滾打20多年的老玩家，移動(dòng)互聯(lián)網(wǎng)時(shí)代火爆全網(wǎng)的應(yīng)用秒拍、小咖秀都是該團(tuán)隊(duì)推出的產(chǎn)品。這些年來(lái)，新壹科技培養(yǎng)出了一支代碼過(guò)硬的工程師隊(duì)伍。

而更早之前，這個(gè)團(tuán)隊(duì)則親手打造了中國(guó)首個(gè)上市的視頻公司酷6網(wǎng)，CEO此前還擔(dān)任過(guò)搜狐娛樂(lè)互動(dòng)中心主編。

目前新壹科技AIGC團(tuán)隊(duì)共有100人左右，這個(gè)“很懂視頻”的團(tuán)隊(duì)在2年前意識(shí)到當(dāng)下“萬(wàn)物皆可視頻化”的趨勢(shì)，然而制作視頻過(guò)程中設(shè)計(jì)到人力的工序。于是，團(tuán)隊(duì)就開(kāi)始思考：如何使用AI的方式生成視頻，既滿足用戶圖文轉(zhuǎn)視頻的需求，又提高視頻的生產(chǎn)力？

陳鵬稱，當(dāng)時(shí)2021年12月份開(kāi)始啟動(dòng)項(xiàng)目的時(shí)候，甚至沒(méi)有AIGC這個(gè)概念，“直到去年，隨著stable Diffusion和Midjourney的爆火，我們才知道原來(lái)行業(yè)給我們一直做的事情其實(shí)下了定義。”

據(jù)雷濤稱，基于新壹科技視頻大模型，目前公司打造數(shù)字人的成本大大降低，同時(shí)數(shù)字人的表情等也更加真實(shí)自然。相較于未接入大模型的平臺(tái)、新壹科技的數(shù)字人還擁有文本理解能力和多輪對(duì)話能力。

▲訓(xùn)練數(shù)字人時(shí)的工作場(chǎng)景

據(jù)陳鵬回憶，在過(guò)去的幾年里為了讓數(shù)字人實(shí)時(shí)無(wú)延遲地回答問(wèn)題都花費(fèi)了團(tuán)隊(duì)大量的心血。不過(guò)可喜的是，目前，相較于接入ChatGPT的數(shù)字人而言，新壹科技打造的數(shù)字人接入自家公司的視頻大模型，一方面無(wú)需考慮到數(shù)字出境、數(shù)據(jù)審查的問(wèn)題，另一方面，垂直大模型的參數(shù)量也較小，因此推理的速度將會(huì)大大加快。

雷濤認(rèn)為，AIGC時(shí)代下光有技術(shù)是不夠的，還有能提供直接使用的場(chǎng)景，這樣技術(shù)才能被更高頻率、更大范圍地應(yīng)用起來(lái)，而在這方面，垂直領(lǐng)域的玩家具有先天的自身優(yōu)勢(shì)，因?yàn)樗旧砭透袌?chǎng)。

在雷濤看來(lái)，目前私域經(jīng)濟(jì)成為趨勢(shì)，行業(yè)專家、律師、理財(cái)顧問(wèn)等群體有私域運(yùn)營(yíng)的需求。但這里就會(huì)面臨一種情況：他們想要對(duì)一件事情發(fā)表觀點(diǎn)，但是他可能自身在視頻面前的表現(xiàn)力不強(qiáng)，或者沒(méi)有足夠的時(shí)間出境，這時(shí)，有一個(gè)數(shù)字人幫他出鏡，這樣就會(huì)很好滿足這部分人的需求。

▲新壹科技數(shù)字人平臺(tái)的2D寫實(shí)數(shù)字人可代替真人出鏡

雷濤預(yù)計(jì)，在未來(lái)一年里，新壹科技將打造100萬(wàn)個(gè)數(shù)字人。目前，新壹科技的數(shù)字人平臺(tái)同時(shí)面向To B端和To C端，To B端主要面向一些大客戶的定制化需求，例如目前該公司正在與蔚海燦娛合作，專攻“明星數(shù)字人”市場(chǎng)。此外，To C端也正開(kāi)放給具有打造個(gè)人IP需求的視頻創(chuàng)作者們。

未來(lái)，新壹科技還計(jì)劃進(jìn)軍影視領(lǐng)域。在雷濤看來(lái)，以目前技術(shù)發(fā)展階段來(lái)看，數(shù)字人還只能承擔(dān)邊緣性的人物角色，同時(shí)數(shù)字人在影視領(lǐng)域大規(guī)模落地還有很長(zhǎng)的路要走。

對(duì)于目前數(shù)字人在電商直播、養(yǎng)老等領(lǐng)域落地，雷濤還指出，數(shù)字人目前還不能完成真人在直播間中銷售的全流程工作，同時(shí)真正起到對(duì)老人的陪伴作用仍需技術(shù)上的攻克，“目前行業(yè)設(shè)想的許多場(chǎng)景，離真正實(shí)現(xiàn)仍有一段距離。”

結(jié)語(yǔ)：數(shù)字人不再是“吉祥物”，新壹科技推動(dòng)數(shù)字人在“視頻創(chuàng)作”領(lǐng)域落地

事實(shí)上，在過(guò)去幾年，數(shù)字人雖然作為“資本的寵兒”，但一直都是“吉祥物”般的存在，在具體行業(yè)落地方面一直存在瓶頸。

新壹科技基于自身20年視頻領(lǐng)域經(jīng)驗(yàn)，打造出的視頻大模型進(jìn)一步推動(dòng)了視頻生產(chǎn)力的提升，同時(shí)基于大模型的數(shù)字人平臺(tái)不僅可以節(jié)省數(shù)字人生產(chǎn)成本，而且還使數(shù)字人進(jìn)一步擁有了“靈魂”。在私域經(jīng)濟(jì)不斷發(fā)展的當(dāng)下，普通人打造個(gè)人IP的需求更加強(qiáng)烈，這將進(jìn)一步推動(dòng)數(shù)字人在視頻領(lǐng)域的落地。

關(guān)鍵詞：