前不久，身穿太空服的馬斯克瞬間進(jìn)入二次元的視頻在網(wǎng)上引起炸裂，讓人不可思議的是，動(dòng)畫版的馬斯克不僅神形兼?zhèn)?，背景和?dòng)作也非常連貫合理，而這一切都來(lái)自于一位斯坦福華人博士生設(shè)計(jì)的一款名叫“Pika”的視頻生成工具。只需要在該軟件的視頻輸入框內(nèi)輸入“馬斯克穿著太空服，3D動(dòng)畫”的關(guān)鍵詞，一個(gè)身穿太空服的卡通馬斯克便能躍然于屏上。

近幾年，隨著AIGC賦能多業(yè)態(tài)應(yīng)用的加速落地，整個(gè)行業(yè)的熱潮，已經(jīng)逐漸從文生文、文生圖，轉(zhuǎn)向了文生視頻領(lǐng)域。事實(shí)上，AIGC從文字到視頻是大的發(fā)展趨勢(shì)，不少產(chǎn)業(yè)人士已經(jīng)感知到了市場(chǎng)的風(fēng)向，國(guó)內(nèi)字節(jié)跳動(dòng)、阿里、百度等科技大廠均已跑步入場(chǎng)。

AIGC邁入視頻時(shí)代

據(jù)了解，字節(jié)跳動(dòng)于11月18日推出了文生視頻模型PixelDance；阿里緊隨其后也上線了Animate Anyone模型；百度文心大模型的類似功能則在內(nèi)測(cè)中，不久后會(huì)以插件形式開放。顯然，AI技術(shù)與文生視頻的融合已經(jīng)在業(yè)界掀起了一股新的熱潮。而國(guó)內(nèi)玩家之所以如此積極地下場(chǎng)布局，其中的原因不言而喻。

首先，文生視頻應(yīng)用非常廣泛，具備巨大的市場(chǎng)潛力。短視頻市場(chǎng)雖然方興未艾，但短視頻的制作能力卻跟不上各個(gè)平臺(tái)爆發(fā)的短視頻需求。而文生視頻技術(shù)的日趨成熟和廣泛應(yīng)用，或?qū)楫?dāng)下熱門的短視頻市場(chǎng)帶來(lái)一些變數(shù)。比如，影視和游戲等行業(yè)就是文生視頻落地的重要場(chǎng)景，文生視頻用文字就可以編輯和生成想要的故事情節(jié)，實(shí)現(xiàn)創(chuàng)意輔助和降本增效。而憑借為內(nèi)容生成賦能這一獨(dú)特優(yōu)勢(shì)，文生視頻的前景也是毋庸置疑。

其次，文生視頻操作十分便利，能有效降低各項(xiàng)成本。眾所周知，個(gè)性化的視頻制作麻煩、成本高昂，所以一款簡(jiǎn)單的視頻生成工具，就成了不少行業(yè)和企業(yè)的渴望，而AI文生視頻技術(shù)能力的突破則為這一問(wèn)題帶來(lái)全新解決方案。文生視頻顧名思義就是無(wú)需視頻制作技巧，僅用簡(jiǎn)單文字就可以生成想要的視頻素材，不僅如此，還能隨著輸入場(chǎng)景和關(guān)鍵詞不斷更新，簡(jiǎn)直大大降低了視頻制作的門檻和成本，可以說(shuō)是創(chuàng)作者在數(shù)字化時(shí)代下的“福音”。

最后，文生視頻產(chǎn)品功能驚艷，能進(jìn)一步增強(qiáng)企業(yè)競(jìng)爭(zhēng)力。在當(dāng)下的AI賽道上，文生圖的應(yīng)用早已層出不窮，相比較而言，能夠完全“攻下”文生視頻這一陣地的玩家卻是寥寥無(wú)幾。歸根結(jié)底，是文生視頻的產(chǎn)品功能更加強(qiáng)大，其難度自然也就可想而知了。只不過(guò)，高難度往往伴隨著高價(jià)值，若是有哪一個(gè)企業(yè)能憑借強(qiáng)大的算力、跨領(lǐng)域合作能力和技術(shù)自主性等優(yōu)勢(shì)引領(lǐng)這一賽道，那么其在行業(yè)內(nèi)形成差異化優(yōu)勢(shì)也將指日可待。

萬(wàn)丈高樓平地起

文生視頻作為一種新興的傳媒形式，正以前所未有的方式影響著我們的日常生活。目前，在企業(yè)宣傳、數(shù)字化人、科普創(chuàng)作、線上社交等領(lǐng)域都對(duì)文生視頻技術(shù)有所運(yùn)用。而為了提高視頻生成的流暢度、真實(shí)感，國(guó)內(nèi)入局的玩家如字節(jié)跳動(dòng)、阿里和百度等都在多個(gè)方面下足了功夫。

一方面，各玩家收集了大量數(shù)據(jù)，以提高視頻生成效果的多樣性。文本生成視頻模型往往需要大量數(shù)據(jù)來(lái)學(xué)習(xí)字幕的相關(guān)性、幀照片的寫實(shí)感和時(shí)間的動(dòng)態(tài)信息，而缺乏高質(zhì)量配對(duì)的數(shù)據(jù)集，就難以合理組合人物、難以合理架構(gòu)場(chǎng)景，因此，生成視頻的合理性及連貫性就會(huì)大打折扣。阿里為了提高生成效果的多樣性，就讓其研究人員收集了大約3500萬(wàn)單的文本視頻對(duì)和60億文本圖像對(duì)來(lái)優(yōu)化模型，讓生成的視頻達(dá)到了預(yù)期效果。

另一方面，各玩家設(shè)計(jì)了分層編輯器，以提高文生視頻語(yǔ)義的一致性。從簡(jiǎn)單文字生成高質(zhì)量視頻，就需要文生視頻產(chǎn)品能夠準(zhǔn)確預(yù)測(cè)文字的意圖，然后在保持輸入文字內(nèi)容和結(jié)構(gòu)的同時(shí)生成精確的運(yùn)動(dòng)。為了達(dá)到這一目標(biāo)，阿里的研究者設(shè)計(jì)了兩個(gè)分層編碼器，即固定CLIP編碼器和可學(xué)習(xí)內(nèi)容編碼器，分別提取高級(jí)語(yǔ)義和低級(jí)細(xì)節(jié)，然后將其合并到視頻擴(kuò)散模型中，更好地確保了低分辨率下生成視頻的語(yǔ)義連貫。

除此之外，各玩家還提高了視頻分辨率，以保證視頻生成效果的高質(zhì)量。文生視頻最理想的效果就是用戶給出提示詞，系統(tǒng)自動(dòng)生成任何風(fēng)格相對(duì)應(yīng)的視頻，但這就對(duì)視頻分辨率提出了不小的考驗(yàn)。阿里的文生視頻將視頻分辨率提高到了1280×720，還優(yōu)化了初始的600個(gè)去噪step，以改進(jìn)生成視頻中存在的細(xì)節(jié)、偽影和噪音問(wèn)題。字節(jié)跳動(dòng)文生視頻也提出了基于文本指導(dǎo)+首尾幀圖片指導(dǎo)的視頻生成方法，使得視頻生成的動(dòng)態(tài)性變得更強(qiáng)。

打鐵還需自身硬

隨著人工智能和視頻技術(shù)的快速發(fā)展，AIGC行業(yè)正在向AI視頻傾斜，AI文生視頻的爆發(fā)期或許即將到來(lái)，而參與到AI視頻創(chuàng)作中的玩家也將會(huì)越來(lái)越多。即便是在這樣的大環(huán)境下，不管是已經(jīng)推出模型的字節(jié)跳動(dòng)和阿里，還是正準(zhǔn)備推出插件的百度，能入局文生視頻賽道，其自身都有著不可忽視的倚仗。

一來(lái)，參與玩家算力儲(chǔ)備充足，能很好地克服文生視頻在技術(shù)上的不足。作為文生文、文生圖的升級(jí)，文生視頻對(duì)算力以及模型的工程化能力要求更高。據(jù)了解，文生視頻的人工智能模型參數(shù)為10億級(jí)別至100億級(jí)別。而國(guó)內(nèi)在文生視頻領(lǐng)域有所布局的頭部玩家中，無(wú)論是字節(jié)跳動(dòng)還是阿里、百度，其在參數(shù)上的積累都已經(jīng)十分深厚?？梢?，這些具有算力儲(chǔ)備的云服務(wù)廠商在發(fā)展視頻生成類應(yīng)用上具有天然優(yōu)勢(shì)。

二來(lái)，參與玩家行業(yè)經(jīng)驗(yàn)豐富，能大大加速文生視頻面世和迭代的速度。文生圖和文生視頻的人工智能模型在底層技術(shù)框架上有著較高的相似性，一定程度上來(lái)說(shuō)，文生視頻可以看作是文生圖的進(jìn)階版技術(shù)，這也就意味著，文生圖的技術(shù)和經(jīng)驗(yàn)可供文生視頻加以運(yùn)用和參考。而眾所周知，字節(jié)跳動(dòng)、阿里、百度等玩家早已在文生圖領(lǐng)域有所深耕，甚至有的產(chǎn)品也已投入商用，憑借在文生圖技術(shù)上的積淀，其在文生視頻領(lǐng)域也有望實(shí)現(xiàn)大幅進(jìn)步。

三來(lái)，參與玩家資源整合能力強(qiáng)大，能夠?yàn)槠湮纳曨l的發(fā)展提供助力。相較于文字和圖片，視頻能承載的信息量更大，這也就是說(shuō)，想要生產(chǎn)出更加生動(dòng)、高清，真實(shí)感更強(qiáng)的視頻，各玩家在文生視頻上的投入成本也將更高。不過(guò)，值得一提的是，作為互聯(lián)網(wǎng)大廠，阿里、百度、字節(jié)跳動(dòng)經(jīng)過(guò)多年發(fā)展，其在人才、資金、算力等眾多資源和實(shí)力上的優(yōu)勢(shì)和權(quán)利不容小覷，得益于此，其文生視頻產(chǎn)品也將擁有更強(qiáng)的競(jìng)爭(zhēng)力和影響力。

山雨欲來(lái)風(fēng)滿樓

文生視頻不僅顛覆了傳統(tǒng)媒體行業(yè)，也為內(nèi)容升級(jí)和產(chǎn)業(yè)進(jìn)化帶來(lái)了許多新的商機(jī)和可能性。只不過(guò)，目前國(guó)內(nèi)文生視頻技術(shù)還在發(fā)展的初級(jí)階段，雖然看上去文生視頻與文生圖的邏輯極其相似，但事實(shí)上，文生視頻的難度要大得多，需要突破的瓶頸也有很多。

一是，文生視頻數(shù)據(jù)要求高、計(jì)算難度大，參與玩家離產(chǎn)出令人滿意的視頻還有很大距離。相較于文字和圖片，視頻在多維信息表達(dá)、畫面豐富性及動(dòng)態(tài)性方面有更大優(yōu)勢(shì)，但這同時(shí)也意味著，文生視頻對(duì)算力的需求將進(jìn)一步加大；文生視頻所涉及的自然語(yǔ)言處理、視覺(jué)處理、畫面合成等領(lǐng)域，需要攻克的技術(shù)難點(diǎn)也在增加。而國(guó)內(nèi)的玩家，目前仍然缺乏高質(zhì)量配對(duì)數(shù)據(jù)集，因此其在語(yǔ)義準(zhǔn)確性、清晰度和連續(xù)性等方面將會(huì)面臨嚴(yán)峻挑戰(zhàn)。

二是，文生視頻成本耗費(fèi)大，商業(yè)模式較單一，參與玩家想要將商業(yè)化跑通還有一定難度。與文生圖相比，文生視頻的計(jì)算復(fù)雜性提升，其成本耗費(fèi)也會(huì)相應(yīng)有所增加。另外，圖片生成類的商業(yè)模式較為單一，收費(fèi)模式和收費(fèi)依據(jù)較為趨同，而視頻生成模型的收費(fèi)依據(jù)則與其類似。雖然圖片生成類在多模態(tài)大模型中的商業(yè)化程度較高，可為視頻生成的商業(yè)化前景提供一定參考，但作為新興產(chǎn)業(yè)，文生視頻的商業(yè)化想要跑通仍需一定時(shí)間。

三是，國(guó)內(nèi)外企業(yè)紛紛加大了對(duì)文生視頻的投入和研究，該賽道的競(jìng)爭(zhēng)將會(huì)進(jìn)一步升級(jí)。AI視頻生成賽道已然十分熱鬧，不僅有美國(guó)AI初創(chuàng)公司Pika labs發(fā)布的“Pika 1.0”，還有谷歌推出的AI視頻生成模型“W.A.L.T”等。而除了國(guó)外企業(yè)對(duì)文生視頻技術(shù)的高度重視外，國(guó)內(nèi)百度、阿里、字節(jié)、騰訊、360、萬(wàn)興科技、昆侖萬(wàn)維、國(guó)脈文化、美圖等公司也紛紛涉足該領(lǐng)域，并推出了相關(guān)的人工智能模型，顯然，視頻生成領(lǐng)域的競(jìng)爭(zhēng)正日趨白熱化。

從文生圖到文生視頻，AIGC賽道的競(jìng)爭(zhēng)已經(jīng)非常激烈。雖然國(guó)內(nèi)文生視頻的進(jìn)展相對(duì)緩慢，尚且沒(méi)有明星產(chǎn)品的出現(xiàn)，但更多有人才、有技術(shù)的文生視頻公司正在不斷涌現(xiàn)。只不過(guò)，除了上述挑戰(zhàn)之外，文生視頻目前還有一些數(shù)據(jù)隱私和安全性問(wèn)題需要解決，真正的商業(yè)化運(yùn)作和盈利能力也還有待驗(yàn)證。而誰(shuí)能在這次“跑馬圈地”中成為最終的贏家，我們也只能拭目以待。