來(lái)源：親愛(ài)的數(shù)據(jù)

（一）關(guān)鍵詞：三大套路

大模型火了，大模型的套路也火了。

套路一：

但凡有點(diǎn)科技含量的公司，

沒(méi)個(gè)大模型都對(duì)不起“市值”和“估值”。

面子誰(shuí)不要？

那用開(kāi)源。

套路二：

說(shuō)早有布局，

卻無(wú)論文，

無(wú)數(shù)據(jù)，

無(wú)“卡”，

無(wú)歷史進(jìn)展，

套路三：

為了“大”而“大”。

譚老師我和騰訊AI科學(xué)家深聊：

廣義線性模型的時(shí)代，騰訊廣告也曾追求過(guò)參數(shù)量大。

然而，這種模型學(xué)習(xí)能力很一般。

如果只是模型的參數(shù)總量高，參與計(jì)算的參數(shù)量卻很少，

這樣的“大模型”，沒(méi)意思。

騰訊在AI這塊不算“激進(jìn)派”，但大模型沒(méi)玩套路。

騰訊廣告將兩個(gè)大模型用到了廣告業(yè)務(wù)。

參數(shù)都是千億級(jí)別。

既然是兩個(gè)，分工多說(shuō)兩句。

廣告大模型提升了廣告系統(tǒng)的運(yùn)算能力，

騰訊混元大模型提升了廣告系統(tǒng)的理解和生成能力。

我們先聊廣告大模型，再聊混元大模型。

（二）關(guān)鍵詞：廣告商機(jī)轉(zhuǎn)瞬即逝

先聊聊，廣告競(jìng)爭(zhēng)的本質(zhì)。

從“從前”講起，

百貨商店櫥窗里的塑料假人，是展示，也是廣告。

后來(lái)，美國(guó)人研究如何用計(jì)算的方法求解廣告中的各類問(wèn)題。

將一部分的計(jì)算策略交給機(jī)器學(xué)習(xí)。

早期，廣告對(duì)機(jī)器學(xué)習(xí)模型的要求，哪怕能力弱一點(diǎn)，算得快一點(diǎn)就可以了。

比如，給一條男士沖浪花褲衩打個(gè)廣告。

廣告系統(tǒng)有三層：

召回，粗排，精排。

每層邊選，邊匹配。

廣告系統(tǒng)里的模型，有些像漏斗。

先粗排，

模型發(fā)現(xiàn)：這條花褲衩男的喜歡，女的無(wú)感。

再精排，

模型發(fā)現(xiàn)花褲?rùn)?quán)不是所有男性都喜歡，顏色騷氣，

大約20歲左右的精神小伙喜歡。

模型必須做到越往下，越匹配，

還為廣告主節(jié)約廣告費(fèi)。

匹配這個(gè)動(dòng)詞很重要。

譚老師也想把漫畫(huà)“匹配”給喜歡自己作品的讀者，

性格不合的那種，確認(rèn)不了眼神。

拿譚老師常看的視頻號(hào)來(lái)說(shuō)，

廣告系統(tǒng)會(huì)猜我對(duì)視頻的興趣，從而推薦視頻，

猜我對(duì)商品的興趣，從而展示廣告。

手機(jī)下滑一下，

大約9毫秒，

就得猜到這個(gè)瞬間我最有可能的喜好。

這里的猜，就是計(jì)算。

模型抓規(guī)律很擅長(zhǎng)，頭部規(guī)律好抓，長(zhǎng)尾則很麻煩。

偏偏騰訊廣告有很多長(zhǎng)尾問(wèn)題。

偏偏用戶數(shù)量大，

偏偏廣告數(shù)量大。

而且廣告匹配的要求是，不僅要準(zhǔn)，還要快。

一句“商機(jī)轉(zhuǎn)瞬即逝”，放在這里非常合適。

譚老師剛買一支手機(jī)，

廣告出手慢了，買前沒(méi)看到，買后不想看。

“商機(jī)轉(zhuǎn)瞬即逝”，慢了，就輸了。

這就是廣告競(jìng)爭(zhēng)的本質(zhì)。

（三）關(guān)鍵詞：廣告“硬核”簡(jiǎn)史

2014年，騰訊廣告平臺(tái)實(shí)時(shí)在線技術(shù)完成。

2015年，深度學(xué)習(xí)技術(shù)完成。

這兩個(gè)“完成”，都指的是全量上線。

在大模型技術(shù)爆發(fā)前的世代里，

沒(méi)有什么比騰訊廣告在2016年“實(shí)時(shí)在線學(xué)習(xí)+深度學(xué)習(xí)”全量上線完成更重要了。

團(tuán)隊(duì)的結(jié)論是：

廣告平臺(tái)應(yīng)該是在更大范圍的產(chǎn)品線，

在更長(zhǎng)的數(shù)據(jù)鏈路上，全面釋放模型的威力，

模型做大，不是目的，而是手段。

于是，把模型往大了做。

于是，數(shù)據(jù)鏈路拉長(zhǎng)。

2020年前后，質(zhì)變發(fā)生了，騰訊廣告整個(gè)技術(shù)思路的轉(zhuǎn)變了。

在騰訊公司副總裁蔣杰的帶領(lǐng)下，團(tuán)隊(duì)看清了技術(shù)方向，

前浪大儲(chǔ)備，后浪打硬仗。

狂飆技術(shù)，不是自嗨，而是商業(yè)需求。

技術(shù)朝著有需求的方向推進(jìn)，終于抵達(dá)“大模型界碑”。

2021年10月，發(fā)起技術(shù)攻堅(jiān)，

（騰訊員工的說(shuō)法是：

作為內(nèi)部發(fā)起的革新型項(xiàng)目，

對(duì)內(nèi)稱呼為“下一代廣告系統(tǒng)”。）

項(xiàng)目包括廣告大模型，混元大模型，

一共集結(jié)了800余名跨BG團(tuán)隊(duì)的同學(xué)。

毫無(wú)疑問(wèn)，誰(shuí)能打破技術(shù)難度的瓶頸，誰(shuí)就是頭部科技企業(yè)，

再加一個(gè)條件，越早越好。

繕甲厲兵，酣戰(zhàn)颯然，黃龍痛飲。

勁射火力點(diǎn)。

干得行不行，看看指標(biāo)吧。

全套指標(biāo)涉及商業(yè)機(jī)密，我們抽取其中一個(gè)技術(shù)指標(biāo)：

“大規(guī)模技術(shù)突破之前，精排時(shí)延的閾值是70毫秒，突破之后拉到200毫秒，將近3倍左右。”

給廣告系統(tǒng)配套大模型，底層軟件也是另一境界的考驗(yàn)。

訓(xùn)練這么大的模型，存儲(chǔ)，計(jì)算，通訊翻倍，甚至量級(jí)的提升，這塊工程團(tuán)隊(duì)下了很大力氣。

為了做好底層工作，甚至把部分關(guān)鍵架構(gòu)重新寫(xiě)了一遍。

把以前好的想法融合進(jìn)去，大幅增強(qiáng)它的伸縮性、容錯(cuò)能力，支持千億大模型訓(xùn)練。

這一把，中國(guó)科技公司將大規(guī)模工程技術(shù)做到極致。

方案依然還是這么一個(gè)方案，只不過(guò)模型規(guī)模，整個(gè)系統(tǒng)能力等等，不可同日而語(yǔ)了。

騰訊公司副總裁蔣杰帶領(lǐng)騰訊廣告團(tuán)隊(duì)，制定出一套自上而下，全局最優(yōu)的推進(jìn)路徑，將多個(gè)技術(shù)團(tuán)隊(duì)與業(yè)務(wù)協(xié)同，帶隊(duì)完成了下一代廣告系統(tǒng)建設(shè)。

廣告大模型怎么用？

將資源聚焦于精排，排序能力更好，點(diǎn)擊率與轉(zhuǎn)化率絕對(duì)值估準(zhǔn)。

精排預(yù)估準(zhǔn)，提升全鏈的運(yùn)算推薦效率。

廣告大模型能為廣告主提供什么“特殊服務(wù)”？

因?yàn)閺V告系統(tǒng)的運(yùn)算能力可以支撐多個(gè)小模型同時(shí)運(yùn)行，所以，廣告主可以在系統(tǒng)上與騰訊廣告再共建小模型，做出更多從廣告主業(yè)務(wù)出發(fā)的推薦匹配，提升匹配效率。

有的人，練了屠龍術(shù)，結(jié)果發(fā)現(xiàn)沒(méi)有龍。

騰訊廣告系統(tǒng)“有龍”，所以“屠龍”，

且練成兩大屠龍術(shù)：

廣告大模型和混元大模型。

（四）關(guān)鍵詞：騰訊混元怎么用？

廣告的復(fù)雜環(huán)境，也讓騰訊混元得到充分打磨。

團(tuán)隊(duì)內(nèi)部對(duì)騰訊混元大模型不斷自審式發(fā)問(wèn)：

第一重難關(guān)：如何把技術(shù)搞出來(lái)。

第二重難關(guān)：這是真實(shí)業(yè)務(wù)場(chǎng)景所需要的技術(shù)嗎？如何落地？

巧不巧，騰訊混元是多模態(tài)的，騰訊廣告內(nèi)容天然也是多模態(tài)的。

在這個(gè)巧合的背后，騰訊混元從出生開(kāi)始，就是為“用在哪里”設(shè)計(jì)的，而不是“套路”。

廣告內(nèi)容是什么？

是廣告標(biāo)題、文字、圖片、視頻等。

簡(jiǎn)單說(shuō)，騰訊混元先做“億點(diǎn)”廣告內(nèi)容的閱讀理解，做完，再將“答案”喂給廣告大模型。

據(jù)譚老師觀察，

以廣告大模型提升廣告和用戶的匹配準(zhǔn)確率，

以騰訊混元大模型理解、生成廣告內(nèi)容，包括素材和創(chuàng)意。

小道消息，騰訊混元已經(jīng)將這項(xiàng)生成能力，用于廣告投放前的準(zhǔn)備階段：

“素材創(chuàng)作”“商品合成”“游戲出圖”。

（五）關(guān)鍵詞：“大”算法思想

（學(xué)霸選讀）

雖然廣告大模型已經(jīng)很大了（有千億參數(shù)），想用一個(gè)大模型把所有的場(chǎng)景都學(xué)好，沒(méi)有那么容易。

騰訊廣告大模型核心負(fù)責(zé)人薛偉博士告訴我，

比如，模型會(huì)產(chǎn)生場(chǎng)景之間的負(fù)面影響“我學(xué)不好，你也甭想學(xué)好”。

這種現(xiàn)象叫“負(fù)遷移”。廣告大模型中，薛偉博士用到了“公共塔”技術(shù)。

公共塔，樣子像塔，其實(shí)是大模型內(nèi)部獨(dú)立子網(wǎng)絡(luò)。

廣告模型大，內(nèi)部子網(wǎng)絡(luò)豐富，還有商品（Item）塔，用戶（User）塔。這類子網(wǎng)絡(luò)專門學(xué)習(xí)特征的共性，降低場(chǎng)景之間的干擾。

不同場(chǎng)景參數(shù)不同，推薦汽車，不能把推薦手機(jī)的參數(shù)也算一遍。

大模型的出現(xiàn)，讓算法設(shè)計(jì)空間變大，讓設(shè)計(jì)的余地更大，有機(jī)會(huì)用算法的思想充分釋放大模型的價(jià)值。

好馬配好鞍，

好產(chǎn)品配好廣告。

1997年，蘋(píng)果手機(jī)“非同凡想”廣告里面有這樣一句話：

那些瘋狂到以為自己能夠改變世界的人呢，才能真正改變世界。

要我說(shuō)，這樣爽感的廣告，再多來(lái)幾個(gè)。

（完）