來源：親愛的數(shù)據(jù)

（一）關(guān)鍵詞：三大套路

大模型火了，大模型的套路也火了。

套路一：

但凡有點科技含量的公司，

沒個大模型都對不起“市值”和“估值”。

面子誰不要？

那用開源。

套路二：

說早有布局，

卻無論文，

無數(shù)據(jù)，

無“卡”，

無歷史進展，

套路三：

為了“大”而“大”。

譚老師我和騰訊AI科學家深聊：

廣義線性模型的時代，騰訊廣告也曾追求過參數(shù)量大。

然而，這種模型學習能力很一般。

如果只是模型的參數(shù)總量高，參與計算的參數(shù)量卻很少，

這樣的“大模型”，沒意思。

騰訊在AI這塊不算“激進派”，但大模型沒玩套路。

騰訊廣告將兩個大模型用到了廣告業(yè)務。

參數(shù)都是千億級別。

既然是兩個，分工多說兩句。

廣告大模型提升了廣告系統(tǒng)的運算能力，

騰訊混元大模型提升了廣告系統(tǒng)的理解和生成能力。

我們先聊廣告大模型，再聊混元大模型。

（二）關(guān)鍵詞：廣告商機轉(zhuǎn)瞬即逝

先聊聊，廣告競爭的本質(zhì)。

從“從前”講起，

百貨商店櫥窗里的塑料假人，是展示，也是廣告。

后來，美國人研究如何用計算的方法求解廣告中的各類問題。

將一部分的計算策略交給機器學習。

早期，廣告對機器學習模型的要求，哪怕能力弱一點，算得快一點就可以了。

比如，給一條男士沖浪花褲衩打個廣告。

廣告系統(tǒng)有三層：

召回，粗排，精排。

每層邊選，邊匹配。

廣告系統(tǒng)里的模型，有些像漏斗。

先粗排，

模型發(fā)現(xiàn)：這條花褲衩男的喜歡，女的無感。

再精排，

模型發(fā)現(xiàn)花褲權(quán)不是所有男性都喜歡，顏色騷氣，

大約20歲左右的精神小伙喜歡。

模型必須做到越往下，越匹配，

還為廣告主節(jié)約廣告費。

匹配這個動詞很重要。

譚老師也想把漫畫“匹配”給喜歡自己作品的讀者，

性格不合的那種，確認不了眼神。

拿譚老師?？吹囊曨l號來說，

廣告系統(tǒng)會猜我對視頻的興趣，從而推薦視頻，

猜我對商品的興趣，從而展示廣告。

手機下滑一下，

大約9毫秒，

就得猜到這個瞬間我最有可能的喜好。

這里的猜，就是計算。

模型抓規(guī)律很擅長，頭部規(guī)律好抓，長尾則很麻煩。

偏偏騰訊廣告有很多長尾問題。

偏偏用戶數(shù)量大，

偏偏廣告數(shù)量大。

而且廣告匹配的要求是，不僅要準，還要快。

一句“商機轉(zhuǎn)瞬即逝”，放在這里非常合適。

譚老師剛買一支手機，

廣告出手慢了，買前沒看到，買后不想看。

“商機轉(zhuǎn)瞬即逝”，慢了，就輸了。

這就是廣告競爭的本質(zhì)。

（三）關(guān)鍵詞：廣告“硬核”簡史

2014年，騰訊廣告平臺實時在線技術(shù)完成。

2015年，深度學習技術(shù)完成。

這兩個“完成”，都指的是全量上線。

在大模型技術(shù)爆發(fā)前的世代里，

沒有什么比騰訊廣告在2016年“實時在線學習+深度學習”全量上線完成更重要了。

團隊的結(jié)論是：

廣告平臺應該是在更大范圍的產(chǎn)品線，

在更長的數(shù)據(jù)鏈路上，全面釋放模型的威力，

模型做大，不是目的，而是手段。

于是，把模型往大了做。

于是，數(shù)據(jù)鏈路拉長。

2020年前后，質(zhì)變發(fā)生了，騰訊廣告整個技術(shù)思路的轉(zhuǎn)變了。

在騰訊公司副總裁蔣杰的帶領(lǐng)下，團隊看清了技術(shù)方向，

前浪大儲備，后浪打硬仗。

狂飆技術(shù)，不是自嗨，而是商業(yè)需求。

技術(shù)朝著有需求的方向推進，終于抵達“大模型界碑”。

2021年10月，發(fā)起技術(shù)攻堅，

（騰訊員工的說法是：

作為內(nèi)部發(fā)起的革新型項目，

對內(nèi)稱呼為“下一代廣告系統(tǒng)”。）

項目包括廣告大模型，混元大模型，

一共集結(jié)了800余名跨BG團隊的同學。

毫無疑問，誰能打破技術(shù)難度的瓶頸，誰就是頭部科技企業(yè)，

再加一個條件，越早越好。

繕甲厲兵，酣戰(zhàn)颯然，黃龍痛飲。

勁射火力點。

干得行不行，看看指標吧。

全套指標涉及商業(yè)機密，我們抽取其中一個技術(shù)指標：

“大規(guī)模技術(shù)突破之前，精排時延的閾值是70毫秒，突破之后拉到200毫秒，將近3倍左右。”

給廣告系統(tǒng)配套大模型，底層軟件也是另一境界的考驗。

訓練這么大的模型，存儲，計算，通訊翻倍，甚至量級的提升，這塊工程團隊下了很大力氣。

為了做好底層工作，甚至把部分關(guān)鍵架構(gòu)重新寫了一遍。

把以前好的想法融合進去，大幅增強它的伸縮性、容錯能力，支持千億大模型訓練。

這一把，中國科技公司將大規(guī)模工程技術(shù)做到極致。

方案依然還是這么一個方案，只不過模型規(guī)模，整個系統(tǒng)能力等等，不可同日而語了。

騰訊公司副總裁蔣杰帶領(lǐng)騰訊廣告團隊，制定出一套自上而下，全局最優(yōu)的推進路徑，將多個技術(shù)團隊與業(yè)務協(xié)同，帶隊完成了下一代廣告系統(tǒng)建設(shè)。

廣告大模型怎么用？

將資源聚焦于精排，排序能力更好，點擊率與轉(zhuǎn)化率絕對值估準。

精排預估準，提升全鏈的運算推薦效率。

廣告大模型能為廣告主提供什么“特殊服務”？

因為廣告系統(tǒng)的運算能力可以支撐多個小模型同時運行，所以，廣告主可以在系統(tǒng)上與騰訊廣告再共建小模型，做出更多從廣告主業(yè)務出發(fā)的推薦匹配，提升匹配效率。

有的人，練了屠龍術(shù)，結(jié)果發(fā)現(xiàn)沒有龍。

騰訊廣告系統(tǒng)“有龍”，所以“屠龍”，

且練成兩大屠龍術(shù)：

廣告大模型和混元大模型。

（四）關(guān)鍵詞：騰訊混元怎么用？

廣告的復雜環(huán)境，也讓騰訊混元得到充分打磨。

團隊內(nèi)部對騰訊混元大模型不斷自審式發(fā)問：

第一重難關(guān)：如何把技術(shù)搞出來。

第二重難關(guān)：這是真實業(yè)務場景所需要的技術(shù)嗎？如何落地？

巧不巧，騰訊混元是多模態(tài)的，騰訊廣告內(nèi)容天然也是多模態(tài)的。

在這個巧合的背后，騰訊混元從出生開始，就是為“用在哪里”設(shè)計的，而不是“套路”。

廣告內(nèi)容是什么？

是廣告標題、文字、圖片、視頻等。

簡單說，騰訊混元先做“億點”廣告內(nèi)容的閱讀理解，做完，再將“答案”喂給廣告大模型。

據(jù)譚老師觀察，

以廣告大模型提升廣告和用戶的匹配準確率，

以騰訊混元大模型理解、生成廣告內(nèi)容，包括素材和創(chuàng)意。

小道消息，騰訊混元已經(jīng)將這項生成能力，用于廣告投放前的準備階段：

“素材創(chuàng)作”“商品合成”“游戲出圖”。

（五）關(guān)鍵詞：“大”算法思想

（學霸選讀）

雖然廣告大模型已經(jīng)很大了（有千億參數(shù)），想用一個大模型把所有的場景都學好，沒有那么容易。

騰訊廣告大模型核心負責人薛偉博士告訴我，

比如，模型會產(chǎn)生場景之間的負面影響“我學不好，你也甭想學好”。

這種現(xiàn)象叫“負遷移”。廣告大模型中，薛偉博士用到了“公共塔”技術(shù)。

公共塔，樣子像塔，其實是大模型內(nèi)部獨立子網(wǎng)絡。

廣告模型大，內(nèi)部子網(wǎng)絡豐富，還有商品（Item）塔，用戶（User）塔。這類子網(wǎng)絡專門學習特征的共性，降低場景之間的干擾。

不同場景參數(shù)不同，推薦汽車，不能把推薦手機的參數(shù)也算一遍。

大模型的出現(xiàn)，讓算法設(shè)計空間變大，讓設(shè)計的余地更大，有機會用算法的思想充分釋放大模型的價值。

好馬配好鞍，

好產(chǎn)品配好廣告。

1997年，蘋果手機“非同凡想”廣告里面有這樣一句話：

那些瘋狂到以為自己能夠改變世界的人呢，才能真正改變世界。

要我說，這樣爽感的廣告，再多來幾個。

（完）