chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

什么是個(gè)性化推薦？簡(jiǎn)單說(shuō)，就是給用戶推薦他喜歡的物品。近 10 年，移動(dòng)互聯(lián)網(wǎng)高速發(fā)展，個(gè)性化推薦扮演了很重要的角色。以運(yùn)營(yíng)一款內(nèi)容類產(chǎn)品為例：用戶增長(zhǎng)團(tuán)隊(duì)通過(guò)廣告投放等手段為產(chǎn)品拉新，提升 DAU；產(chǎn)品技術(shù)團(tuán)隊(duì)為用戶分發(fā)感興趣的內(nèi)容，提升留存及停留時(shí)長(zhǎng)；商業(yè)化團(tuán)隊(duì)分發(fā)用戶可能感興趣的廣告，提升單位流量變現(xiàn)效率；商業(yè)化收入又用于用戶增長(zhǎng)，形成正向循環(huán)。個(gè)性化推薦技術(shù)貫穿每個(gè)環(huán)節(jié)，成為了很多公司的高速增長(zhǎng)引擎。

怎么做個(gè)性化推薦？通常，對(duì)一項(xiàng)業(yè)務(wù)來(lái)說(shuō)，首先會(huì)定義出多個(gè)優(yōu)化目標(biāo)（例如視頻的播放時(shí)長(zhǎng)、點(diǎn)贊、分享，電商的點(diǎn)擊、加購(gòu)、購(gòu)買等），之后構(gòu)建一個(gè)或多個(gè)模型來(lái)預(yù)估這些目標(biāo)，最后融合多個(gè)目標(biāo)的預(yù)估分來(lái)完成排序。對(duì)推薦系統(tǒng)來(lái)說(shuō)，最核心的工作，便是構(gòu)建精準(zhǔn)的預(yù)估模型。這些年，業(yè)界的推薦模型一直朝著大規(guī)模、實(shí)時(shí)化、精細(xì)化的趨勢(shì)不斷演進(jìn)。大規(guī)模是指數(shù)據(jù)量和模型非常大，訓(xùn)練樣本達(dá)到百億甚至數(shù)萬(wàn)億，單個(gè)模型達(dá)到 TB 甚至 10TB 以上；實(shí)時(shí)化是指特征、模型、候選實(shí)時(shí)更新；精細(xì)化則在特征工程、模型結(jié)構(gòu)、優(yōu)化方法等多方面有所體現(xiàn)，各種創(chuàng)新思路層出不窮。

大規(guī)模推薦系統(tǒng)的落地，工程挑戰(zhàn)很大。本文選擇大家最關(guān)心的 Training 和 Serving 系統(tǒng)，介紹搭建過(guò)程中會(huì)遇到哪些挑戰(zhàn)，我們做了哪些工作。對(duì)任何一家公司來(lái)說(shuō)，從 0 搭建這樣一套系統(tǒng)都絕非易事，投入非常大。在字節(jié)跳動(dòng)內(nèi)部，我們也經(jīng)過(guò)了多年的探索與沉淀，有上千名工程師，不斷迭代和優(yōu)化推薦系統(tǒng)。那么，搭建推薦系統(tǒng)一般會(huì)遇到哪些問(wèn)題？我們先來(lái)看一個(gè)故事：

A公司的故事

A是一家電商公司，他們的產(chǎn)品有300萬(wàn)DAU，有一個(gè)10人的算法團(tuán)隊(duì)，他們?cè)诖罱ㄍ扑]系統(tǒng)的過(guò)程中，遇到了不少麻煩，我們具體來(lái)看看。

A公司想訓(xùn)練一個(gè)點(diǎn)擊率模型，每天有1億次曝光，100萬(wàn)次點(diǎn)擊，他們想用3個(gè)月的數(shù)據(jù)訓(xùn)練模型，樣本量級(jí)達(dá)到90億。他們?cè)O(shè)計(jì)了200個(gè)特征，包含用戶ID、商品ID、用戶的點(diǎn)擊序列等，想為每個(gè)特征分配16維的向量來(lái)表征，粗略計(jì)算下來(lái)模型大小為500G。分析之后，他們發(fā)現(xiàn)要做分布式訓(xùn)練和模型存儲(chǔ)，于是調(diào)研了一些開源方案：

• Tensorflow：Google開源的機(jī)器學(xué)習(xí)系統(tǒng)，可以使用Partitioned Variable來(lái)分布式地存儲(chǔ)Embedding，從而實(shí)現(xiàn)大規(guī)模訓(xùn)練。但由于table size固定，有hash沖突風(fēng)險(xiǎn)。

• PyTorch：Facebook開源的機(jī)器學(xué)習(xí)系統(tǒng)，使用Ring All Reduce同步參數(shù)，要求單機(jī)能容納所有參數(shù)，難以訓(xùn)練超大模型。

• XDL：國(guó)內(nèi)開源的機(jī)器學(xué)習(xí)系統(tǒng)，自研PS系統(tǒng)，用TF作為訓(xùn)練引擎，并且內(nèi)置了一些開箱即用的推薦模型。功能上可以實(shí)現(xiàn)大規(guī)模訓(xùn)練，但是這套系統(tǒng)開源支持較弱，使用在生產(chǎn)中有風(fēng)險(xiǎn)。

• Angel：國(guó)內(nèi)開源的機(jī)器學(xué)習(xí)系統(tǒng)，其特點(diǎn)是與大數(shù)據(jù)系統(tǒng)Spark緊密結(jié)合，使用Spark完成數(shù)據(jù)預(yù)處理與特征工程。自研Parameter Server，內(nèi)嵌Pytorch為訓(xùn)練引擎，可以訓(xùn)練超大模型。但是Angel的在線離線特征難以保證一致性，只適合做離線訓(xùn)練平臺(tái)。

經(jīng)過(guò)對(duì)比，A公司選擇了Tensorflow來(lái)做分布式訓(xùn)練。但是，訓(xùn)練模型的時(shí)候發(fā)現(xiàn)速度非常慢，即使投入大量資源依然需要5天才能訓(xùn)完3個(gè)月的數(shù)據(jù)。他們花了很多時(shí)間研究Tensorflow，profiling訓(xùn)練過(guò)程，發(fā)現(xiàn)了一些問(wèn)題：

• TensorFlow 的分布式runtime 性能不好, 對(duì)于每個(gè)特征都單獨(dú)產(chǎn)生了一對(duì)send/recv op來(lái)連接worker 和 PS，這樣單個(gè)worker 就跟 PS 產(chǎn)生了200個(gè)send/recv，造成了TensorFlow Runtime的調(diào)度困難，降低了分布式訓(xùn)練的速度。

• 訓(xùn)練過(guò)程中CPU的使用率非常不穩(wěn)定，看起來(lái)CPU并沒(méi)有被充分利用起來(lái)。

• 有些算子運(yùn)算的特別慢，推測(cè)可能和內(nèi)存帶寬有關(guān)。

• 雖然網(wǎng)絡(luò)帶寬并沒(méi)有滿載，但是增加更多的機(jī)器不能夠再提升訓(xùn)練速度了。

• 瀏覽TF官方網(wǎng)站的時(shí)候發(fā)現(xiàn)TF最近推出了各種不同的分布式策略，它們又分別對(duì)應(yīng)著訓(xùn)練集群不同的拓?fù)浣Y(jié)構(gòu)。他們非常疑惑，不知道應(yīng)該選擇哪一種。

雖然發(fā)現(xiàn)了不少性能問(wèn)題，但優(yōu)化起來(lái)并不十分容易。經(jīng)過(guò)一段時(shí)間的努力，他們優(yōu)化了部分問(wèn)題，將訓(xùn)練時(shí)間從5天壓縮到了3天，勉強(qiáng)可以接受。但是，當(dāng)訓(xùn)練進(jìn)行到第40小時(shí)的時(shí)候，因?yàn)橐慌_(tái)機(jī)器OOM，訓(xùn)練任務(wù)掛了。他們多嘗試了幾次，發(fā)現(xiàn)訓(xùn)練成功率比較低, 分析之后發(fā)現(xiàn)主要原因是:

• TF 基于靜態(tài)拓?fù)渑渲脕?lái)構(gòu)建 cluster，不支持動(dòng)態(tài)組網(wǎng)，這就意味著當(dāng)某個(gè) ps 或者 worker 掛掉重啟之后，如果 ip 或者端口發(fā)生變化（例如機(jī)器 crash），訓(xùn)練將無(wú)法繼續(xù)。

• TF 的 checkpoint 只包含 PS 存儲(chǔ)的參數(shù)信息，不包含 worker 端的狀態(tài)，不是全局一致性的 checkpoint，無(wú)法實(shí)現(xiàn) Exactly-Once 語(yǔ)義。

做好容錯(cuò)挑戰(zhàn)不小，他們只能先隔離一個(gè)獨(dú)立的集群，讓訓(xùn)練盡量穩(wěn)定一些。不能和其他任務(wù)混合調(diào)度，資源利用率自然也要低不少。

幾經(jīng)波折，勉強(qiáng)訓(xùn)好了一個(gè)500G的模型，他們想把模型推到線上去Serving，于是考慮在線系統(tǒng)的設(shè)計(jì)。經(jīng)過(guò)一番討論，他們認(rèn)為Serving系統(tǒng)必須滿足如下要求：

• 分布式：推薦模型的特點(diǎn)是有大量的Embedding，模型很容易達(dá)到TB級(jí)，考慮未來(lái)的模型迭代，必須支持分布式Serving。

• 低時(shí)延：?jiǎn)未晤A(yù)估的延時(shí)要盡量低，精排模型一般要控制在80ms內(nèi)。復(fù)雜的深度模型，可能需要GPU來(lái)Serving，并做一系列的性能優(yōu)化。

• 高可用：少部分節(jié)點(diǎn)掛掉不影響在線穩(wěn)定性，一般通過(guò)多副本解決，需要調(diào)度系統(tǒng)的支持。

• 少抖動(dòng)：模型更新、上線、下線等操作，不會(huì)造成延時(shí)抖動(dòng)。

• AB測(cè)試：推薦系統(tǒng)迭代很快，算法工程師會(huì)開展很多AB實(shí)驗(yàn)，實(shí)驗(yàn)組的流量會(huì)動(dòng)態(tài)調(diào)整，在線系統(tǒng)需要能支持模型、服務(wù)的動(dòng)態(tài)調(diào)度。

目前，沒(méi)有開源系統(tǒng)能滿足上述要求，各大公司都是自研，實(shí)際做起來(lái)投入也不小。A公司人力有限，經(jīng)驗(yàn)也不足，只能先通過(guò)一些模型壓縮的手段，讓單機(jī)可以Serving，模型也不能做得太復(fù)雜。

模型上線之后，A公司又遇到一個(gè)新的問(wèn)題：如何更新模型。定期全量重訓(xùn)成本很高，如果線上有多個(gè)同時(shí)ABTest的模型，更是會(huì)雪上加霜。所以，至少要做到天級(jí)的增量更新，實(shí)時(shí)更新自然更好。但增量/實(shí)時(shí)更新，實(shí)現(xiàn)起來(lái)也不太容易。其實(shí)，未來(lái)還有更多的問(wèn)題等著A公司，比如：如何保證線上線下特征的一致性；上游數(shù)據(jù)流不穩(wěn)定怎么辦；如何解決模型越來(lái)越大的問(wèn)題；如何做好多場(chǎng)景數(shù)據(jù)的混合訓(xùn)練；如何應(yīng)對(duì)大規(guī)模候選的問(wèn)題；如何解決轉(zhuǎn)化事件大幅延遲的問(wèn)題等等。

我們的工作

通過(guò)A公司的故事，大家能看到，開發(fā)一套大規(guī)模推薦系統(tǒng)，難度確實(shí)不小，成本也很高。那么，有沒(méi)有一款產(chǎn)品可以直接覆蓋數(shù)據(jù)校驗(yàn)、特征工程、模型開發(fā)、線上服務(wù)、AB測(cè)試等全流程，讓業(yè)務(wù)輕松搭建一套一流的推薦系統(tǒng)，不再遭遇A公司的頭疼問(wèn)題呢？有。

字節(jié)跳動(dòng)成立火山引擎之后，我們一直在努力，將字節(jié)的推薦技術(shù)開放給外部客戶。如今，我們已經(jīng)可以通過(guò)火山引擎的智能推薦平臺(tái)，來(lái)幫助大家解決這些難點(diǎn)和痛點(diǎn)。目前這套平臺(tái)也開放了部分名額供企業(yè)免費(fèi)使用，具體信息可以在文末進(jìn)行了解。

接下來(lái)，再展開介紹一下，智能推薦平臺(tái)中的大規(guī)模Training和Serving方案，我們把它命名為Monolith(磐石)，希望它能成為大家做推薦系統(tǒng)的堅(jiān)實(shí)基礎(chǔ)，如下是架構(gòu)圖：

從圖中可以看出，Monolith是PS架構(gòu)，下面看看這套架構(gòu)是怎樣運(yùn)行的：

批量/增量訓(xùn)練

• Worker/PS啟動(dòng)時(shí)會(huì)向ZK注冊(cè)，信息包括(server_type，index)。然后Worker向ZK請(qǐng)求注冊(cè)信息，生成Cluster信息，實(shí)現(xiàn)動(dòng)態(tài)組網(wǎng)，動(dòng)態(tài)組網(wǎng)是容錯(cuò)的基礎(chǔ)。

• 訓(xùn)練開始后，Worker會(huì)從標(biāo)準(zhǔn)輸入或文件中獲取數(shù)據(jù)，同時(shí)從PS拉取參數(shù)，然后進(jìn)行forward/backward計(jì)算，得到梯度，并將其Push給PS。

• PS獲得梯度后，一方面，利用優(yōu)化器更新內(nèi)部weight，另一方面，會(huì)記錄哪些數(shù)據(jù)更新了。在PS上起一個(gè)TF Session，它會(huì)定時(shí)將更新的參數(shù)發(fā)送到Online PS，從而實(shí)現(xiàn)實(shí)時(shí)增量更新。此外，特征過(guò)濾，特征淘汰等也在PS上進(jìn)行。

• 在訓(xùn)練過(guò)程中或訓(xùn)練結(jié)束時(shí)，會(huì)寫checkpoint。為了加速checkpoint，Monolith 沒(méi)有延用TF 中的saveable，而是利用estimator saving listener，流式多線程地存取，性能大副提升。為了減少checkpoint體積，會(huì)將過(guò)期特征淘汰。

在線推理

• 加載saved_model。Entry本質(zhì)上是TF Serving，它會(huì)從HDFS上加載非Embedding部分，同時(shí)向ZK注冊(cè)，以便上層做負(fù)載均衡。Online PS也會(huì)先向ZK注冊(cè)，然后從HDFS中加載參數(shù)，并在加載過(guò)程中去除優(yōu)化器輔助參數(shù)，將fp32轉(zhuǎn)換成fp16，量化壓縮等。

• 對(duì)于一次請(qǐng)求，Entry會(huì)隨機(jī)選擇一組Online PS，從中獲取Embedding，完成預(yù)測(cè)。Entry/Online PS 是多副本的，只要有一個(gè)副本存在，服務(wù)就可用。Online PS是多分片的，可以Serving超大模型?？梢栽谝慌_(tái)機(jī)器上部署多個(gè)分片，也可以Entry/OnlinePS混部。

• 對(duì)于一些對(duì)模型實(shí)時(shí)性較高的系統(tǒng)，Training PS會(huì)直接通過(guò)RPC的方式與Online PS進(jìn)行通訊，從而將樣本反饋到線上模型的時(shí)間間隔縮短到分鐘級(jí)。

• Training PS可以與Online PS通訊，接受Training PS的參數(shù)更新；Entry可以自動(dòng)從HDFS上讀取更新參數(shù)，從而實(shí)現(xiàn)分鐘級(jí)參數(shù)增量更新。

綜上所述，Monolith 包括了 Training/Serving/Parameter Sync等，是一套完整的系統(tǒng)。

與業(yè)界其它系統(tǒng)相比，Monolith成功應(yīng)對(duì)了多方面的挑戰(zhàn)，有如下特色：

解決了TensorFlow PS 通信瓶頸

在工業(yè)級(jí)的推薦模型中，我們常會(huì)使用幾百甚至數(shù)千類特征，每類特征都需要?jiǎng)?chuàng)建哈希表去存儲(chǔ)特征embeddings。直接為每類特征生成一張哈希表，同時(shí)對(duì)幾百?gòu)埍磉M(jìn)行查找會(huì)導(dǎo)致兩個(gè)問(wèn)題：

1. PS和Worker連接會(huì)產(chǎn)生過(guò)多的 send/recv op，大大影響分布式 runtime 的運(yùn)行效率。

2. 這些 ops 導(dǎo)致模型圖節(jié)點(diǎn)過(guò)多，模型圖過(guò)大，訓(xùn)練初始化時(shí)間過(guò)長(zhǎng)。

針對(duì)如上問(wèn)題，我們?cè)诳蚣軐用孀隽藘?yōu)化：對(duì)于配置同構(gòu)的哈希表（dim 相同、優(yōu)化器參數(shù)相同），在python API 層面合并哈希表來(lái)減少表的數(shù)量，同時(shí)monolith會(huì)對(duì)通信op進(jìn)行進(jìn)一步的合并，從而極大地減少了send/recv ops，解決了原生TensorFlow PS 的通信問(wèn)題。

針對(duì)異步訓(xùn)練，monolith還開發(fā)了變量與embedding預(yù)取以及梯度異步更新的功能，對(duì)于多數(shù)模型，能夠更加有效的利用帶寬與CPU，從而提高訓(xùn)練速度，優(yōu)化資源利用率。

全方位容錯(cuò)

在服務(wù)發(fā)現(xiàn)的基礎(chǔ)上，無(wú)論是Worker還是PS發(fā)生錯(cuò)誤，都能得到快速恢復(fù)。對(duì)于Worker，Monolith不同worker節(jié)點(diǎn)之間并不直接進(jìn)行通信，所以一個(gè)worker的失敗并不會(huì)對(duì)別的worker產(chǎn)生影響；同時(shí)，worker會(huì)存儲(chǔ)輸入的進(jìn)度，當(dāng)worker因?yàn)橐馔庠蚴r(shí)，輸入的進(jìn)度并不會(huì)丟失；當(dāng)PS shard 節(jié)點(diǎn)失敗，根據(jù)離線/在線任務(wù)的性質(zhì)不同，支持部分恢復(fù)和全量恢復(fù)不同的模式，在正確性以及恢復(fù)速度上做一定的取舍。

分布式Serving

Monolith補(bǔ)齊了開源軟件在分布式Serving方面的空白，提供了TB級(jí)模型的推理服務(wù)。支持多副本、高可用，Training PS在訓(xùn)練過(guò)程中，分鐘級(jí)別將剛剛更新過(guò)的Embedding同步給Serving PS，從而實(shí)現(xiàn)近實(shí)時(shí)參數(shù)更新，提升了產(chǎn)品的推薦效果。

性能優(yōu)化

除了上面提到的解決 TensorFlow PS 通信瓶頸之外，Monolith 在 Parameter Server 架構(gòu)、底層 Hash Table 設(shè)計(jì)、網(wǎng)絡(luò)傳輸、多線程加速、OP Fusion、指令集加速等方向也進(jìn)行了非常細(xì)致的優(yōu)化并取得了可觀的性能收益。以異步訓(xùn)練為例，訓(xùn)練時(shí)整個(gè)過(guò)程示意如下：

• 網(wǎng)絡(luò)通訊優(yōu)化：通過(guò) embedding prefetch, gradients postpush 將網(wǎng)絡(luò) IO 與圖的前向/后向計(jì)算異步起來(lái)，同時(shí)支持控制流與數(shù)據(jù)流分離、壓縮傳輸?shù)葍?yōu)化；

• 內(nèi)存優(yōu)化：通過(guò)支持特征過(guò)濾、特征壓縮、特征淘汰等手段，可以極大地節(jié)省 training/serving 階段內(nèi)存使用；

• 計(jì)算優(yōu)化：Hot spot code 采用 AVX 指令集優(yōu)化、耗時(shí) Op 精細(xì)調(diào)優(yōu)、手工 Op Fusion 等手段加速前向/后向計(jì)算過(guò)程；

• 其它方面：多線程優(yōu)化、細(xì)粒度鎖設(shè)計(jì)、IO與計(jì)算異步起來(lái)等。

目前，Monolith已通過(guò)推薦平臺(tái)，成功應(yīng)用在電商、社區(qū)、視頻等多個(gè)行業(yè)的場(chǎng)景上，效果、穩(wěn)定性、性能均得到了充足的驗(yàn)證。未來(lái)，我們也將繼續(xù)保持高速迭代，不斷優(yōu)化用戶體驗(yàn)和平臺(tái)功能。