來源：Agent的潛意識

OpenAI真是一家偉大的公司。他做出GPT不是一個偶然，整個體制機制非常有利于專心做事的人。除牽頭人外，Sora團隊都是入職一年內(nèi)的人，做出如此出色的成果，說明整個機制出現(xiàn)了競相涌現(xiàn)的良性循環(huán)。國內(nèi)的AI實驗室估計一年寫自然基金項目的申請本答辯都費勁。

從今天開始逐步的將sora周邊的論文梳理一遍。圍繞核心組件抽絲剝繭。先把邏輯盤清楚。

Sora技術(shù)報告里面提到自己對圖像構(gòu)建了一個類似于NLP里面tokens的概念的東西，取名為patches。今天來盤這個組件。

事實上，patches在幾年前的論文里就有。我盤了下幾篇經(jīng)典的關(guān)于patches的論文。分別為：

ViT- an image is worth 16X16 words (Google, 2020.10,ICLR2021)見參考文獻[1],

ViViT: A Video Vision Transformer (Google, 2021.03)見參考文獻[2],

MAE -Masked Autoencoders Are Scalable Vision Learners (Meta, 2021.11) 見參考文獻[3]。

一、VIT-patches的起源

An Image is worth 16*16 words：transformers for image recognition as scale

這篇文章是patches的源頭。第一次有人將圖像編碼成一個個序列單元patches。他之所以這樣做，是因為他想用transformer 做圖像分類，CNN可以直接對圖像自動分塊邊卷積邊滑動，而transformer需要輸入的是帶位置編碼position embedding的序列數(shù)據(jù)。因此文章為了解決這個gap，手動對圖像進行了分塊和打位置編碼。發(fā)現(xiàn)效果很好。

接下來由淺入深講一下他的做法：

整個算法結(jié)構(gòu)圖如上。虛線左邊是整個pipeline。右邊講的是左邊一個模塊 transformer encoder。他的方法非常簡單，就是手工將一張正方形圖片切割為9份，然后將每個小方塊圖片的特征和位置編碼（1-9）作為transformer的輸入，同時，他借用了berts的[class]token的做法，將圖片的分類類別名作為0位置的編碼，一起組成embedded patches 輸入到transformer來做分類。Transformer只是用了編碼器，然后將編碼器得到的特征通過一個MLP層做分類。

二、ViViT: A Video Vision Transformer

這篇文章講的是用transformer來做視頻分類的任務。

編碼視頻的時候，存在很多跟編碼圖片不一樣的地方。一個方面是量大，一個視頻一秒就是30幀圖片。另一個方面是，視頻有時域的概念。就是前一幀和后一幀同一個位置是有信息熵的。代表了前后的變化，同時合成視頻的時候要保證前后變化的連貫性。這些也是視頻的核心信息。

整個編碼過程如上圖所示。他的整個編碼過程是很簡單的。單圖片的編碼跟VIT里的一樣。就是手動將一張圖片編碼成1-9個小patch。然后，由于是視頻，就將他們按時間戳碼好。由于有時間這個維度，所以碼出來就是一個立方體。

這篇文章核心的貢獻是設(shè)計了4個視頻transformer編碼器。他的設(shè)計思路也非常簡單，主要邏輯是在空域和時域上做一些變化。

1、時空注意力模型。

這個就是最原始的方法。他沒有做任何創(chuàng)新，直接將碼好的立方體輸入進transformer，這樣的話，時域和空域之間每部都會交叉提取特征。計算量會比較大。

2、分步編碼。

這個模型的方法主要是分了兩步。如上圖，輸入初始編碼好的tokens后，第一步他構(gòu)建了一個空間的transformer Encoder。然后再接一層時域的，Temproal Transformer Encoder。最后接一層MLP的分類器。

3、model3 分步自注意力機制。

這個模型的變化是操作粒度縮小了。Model2的分步操作在transfomer編碼器那里。Model3的 分布操作在多頭注意力機制層中。他只有一個transformer，但他有兩個自注意力模塊，一個空間自注意力模塊，一個時域自注意力模塊。然后接上層歸一化，再接一個MLP做分類。這樣的話他節(jié)約了不少transformer內(nèi)部的通用層。

4、model4 分步點乘注意力機制層。

點乘注意力機制：這個我好好解釋一下什么叫做點乘注意力（dot-product）。

假設(shè)A矩陣是上層輸入的特征參數(shù)，不是矩陣也可以，你可以是三維、四維向量。我操作的時候只取那個截面矩陣。那么A矩陣這些參數(shù)他的重要性我覺得應該根據(jù)反向傳播的信號來學習，假設(shè)重要性最高為1，有的參數(shù)重要性高就趨近于0.9，有的參數(shù)重要性低就趨近于0。但具體是多少呢，我需要用一個跟A同秩的矩陣W參數(shù)去表示，然后這個W矩陣是根據(jù)反向傳播信號是可以學的。這就是點乘注意力機制。這個點乘注意力矩陣就是W。

Model4的方式就是一邊做空間點乘注意力，一邊做時間點乘注意力，然后再將兩者融合在一起加一個線性層，作為transformer的多頭注意力機制的模塊。

總結(jié)

通過梳理，我們明白了patches的由來。包括圖片和視頻的patches編碼方式。同時，如何通過patches構(gòu)建一個預訓練任務。對比GPT預測一個token，圖像的預訓練可以是預測一個patches，然后視頻的話，可以是預測一組patches。這樣的預訓練任務就可以保證生產(chǎn)出的視頻具有連續(xù)性。

因此，可以大膽推測下，要構(gòu)建一個sora，應該先有一個圖像預訓練的模型做底座。

參考文獻：

1 .Dosovitskiy, Alexey, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit and Neil Houlsby. “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.” ArXiv abs/2010.11929 (2020): n. pag.

2. Arnab, Anurag, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lucic and Cordelia Schmid. “ViViT: A Video Vision Transformer.” 2021 IEEE/CVF International Conference on Computer Vision (ICCV) (2021): 6816-6826.

3. He, Kaiming, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Doll'ar and Ross B. Girshick. “Masked Autoencoders Are Scalable Vision Learners.” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021): 15979-15988.

4. Dehghani, Mostafa, Basil Mustafa, Josip Djolonga, Jonathan Heek, Matthias Minderer, Mathilde Caron, Andreas Steiner, Joan Puigcerver, Robert Geirhos, Ibrahim M. Alabdulmohsin, Avital Oliver, Piotr Padlewski, Alexey A. Gritsenko, Mario Luvci'c and Neil Houlsby. “Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution.” ArXiv abs/2307.06304 (2023): n. pag.