編輯：Q 好困

18世紀(jì)，歐拉提出了著名的哥尼斯堡七橋問題（Seven Bridges of K?nigsberg）：

河中心的小島與河岸由七座橋相連接，在所有橋都只能走一遍的前提下，如何才能把這個地方所有的橋都走遍？

在隨后發(fā)表的論文中，歐拉證明了符合條件的走法并不存在，而該論文也成為圖論史上第一篇重要文獻(xiàn)。

圖（Graph）是用于表示對象之間關(guān)聯(lián)關(guān)系的一種抽象數(shù)據(jù)結(jié)構(gòu)，使用頂點（Vertex）和邊（Edge）進(jìn)行描述：頂點表示對象，邊表示對象之間的關(guān)系。

圖計算，便是以圖作為數(shù)據(jù)模型來表達(dá)問題并予以解決的這一過程。以高效解決圖計算問題為目標(biāo)的系統(tǒng)軟件稱為圖計算系統(tǒng)。

對于圖計算技術(shù)的研究，最早可追溯至20世紀(jì)四五十年代。

但圖計算逐漸進(jìn)入人們視野，則是2010年谷歌發(fā)表的「Pregel：一個大規(guī)模圖計算系統(tǒng)這篇」這篇論文引起。

https://kowshik.github.io/JPregel/pregel_paper.pdf

「螞蟻森林」都很熟悉吧，大家是不是都會一起床就跑去「偷」朋友的能量？

而你想象不到的是，這背后都是圖計算在支撐！

在你進(jìn)行了消費或者是做了其他低碳行為之后，就會得到一些能量并且能被自己和朋友實時看到，而這就需要超大圖的高效計算能力。

當(dāng)朋友把能量偷走時，打開螞蟻森林的每個人都會實時看到。

既不會別人偷走了10克，用戶自己這里還有10克；更不會因為還有別的朋友也來偷走10克，自己本來只有10克，最后被偷走了20克。

如果用戶的規(guī)模變得十分巨大，「偷能量」這個動作對時效性以及對數(shù)據(jù)一致性的要求就會非常的高。

在這樣一個「游戲」場景下，螞蟻鍛煉出了在超大規(guī)模圖上對數(shù)據(jù)量高，吞吐率低，延時方面的計算的能力。

近幾年，隨著數(shù)據(jù)的多樣化，數(shù)據(jù)量的大幅度提升和算力的突破性進(jìn)展，超大規(guī)模圖計算在大數(shù)據(jù)公司發(fā)揮著越來越重要的作用，尤其是以深度學(xué)習(xí)和圖計算結(jié)合的大規(guī)模圖表征為代表的系列算法。

相比于傳統(tǒng)的基于二維表結(jié)構(gòu)的數(shù)據(jù)庫或大數(shù)據(jù)模型，圖數(shù)據(jù)結(jié)構(gòu)非常適合于對事物之間深層次的關(guān)系進(jìn)行實時高效地分析。

圖計算的發(fā)展和應(yīng)用有井噴之勢，各大公司也相應(yīng)推出圖計算平臺，例如Google Pregel、Facebook Graph等。

隨著新技術(shù)和新業(yè)務(wù)的推動，目前圖計算技術(shù)已進(jìn)入臨近爆發(fā)的前夜。

根據(jù)DB-Engines的排名顯示，圖數(shù)據(jù)庫關(guān)注熱度在2013-2020年間增長了10倍，關(guān)注度增長排名第一。

而「圖數(shù)據(jù)庫、圖計算引擎、知識圖譜」三項熱點技術(shù)方向也正在全球范圍內(nèi)加速產(chǎn)業(yè)化，國內(nèi)阿里、華為、騰訊、百度等大型云廠商以及部分初創(chuàng)企業(yè)均已布局這一技術(shù)領(lǐng)域。

來源：中國信通院《大數(shù)據(jù)白皮書（2020年）》

對于傳統(tǒng)的「大數(shù)據(jù)」來說，一般是以表的形式進(jìn)行存儲，這種關(guān)系型數(shù)據(jù)的特點就是數(shù)據(jù)往往是「同質(zhì)化」的。

而圖數(shù)據(jù)是一種更加高維的數(shù)據(jù)，從而能夠涵蓋那些「非同質(zhì)化」的數(shù)據(jù)。

也就是說，圖是對現(xiàn)有數(shù)據(jù)模型的一個升級，可以讓很多技術(shù)可以做得更快更好。

舉例來說，在推薦系統(tǒng)中，如果根據(jù)朋友的興趣推出某用戶的興趣，或者通過用戶購買的商品推薦出來還想要的商品，這個深度是比較淺的，如果要查它的鄰居的鄰居的鄰居（下探3度）。

當(dāng)然，上述這些計算也都是基于個人隱私保護(hù)基礎(chǔ)之上的。

在傳統(tǒng)的關(guān)系型數(shù)據(jù)中，這個過程中訪問的數(shù)據(jù)量是指數(shù)級增加的，性能的下降也是指數(shù)級的，而當(dāng)3度以上的時候，很有可能關(guān)系型數(shù)據(jù)庫已經(jīng)查不出來了。

但是在圖數(shù)據(jù)庫里面，不需要做很多個表的交、并等操作即可完成。

來源：《Graph Databases》

第一列的「深度」表示社交朋友之間的關(guān)系，深度為1，表明二人為直接好友；深度為2，表明二人為好友的好友，以此類推。

由圖表可知，當(dāng)深度達(dá)到5時，關(guān)系型數(shù)據(jù)庫已無法完成任務(wù)，而圖數(shù)據(jù)庫的響應(yīng)時間為2.132秒，在可接受范圍內(nèi)。

不過，優(yōu)勢在某種情況下往往也會變成劣勢。圖計算處理的最大難點也在于數(shù)據(jù)處理的不規(guī)整，這種不規(guī)整使得數(shù)據(jù)處理起來非常吃力，在處理億級以上的海量數(shù)據(jù)時尤其如此。

當(dāng)要下探6度的時候，相當(dāng)于要把全圖的數(shù)據(jù)都能夠訪問一遍，這也是現(xiàn)在很多圖學(xué)習(xí)算法的限制。

螞蟻集團計算存儲首席架構(gòu)師何昌華表示，目前幾乎所有的圖深度學(xué)習(xí)探索的基本上都是2度，能夠探索到3度的深度已經(jīng)是非常的少。

而螞蟻在一些典型的圖算法上已經(jīng)可以做到10度以上的探索，而現(xiàn)在正在做的系統(tǒng)則希望能夠在不強制采樣的情況下不限制探索的深度。

當(dāng)把圖做了大規(guī)模甚至超大規(guī)模的分布式以后，圖數(shù)據(jù)如何存儲，計算和通訊如何做到高效，就成了非常棘手的一個問題，這也是所有做圖計算相關(guān)工作面臨的一個共同問題。

一個超大規(guī)模的圖，往往會被分割成很多子圖以后放到多臺計算機上進(jìn)行處理，而這些子圖之間是需要通信的，通過通信才能夠知道圖全部的信息，計算才能不停的迭代和交互下去。

例如，在一個圖里面，某個人增加了一筆交易，會影響這個圖里面的很多條邊，如何做到數(shù)據(jù)的一致變動，是非常難的問題。

此外，傳統(tǒng)的很多圖計算基本上要把所有的圖全部載入內(nèi)存以后計算才能夠高效，但其實這樣的高速是以高昂的成本為代價的。

現(xiàn)在很多的探索會嘗試把內(nèi)存里面的數(shù)據(jù)放到硬盤上去，成本就會極大的降低，同時問題也就轉(zhuǎn)變成了如何高效地訪問硬盤上的數(shù)據(jù)，是否能夠犧牲部分的吞吐而把更多的數(shù)據(jù)放到外存上，在提升外存的效率的同時支持更大的圖。

作為一個在我國乃至全球都正在蓬勃發(fā)展的熱門領(lǐng)域，制定相應(yīng)技術(shù)標(biāo)準(zhǔn)的重要性則不言而喻，既能促進(jìn)技術(shù)的全面發(fā)展，也有利于掌握相應(yīng)的話語權(quán)。我國也一直希望建立一些「圖」方面的標(biāo)準(zhǔn)，眾多科技公司也一直積極的參與其中。

去年9月，國家標(biāo)準(zhǔn)化管理委員會通過全國標(biāo)準(zhǔn)信息公共服務(wù)平臺公布，《信息技術(shù)-圖數(shù)據(jù)庫系統(tǒng)技術(shù)要求》的國家標(biāo)準(zhǔn)正式立項，這是國內(nèi)首個圖數(shù)據(jù)庫方面的國家標(biāo)準(zhǔn)立項。

《信息技術(shù)圖數(shù)據(jù)庫系統(tǒng)技術(shù)要求》國家標(biāo)準(zhǔn)立項公示圖

據(jù)公示信息可知，此國家標(biāo)準(zhǔn)由TC28（全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會）歸口，由螞蟻集團牽頭、多家公司共同參與制定?；谖浵伡瘓F對于該標(biāo)準(zhǔn)的貢獻(xiàn)，在全國信標(biāo)委大數(shù)據(jù)標(biāo)準(zhǔn)工作組會議上，螞蟻集團還被選為優(yōu)秀成員單位。

除了立項的圖數(shù)據(jù)庫國家標(biāo)準(zhǔn)，基于自身在圖智能領(lǐng)域的產(chǎn)業(yè)實踐經(jīng)驗，螞蟻集團還參與了一系列標(biāo)準(zhǔn)的制定：

• 在浙江互聯(lián)網(wǎng)金融聯(lián)合會牽頭制定和發(fā)布了《互聯(lián)網(wǎng)金融分布式架構(gòu)技術(shù)應(yīng)用指南》的團體標(biāo)準(zhǔn)；

• 在全國金融標(biāo)準(zhǔn)化技術(shù)委員會牽頭立項了《金融IT基礎(chǔ)設(shè)施 存儲應(yīng)用實施指南》的行業(yè)標(biāo)準(zhǔn)；

• 在CCSA TC601，參與信通院牽頭的《圖數(shù)據(jù)庫白皮書》和《大數(shù)據(jù)圖數(shù)據(jù)庫技術(shù)要求與測試方法》團體標(biāo)準(zhǔn)；

• 在ISO/IEC JTC1 SC32參與《ISO/IEC 39075 : Graph Query Language》的國際標(biāo)準(zhǔn)。

作為圖數(shù)據(jù)庫國家標(biāo)準(zhǔn)的牽頭和發(fā)起方，何昌華表示：「螞蟻在圖智能領(lǐng)域，具備圖存儲、圖計算、圖分析推理、圖研發(fā)平臺的全技術(shù)棧GeaGraph。我們希望與各方行業(yè)機構(gòu)通過標(biāo)準(zhǔn)共建，來促進(jìn)圖智能技術(shù)的應(yīng)用，促進(jìn)數(shù)字經(jīng)濟的發(fā)展?！?/p>

2015年初，螞蟻開始組建圖數(shù)據(jù)庫的團隊，2016年發(fā)布了第一個圖數(shù)據(jù)庫的版本——GeaBase。

上線以后，新版支付寶是GeaBase迎來的第一筆流量，接下來從支付寶的一個更大規(guī)模的改版到新春紅包到雙11，GeaBase進(jìn)入到越來越多的業(yè)務(wù)里面。

到2019年雙11，迎來了一個里程碑事件：單集群規(guī)模突破萬億邊！

點邊查詢，針對點、邊或者是關(guān)系的查詢，突破了800萬的TPS，并且平均延時小于10毫秒。

如今，螞蟻對于海量超大規(guī)模圖數(shù)據(jù)的存儲的能力，已經(jīng)能夠做到超過萬億級別的點跟邊的規(guī)模，在業(yè)界已經(jīng)是非常領(lǐng)先的水平。

在TB這個數(shù)據(jù)規(guī)模的級別上，在5-6度左右都能做到毫秒級的結(jié)果的反饋。同時，還能實現(xiàn)百萬級每秒這種高的吞吐量。

在LDBC的這種性能測試?yán)锩?，是第二名的性?.6倍，在斯坦福的圖深度學(xué)習(xí)推理評測中打榜的時候也拿到了第一。

此外，在延時這些方面的比較上，螞蟻是遠(yuǎn)遠(yuǎn)領(lǐng)先的，包括六跳的查詢、迭代的算法，甚至要求很高的尾延時，在生產(chǎn)環(huán)境中都做到了小于20毫秒，這是業(yè)界的很多其他的圖數(shù)據(jù)庫遠(yuǎn)遠(yuǎn)達(dá)不到的。

而這些出色的能力，都依賴于螞蟻自研的GeaGraph體系：

今年世界互聯(lián)網(wǎng)大會期間，大規(guī)模圖計算系統(tǒng)GeaGraph這個產(chǎn)品體系獲得了世界互聯(lián)網(wǎng)領(lǐng)先科技成果獎。

GeaGraph體系包括如下部分：

1. PhStore：螞蟻純自研的存儲引擎，基于完美哈希（Perfect Hashing）技術(shù)，在圖的讀取性能上可以達(dá)到O(1)復(fù)雜度，是業(yè)界首創(chuàng)的基于完美哈希的KV圖存儲。

2. GeaBase：螞蟻集團完全自主研發(fā)的金融級分布式圖數(shù)據(jù)庫，GeaBase單集群能支撐萬億邊規(guī)模的圖數(shù)據(jù)，寫入和查詢吞吐量超過每秒百萬次，99.9%查詢和寫入延時小于20ms。

3. GeaBase Lite：一個支持事務(wù)處理和強隔離性的單機圖數(shù)據(jù)庫，可以單機支持百億邊的圖數(shù)據(jù)，而且集成了全圖迭代分析能力，可以同時滿足用戶對圖的復(fù)雜分析、快速查詢和可視化的需求。

4. GeaFlow：自研的流式圖計算引擎，提供了圖探索、圖仿真、動態(tài)子圖匹配和流式增量圖計算等多種近線圖計算能力，并支持了千億級圖數(shù)據(jù)的長周期(半年/一年)仿真回溯驗證、秒級6度以上的流式子圖匹配和秒級全圖時序增量圖計算等關(guān)鍵技術(shù)能力。

5. GeaComputing：在清華大學(xué)研發(fā)的Gemini和ShenTu離線圖計算系統(tǒng)上進(jìn)一步優(yōu)化的分布式圖計算平臺，支持萬億級圖數(shù)據(jù)，能夠為用戶提供高效的復(fù)雜圖分析能力。

6. GeaLearning：自主研發(fā)的以圖為核心的超大規(guī)模分布式深度學(xué)習(xí)系統(tǒng)，支持多種靈活圖模型訓(xùn)練方法，不限制圖神經(jīng)網(wǎng)絡(luò)層數(shù)和節(jié)點鄰居個數(shù)，以模型并行為核心的混合并行執(zhí)行方式等。

7. GeaMaker：螞蟻自主研發(fā)的一站式圖計算研發(fā)探索平臺，平臺融合了上述底層系統(tǒng)的能力，為用戶提供了具備探索、仿真、性能評估等功能，集在線查詢，近線計算，離線分析和圖學(xué)習(xí)于一體，可以讓開發(fā)者更方便地使用。

在線上交易中，最讓銀行和第三方頭疼的就是「套現(xiàn)」這種欺詐行為。

例如有一些不良的商家，會通過銀行卡、花唄或者熟人等來完成一個套現(xiàn)的回路。

以前，挖掘的關(guān)系數(shù)或者關(guān)系的深度往往都有限，并且很難，計算起來也不夠高效。而現(xiàn)在能夠把這種行為建模成一個圖，在這個圖上就會發(fā)現(xiàn)它形成了一個欺詐的閉環(huán)。

在數(shù)據(jù)量很小的時候，傳統(tǒng)的圖計算單機就可以解決這個問題，現(xiàn)在的海量數(shù)據(jù)的情況下，需要對超大規(guī)模圖進(jìn)行切割，還要做高效的存儲，更需要很低的時延。

螞蟻則希望在每一筆交易發(fā)生的時候，都能夠?qū)崟r的檢測到并阻止這樣的行為。

除此之外，現(xiàn)在欺詐的形式上也有了新的變化：以前的欺詐行為很集中，就在一個人或者賬戶上，通過簡單的技術(shù)進(jìn)行個體挖掘就能看到特征找到欺詐。

而現(xiàn)在是對抗的，甚至升級成了團伙，會租借一些正常交易的合法賬戶，混在海量的交易數(shù)據(jù)中，可能只有中間的幾筆交易才是欺詐，使得欺詐行為變得非常隱蔽，很難找到。

2020年時，欺詐手法變成不僅僅是一個團伙，而且它的團伙還在演變，團伙成員還在不停的變化。

在觀察它按照時間往前演進(jìn)的過程中，能夠識別到這些團伙里的一些關(guān)鍵的角色，這樣就能夠更加快速精準(zhǔn)的定位團伙的核心成員，這就是時序圖計算。

這也對螞蟻的底層圖計算計算提出了新的挑戰(zhàn)，現(xiàn)在能做到的是對欺詐行為的被動識別，未來螞蟻希望可以能夠更進(jìn)一步，對風(fēng)險也能進(jìn)行主動的預(yù)測。

反洗錢跟反欺詐的很多技術(shù)是非常類似的，反洗錢對于時效性要求非常高，判斷的邏輯也越來越復(fù)雜。

在洗錢的行為里面，常見手段是通過在海量的交易里面混雜洗錢和一些藝術(shù)品的拍賣，來掩蓋洗錢行為。

作案的人員可能有很多重身份和大量的賬號，并且交易的頻率不高，交易的路徑也非常復(fù)雜，可能是在正常的交易中混雜著這樣的一些可疑的交易。

要找到這樣的一些欺詐的行為，并且阻止他，就需要深入的圖分析、圖計算的能力。

從2018年開始，基于資金網(wǎng)絡(luò)、中介網(wǎng)絡(luò)這樣一些典型的欺詐，螞蟻已經(jīng)能夠做到百萬吞吐級別對應(yīng)毫秒級的響應(yīng)。

類似傳統(tǒng)的方法做在圖上，但是把它的吞吐量變大、響應(yīng)時間變短，能夠更快速的抓到這些行為，而這些工作如果使用傳統(tǒng)的方法用人來做，可能需要幾個小時或者一天，但螞蟻把它做到了線上這樣高效的能力。

2021年，GeaStack應(yīng)用于螞蟻集團反洗錢分析，覆蓋支付寶全部資金交易，對疑似團伙類犯罪風(fēng)險識別能力提高94倍多，風(fēng)險審理分析效率提升90%。

除了金融領(lǐng)域之外，螞蟻集團還進(jìn)行了很多外部合作。

在人工智能時代，NLP、CV、RL等領(lǐng)域已經(jīng)百家爭鳴，而圖計算作為最前沿的技術(shù)高地之一，誰能夠在這個方面打造出核心的能力，誰就能夠站到未來世界通用人工智能的最前沿。

而目前國內(nèi)的很多公司包括螞蟻集團在內(nèi)，在圖計算方面的一些探索已經(jīng)走在了世界前列。

一直以來人們對于技術(shù)的探索從來都只有一個目標(biāo)，就是讓人類從中受益。

何昌華說，「螞蟻的初心也一直都是不斷探索革命性的技術(shù)，并在支持好螞蟻業(yè)務(wù)的同時把達(dá)到一定水平的成熟技術(shù)開放給社會，希望它在更多的場景中發(fā)揮出社會價值?！?/p>

-END-