誰頂住雙11很高級流量洪峰神龍架構(gòu)9位大牛現(xiàn)場拆解阿里秘籍

阿里江湖中，很多資源和技術(shù)，如神龍服務(wù)器、OceanBase、POLARDB等等，在開源、自研、云這三架馬車上形成協(xié)同效應(yīng)，既是內(nèi)功也是武器。

“不是任何一朵云都能撐住這個流量。中國有兩朵云，一朵是阿里云，一朵叫其他云。”11月11日晚，阿里巴巴集團CTO行癲（張建鋒）不久前表示。

除云之外，要深入了解阿里的武功路數(shù)，必須知道每個花名背后的武器與特技。旭卿、觀濤、鳴嵩、日照、褚霸、孤星、龍現(xiàn)、行易、鐳銘，11月18日，在阿里舉辦的“雙11背后的技術(shù)力量”沙龍活動，這9位阿里技術(shù)大牛展示了路數(shù)，全面解讀雙十一背后的武功秘籍。

整個天貓的成交額是2684億，零點訂單峰值達到54.4萬筆/秒。這是華山論劍的結(jié)果。

自研數(shù)據(jù)庫POLARDB和OceanBase分別處理8700萬、6100萬筆/秒峰值請求、實時計算處理峰值每秒25.5億筆、計算平臺單日處理970PB數(shù)據(jù)、12億筆物流智能化等……2021年雙11期間，阿里巴巴打破了諸多技術(shù)紀錄。

核心交易系統(tǒng)100%遷移到云，第三代神龍服務(wù)器定義IT行業(yè)新的計算范式

雙11一個個閃亮的數(shù)字的背后有一個比較重要的事情，那就是今年阿里把核心交易系統(tǒng)100%遷移到阿里的公共云上，這是史無前例的、很高級的挑戰(zhàn)。

要實現(xiàn)100%的遷移，必須提到阿里云的神龍服務(wù)器。神龍架構(gòu)負責(zé)人的旭卿（張獻濤）介紹，“神龍服務(wù)器是阿里云近三年來投入巨大的資源，研發(fā)的新一代適合云計算的計算架構(gòu)的服務(wù)器，具備高彈性、高穩(wěn)定和高性能的能力。”

阿里云從2021年開始投入相關(guān)研發(fā)，2021年10月發(fā)布了第一代神龍云服務(wù)器。三年內(nèi)，阿里云從自研芯片開始、到自研設(shè)備+Hypervisor、很后成功自研神龍服務(wù)器，打通芯片、軟件、服務(wù)器硬件之間的斷層，首次實現(xiàn)了云計算行業(yè)性能、資源的零損耗。

阿里云智能基礎(chǔ)產(chǎn)品事業(yè)部張獻濤（旭卿）

為什么阿里云要研發(fā)這樣一個神龍服務(wù)器？

旭卿談到，在過去十幾年間，整個服務(wù)器的架構(gòu)沒有太大的變化。因此在云計算、甚至整個IT系統(tǒng)層面，業(yè)界都面臨歷史遺留問題，比如性能損失。

究其根本原因，就是做芯片、服務(wù)器、軟件的廠商之間沒有太多的協(xié)同，缺乏一個頂層的設(shè)計，每一個領(lǐng)域，每一個廠商都是希望把自己的東西做得很強，但做強之后對整體系統(tǒng)效率的提升不一定有幫助，這是我們可以感受到的。

從這個角度來看，我們需要對整個計算架構(gòu)做一些改變、革新和提升，提升整體的計算效率，這是阿里做神龍很初的初衷。

為什么是阿里云做成了這件事？

“規(guī)模到達一定程度的時候，才會真切的感受到它是一個需要解決的問題，你可能將來只有10臺、20臺、甚至200臺、2000臺服務(wù)器的時候，資源還跑不滿，在這種情況下沒有太大的動力去投入上億資金解決這樣一個問題，而今天阿里云的整體規(guī)模已經(jīng)讓我們必須直面這個問題，并且解決這個問題。”旭卿解釋道。

旭卿認為，今天神龍正在定義IT行業(yè)新的計算范式，它不僅僅能實現(xiàn)阿里云的核心系統(tǒng)100%上云，解決虛擬化的性能、資源的開銷，并且也能夠?qū)崿F(xiàn)軟件、硬件完美融合，它的綜合表現(xiàn)在很多業(yè)務(wù)場景下都是超越物理機的性能表現(xiàn)。

說到物理機，旭卿還介紹了第三代神龍架構(gòu)，它可以提供的性能非常高，“我們網(wǎng)絡(luò)的性能可以做到每秒2500萬PPS的轉(zhuǎn)發(fā)，這個已經(jīng)是業(yè)界標桿的5倍，存儲性能其實也做到了100萬IOPS，是業(yè)界標桿的3倍，所以有了這樣一個東西之后，我們承載雙11大促這種業(yè)務(wù)的話，其實已經(jīng)比物理機的性能要高很多了。”

“當(dāng)然很后我們還是認為云是IT的集大成者，真正的云計算廠商有責(zé)任也有義務(wù)引導(dǎo)今天軟硬件方面的一些創(chuàng)新，回饋未來的IT技術(shù)變革打下基礎(chǔ)。”旭卿表示。

AliNLP平臺賦能700多個核心業(yè)務(wù)，客服AI搭載KAN-TTS技術(shù)處理70%問題

在語音和視覺方向，阿里也有所預(yù)備。達摩院實驗室的雷鳴就介紹了阿里的客服AI和視覺AI。

這是基于阿里巴巴真實客服人員的聲音定制的電話客服AI，基于今年發(fā)布的新一代語音合成技術(shù)——KAN-TTS技術(shù)，這個技術(shù)可以使語音合成的效果，和真人錄音的接近程度達到97%。阿里通過技術(shù)可以把整個定制周期壓縮到20天，錄音周期就2天左右，這有效減輕了人工客服的負擔(dān)。

這種AI會不會完全取代人工客服呢？其實，這種AI并不是完全替代人工，而是人工跟AI協(xié)同工作。AI可以解決常規(guī)問題，剩下30%的問題則需要人工客服來解決，這是一個比較好的人機協(xié)同模式。

從數(shù)據(jù)來看，阿里巴巴AI天天調(diào)用超過1萬億次，服務(wù)全球10億人，日處理圖像10億張，日處理視頻120萬小時，日處理語音55萬小時，日處理自然語言5千億句。

達摩院在自然語言處理、智能語音、視覺計算等領(lǐng)域奪得40多項世界第一，同時自然語言處理在SQuAD機器閱讀評選中正確閱讀率首次超過人類，智能語音入選MITTechnologyReview2021年全球十大突破性技術(shù)。這些技術(shù)在雙十一的貢獻有以下三個方面。

首先是自然語言處理方面，通過AliNLP平臺，賦能淘寶、天貓、盒馬、國際化等數(shù)十個BU的700多個核心業(yè)務(wù)。雙十一重點支持23個業(yè)務(wù)方，包括阿里媽媽、阿里云、小蜜、菜鳥、新零售、天貓精靈等，在雙十一當(dāng)天，在線調(diào)用量超過11億。

其次是客服AI，阿里小蜜承接了淘寶天貓平臺97%的在線服務(wù)需求，換算過來相當(dāng)于8.5萬名人工客服小二工作量，其次阿里小蜜今年推出了多項新功能，包括直播小蜜、基于圖片的智能問答、多樣性文本生成。另外阿里小蜜并不是一個單方向的能力，更多的是綜合了語音、語言、視覺、翻譯等能力，而且小蜜與用戶的交互，已經(jīng)朝著文本、圖像、語音等多模態(tài)的方向發(fā)展。

在視覺方面，拍立淘日處理圖片10億張，今年雙十一，視覺AI對拍立淘做了技術(shù)升級，從一圖一物到一圖多物的升級，比如之前只識別一個元素，到今天全身穿搭一次性識別，而且這個技術(shù)在計算機視覺領(lǐng)域高級會議上ICCV2021上贏得一個冠軍。

飛天大數(shù)據(jù)平臺和飛天AI，以技術(shù)實現(xiàn)商品和消費者很優(yōu)匹配

AI不僅幫助商品識別、客服與顧客之間的溝通，同樣，很重要的消費關(guān)系中也有大數(shù)據(jù)和AI的支撐。

阿里云智能計算平臺事業(yè)部研究員關(guān)濤（觀濤）表示，雙十一的挑戰(zhàn)從商務(wù)角度看是商品和消費者很優(yōu)化匹配的問題，往下則是大數(shù)據(jù)和AI能力的挑戰(zhàn)，

從數(shù)據(jù)來看，今年雙11數(shù)據(jù)量達到970PB，這大概是一個什么量級？央視網(wǎng)所有的電視劇和新聞節(jié)目的數(shù)據(jù)量是80PB左右，對比來看，阿里巴巴通過大數(shù)據(jù)和AI技術(shù)分析出來大概是央視數(shù)據(jù)量的10倍以上。

這樣的數(shù)據(jù)能力背后的平臺是什么？就是阿里十年前開始做的飛天大數(shù)據(jù)平臺。在雙11中，阿里使用了全自研的一整套平臺，平臺包括超過10萬臺規(guī)模服務(wù)器集群，10+數(shù)據(jù)中心、10EB級別存儲、天天千萬級別的大數(shù)據(jù)和AI計算作業(yè)。

在AI方面，關(guān)濤介紹了后臺的流計算系統(tǒng)，它是一個數(shù)據(jù)實時計算系統(tǒng)，通過實時計算的模式，能夠給系統(tǒng)、商家和消費者非常實時的數(shù)據(jù)的能力。流計算系統(tǒng)可以通過實時計算和AI猜測，支持商家的商業(yè)決策。據(jù)統(tǒng)計，去年2021年雙十一的時候，這樣的實時推薦給商家的智能決策，90%都會被商家采用。

實時計算的系統(tǒng)層面，能夠支持TPS、天天有超過萬級別的在線實時在跑，天天處理超過10TrillionsofRecords，包括實時分析、實時預(yù)警、實時搜索、在線機器學(xué)習(xí)、廣告實時推薦，這些都是大數(shù)據(jù)和AI在做的。

另外，還有飛天AI平臺，通過處理音頻和視頻元素，不僅可以做到千人千面，對于同一件商品，還能提供上千種不同的視頻封面。

20個工程師貸出3000億貸款，網(wǎng)商銀行融合算力、算料、算法形成核心競爭力

商家能夠上新產(chǎn)品和作出商業(yè)決策的一大前提是資金到位，這就涉及到網(wǎng)商銀行的業(yè)務(wù)了。

“網(wǎng)商銀行其實大家不一定多么熟悉，我去之前都不清楚在做什么。”螞蟻金服網(wǎng)商銀行研究員褚霸說到。

網(wǎng)商銀行成立于2009年，前身是阿里小貸。10年后的今天，網(wǎng)商銀行總共貸出去3000億的貸款，而這3000億貸款就是20個算法工程師完成的。褚霸認為，“20個人就能很漂亮的把這件事完成，我覺得科技是很大的功臣。”

能夠完成這樣一個業(yè)績的網(wǎng)商銀行，褚霸卻笑稱其為“傻子銀行”，“因為網(wǎng)商其實是一家銀行，不是做技術(shù)的，我們是一個技術(shù)的整合者，前面幾位介紹那些技術(shù)都是被我們很好的去整合到今天的系統(tǒng)里面去。”

但其實并不是“傻子”，在新的技術(shù)，比如說像云延伸的技術(shù)引入方面，網(wǎng)商銀行其實還是走在前面的。

還有實時反欺詐技術(shù)，這樣一整套的技術(shù)能夠?qū)⒉涣悸首龅?%或者更低。從金融風(fēng)險看，業(yè)界不良率是5%。“因為今天我們有各種各樣的大數(shù)據(jù)，AI的計算能力，還有非常優(yōu)秀的算法工程師能夠把這些算力、算料、算法串聯(lián)起來，形成一個比較核心的競爭力。”褚霸解釋道。

在交易中，不可或缺的是記錄交易的數(shù)據(jù)庫，其中一大重點的POLARDB不容忽視。

阿里云智能數(shù)據(jù)庫事業(yè)部資深技術(shù)專家曹偉（鳴嵩）介紹了阿里巴巴數(shù)據(jù)庫發(fā)展的歷史，經(jīng)過三個階段：第一個階段是使用IOE，使用Oracle；到了2020、2021年開始自主研發(fā)POLARDB，再到今年100%上云，所有阿里的核心的交易還有庫存等等業(yè)務(wù)都會使用POLARDB以及我們的生態(tài)，就是物流云都在POLARDB支持今年雙十一。

鳴嵩介紹道，我們2021年做了去IOE這件事情，2021年開始起我們把所有的Oracle系統(tǒng)下掉，換成AliSQL，今年我們做了POLARDB，而POLARDB在今年雙十一達到8700萬次每秒的這么一個峰值TPS，在它的背后我們有在VLDB、SIGMOD、ICDE上發(fā)表的創(chuàng)新技術(shù)。

IOT技術(shù)、自動化技術(shù)和智能算法，實現(xiàn)數(shù)字化和智能化的倉儲物流

而在物流領(lǐng)域，那些我們看的見的包裹中都蘊含著哪些看不見的技術(shù)。

雙11的包裹量從1.52億到今年的12.98億，大概提升了8倍，然后雙11包裹簽售破億時間點從原來的9天到今天我們只需2.4天就可以完成一個包裹的投遞。

“今年我們雙11整個備貨量足可以塞滿1000個鳥巢或者16000架A380飛機。菜鳥到現(xiàn)在為止成立了大概6年的時間，這6年其實菜鳥已經(jīng)把科技塞到未來的每個毛細血管。”菜鳥北京技術(shù)中心資深技術(shù)專家陳罡（花名：行易）說道。

首先，在包裹產(chǎn)出也就是倉庫上。“菜鳥”用三個技術(shù)來達成數(shù)字化，即IOT技術(shù)、自動化技術(shù)和智能算法，確保實現(xiàn)數(shù)字化和智能化的倉儲能力。

例如，每年雙十一，倉庫會招收很多臨時工，但因業(yè)務(wù)熟練度問題，臨時工培訓(xùn)和熟練完成工作需要耗費大量時間，而今年IOT技術(shù)就包含了一個lemo設(shè)備，能夠讓一個臨時工在幾分鐘之內(nèi)學(xué)會怎么操作，通過這個設(shè)備，臨時工可以在一天之內(nèi)達到99%的熟練度。

11月12日，阿里巴巴的兼CEO張勇就在倉庫里，花了5分鐘時間使用了Lemo，他親自點選了一些訂單，并且在10分鐘之內(nèi)就把整個工作流程做完了。

目前，菜鳥在全國的自動化流水線已經(jīng)超過了5000公里，自動化設(shè)備比去年增加了50%以上。在無錫還有一個機器人的生產(chǎn)線，在驛站這邊“秒取快遞”技術(shù)，自助可以通過刷臉取快遞等一系列的。另外，電子面單使用率超過99%，大幅度的減少了整個中國的物流成本。

綠色數(shù)據(jù)中心、開放式網(wǎng)絡(luò)架構(gòu)、RDMA高性能網(wǎng)絡(luò)、彈性跨域訪問和自研數(shù)據(jù)平臺，5項特技天線貓江湖

以上大多技術(shù)，都需要基礎(chǔ)設(shè)施去支撐。在基礎(chǔ)設(shè)施的人眼中，雙十一是什么？

阿里云智能基礎(chǔ)設(shè)施事業(yè)部資深技術(shù)專家唐陵波（花名：龍現(xiàn)）談道，“我們認為雙十一就是華山論劍，阿里毫無疑問是世界第一。但是我們認為，所有的武功都不是一天練的，創(chuàng)新的內(nèi)功和賦能的武器才是我們在華山之巔拿到的利器、基石。”

阿里是怎么練內(nèi)功的呢？這就要看阿里綠色數(shù)據(jù)中心里一個比較創(chuàng)新的技術(shù)，叫液冷服務(wù)器，這個技術(shù)在2021年上線了1.0版本，現(xiàn)在是2.0，已經(jīng)在阿里做了大規(guī)模的部署。今年雙十一，液冷技術(shù)能夠把每萬筆交易量的耗電量降到2度左右。假如所有的交易都放在液冷上實現(xiàn)的話，雙11當(dāng)天可以節(jié)約15萬度左右的電。

目前，阿里巴巴數(shù)據(jù)中心已經(jīng)遍布了200多個國家和地區(qū)。這樣分布廣泛的數(shù)據(jù)中心被看作是易筋經(jīng)一樣的肋骨，是驅(qū)動阿里一切商業(yè)行為和商業(yè)流量的基礎(chǔ)，不僅能夠支持雙十一的峰值而且能夠提供彈性的服務(wù)。另外，液冷技術(shù)近期將會開源。

練完內(nèi)功再來看屠龍寶刀，也就是阿里的自研服務(wù)器，它能夠優(yōu)化阿里應(yīng)用場景，促進產(chǎn)業(yè)生態(tài)研進。在存儲場景中，龍現(xiàn)重點介紹了AliFlash，它已經(jīng)廣泛運用在存儲場景里面，通過硬件的創(chuàng)新和軟件技術(shù)的結(jié)合，阿里現(xiàn)在做到了軟件一體化上下的協(xié)同設(shè)計，在性能和功能上都有突破性的創(chuàng)新。

在阿里百萬級的服務(wù)器規(guī)模背后，怎么讓資源能夠充分利用？龍現(xiàn)說道，“我覺得極致彈性和自動化，是我們能夠支撐這么大規(guī)模的服務(wù)器，放在我們自己的數(shù)據(jù)中心里面的一個很重要的原因。”

還有被龍現(xiàn)比作倚天劍的自研交換機，自研交換機就是阿里在網(wǎng)絡(luò)領(lǐng)域的一個重大的技術(shù)創(chuàng)新，實際上是就是網(wǎng)絡(luò)界的去IOE，它承擔(dān)了大部分的核心流量、網(wǎng)絡(luò)流量，能夠讓大家感知不到網(wǎng)絡(luò)的減速或“晃動”，使雙11平滑過去。

另外，RDMA網(wǎng)絡(luò)也是一個重點技術(shù)，今年像存儲計算分離之后的云盤和核心數(shù)據(jù)庫的核心交易量，在去年的基礎(chǔ)上發(fā)展了3倍，所有的這一切就是阿里在數(shù)據(jù)中心網(wǎng)絡(luò)里面做的幾個比較突出的工作。

供給鏈中也蘊含著太極拳。“大家都知道太極拳是以靜制動的，放在企業(yè)層面它更多強調(diào)的是人的協(xié)同。從當(dāng)初集團決定雙11上云使用神龍，到很后上線只有兩個月時間，供貨、備貨、測試都非常緊張，但是供給鏈的同事通過優(yōu)化庫存、優(yōu)化流程，然后去幫助供給鏈廠商優(yōu)化資源共享，極大的提高了供給鏈的交付情況，取得了較為滿足的結(jié)果，有效的支持了雙11上云這個目標。”龍現(xiàn)解釋道。

總結(jié)來看，支持云上雙十一的硬核基礎(chǔ)設(shè)施，共有5項特技天線貓江湖，綠色數(shù)據(jù)中心、開放式的網(wǎng)絡(luò)架構(gòu)、RDMA高性能網(wǎng)絡(luò)、彈性跨域訪問和自研數(shù)據(jù)平臺。

未來將持續(xù)擁抱開源，擁抱云原生技術(shù)，以技術(shù)效率提升商業(yè)效率

在過去十幾年電商的發(fā)展的背后是技術(shù)力量的持續(xù)發(fā)展，電商的發(fā)展帶給技術(shù)巨大的挑戰(zhàn)，技術(shù)的突破和變革也支撐起電商業(yè)務(wù)規(guī)模的不斷壯大和商業(yè)場景的拓寬。

阿里巴巴淘系技術(shù)部資深技術(shù)專家洪海（花名：孤星）談道，我們經(jīng)歷了系統(tǒng)架構(gòu)從集中式到分布式，從中心化到去中心化，從私有云到混合云，今天全面進入阿里云的公有云的過程。在這個業(yè)務(wù)的高速發(fā)展的過程中，一個個難題放在了技術(shù)人的面前，很大的挑戰(zhàn)來自雙十一，在這個巨大的商業(yè)盛況的背后是一層層技術(shù)的突破。

網(wǎng)絡(luò)、服務(wù)器、存儲這些基礎(chǔ)設(shè)施多年來發(fā)生了翻天覆地的變化，微服務(wù)，容器化，數(shù)據(jù)庫等一系列的底層技術(shù)和框架的持續(xù)演進，帶動了電商技術(shù)今天在搜索，個性化推薦，視頻互動，消息等各個應(yīng)用領(lǐng)域支撐和連接著數(shù)億消費者。

解決了業(yè)務(wù)規(guī)模增長的技術(shù)瓶頸之后成本的問題擺在了阿里人的眼前。為此，電商開始嘗試混合云的架構(gòu)，在大促時短時間內(nèi)租用云的機器進行擴容，進而形成了云單元，另一方面又利用離線大數(shù)據(jù)集群和在線集群的錯峰互補，形成了混布技術(shù)。在這個階段我容器化技術(shù)飛速發(fā)展，Pouch容器和Sigma調(diào)度系統(tǒng)成為了整個資源治理調(diào)度的基石，支撐了數(shù)百萬的容器的治理和運行。通過這一系列手段，應(yīng)對雙十一峰值的計算資源的成本得到了有效的控制。

在成本問題之后，阿里借助神龍服務(wù)器、云的彈性能力、秒級擴容技術(shù)、云端一體研發(fā)等實現(xiàn)了更有效率和更加開放。

很后，孤星表示，“未來我們將持續(xù)擁抱開源，擁抱云原生技術(shù)，全面上云。通過技術(shù)效率的提升推動商業(yè)更有效率，生態(tài)更加開放，讓技術(shù)創(chuàng)造新商業(yè)。”

作者：溫柔的養(yǎng)貓人