返回頂部
關閉軟件導航
位置:首頁 > 資訊 > 電商資訊>誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍
誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍

阿里江湖中,很多資源和技術,如神龍服務器、OceanBase、POLARDB等等,在開源、自研、云這三架馬車上形成協同效應,既是內功也是武器。

“不是任何一朵云都能撐住這個流量。中國有兩朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集團CTO行癲(張建鋒)不久前表示。

除云之外,要深入了解阿里的武功路數,必須知道每個花名背后的武器與特技。旭卿、觀濤、鳴嵩、日照、褚霸、孤星、龍現、行易、鐳銘,11月18日,在阿里舉辦的“雙11背后的技術力量”沙龍活動,這9位阿里技術大牛展示了路數,全面解讀雙十一背后的武功秘籍。

整個天貓的成交額是2684億,零點訂單峰值達到54.4萬筆/秒。這是華山論劍的結果。

自研數據庫POLARDB和OceanBase分別處理8700萬、6100萬筆/秒峰值請求、實時計算處理峰值每秒25.5億筆、計算平臺單日處理970PB數據、12億筆物流智能化等……2021年雙11期間,阿里巴巴打破了諸多技術紀錄。

核心交易系統100%遷移到云,第三代神龍服務器定義IT行業新的計算范式

雙11一個個閃亮的數字的背后有一個比較重要的事情,那就是今年阿里把核心交易系統100%遷移到阿里的公共云上,這是史無前例的、很高級的挑戰。

要實現100%的遷移,必須提到阿里云的神龍服務器。神龍架構負責人的旭卿(張獻濤)介紹,“神龍服務器是阿里云近三年來投入巨大的資源,研發的新一代適合云計算的計算架構的服務器,具備高彈性、高穩定和高性能的能力。”

阿里云從2021年開始投入相關研發,2021年10月發布了第一代神龍云服務器。三年內,阿里云從自研芯片開始、到自研設備+Hypervisor、很后成功自研神龍服務器,打通芯片、軟件、服務器硬件之間的斷層,首次實現了云計算行業性能、資源的零損耗。

阿里云智能基礎產品事業部張獻濤(旭卿)

為什么阿里云要研發這樣一個神龍服務器?

旭卿談到,在過去十幾年間,整個服務器的架構沒有太大的變化。因此在云計算、甚至整個IT系統層面,業界都面臨歷史遺留問題,比如性能損失。

究其根本原因,就是做芯片、服務器、軟件的廠商之間沒有太多的協同,缺乏一個頂層的設計,每一個領域,每一個廠商都是希望把自己的東西做得很強,但做強之后對整體系統效率的提升不一定有幫助,這是我們可以感受到的。

從這個角度來看,我們需要對整個計算架構做一些改變、革新和提升,提升整體的計算效率,這是阿里做神龍很初的初衷。

為什么是阿里云做成了這件事?

“規模到達一定程度的時候,才會真切的感受到它是一個需要解決的問題,你可能將來只有10臺、20臺、甚至200臺、2000臺服務器的時候,資源還跑不滿,在這種情況下沒有太大的動力去投入上億資金解決這樣一個問題,而今天阿里云的整體規模已經讓我們必須直面這個問題,并且解決這個問題。”旭卿解釋道。

旭卿認為,今天神龍正在定義IT行業新的計算范式,它不僅僅能實現阿里云的核心系統100%上云,解決虛擬化的性能、資源的開銷,并且也能夠實現軟件、硬件完美融合,它的綜合表現在很多業務場景下都是超越物理機的性能表現。

說到物理機,旭卿還介紹了第三代神龍架構,它可以提供的性能非常高,“我們網絡的性能可以做到每秒2500萬PPS的轉發,這個已經是業界標桿的5倍,存儲性能其實也做到了100萬IOPS,是業界標桿的3倍,所以有了這樣一個東西之后,我們承載雙11大促這種業務的話,其實已經比物理機的性能要高很多了。”

“當然很后我們還是認為云是IT的集大成者,真正的云計算廠商有責任也有義務引導今天軟硬件方面的一些創新,回饋未來的IT技術變革打下基礎。”旭卿表示。

AliNLP平臺賦能700多個核心業務,客服AI搭載KAN-TTS技術處理70%問題

在語音和視覺方向,阿里也有所預備。達摩院實驗室的雷鳴就介紹了阿里的客服AI和視覺AI。

這是基于阿里巴巴真實客服人員的聲音定制的電話客服AI,基于今年發布的新一代語音合成技術——KAN-TTS技術,這個技術可以使語音合成的效果,和真人錄音的接近程度達到97%。阿里通過技術可以把整個定制周期壓縮到20天,錄音周期就2天左右,這有效減輕了人工客服的負擔。

這種AI會不會完全取代人工客服呢?其實,這種AI并不是完全替代人工,而是人工跟AI協同工作。AI可以解決常規問題,剩下30%的問題則需要人工客服來解決,這是一個比較好的人機協同模式。

從數據來看,阿里巴巴AI天天調用超過1萬億次,服務全球10億人,日處理圖像10億張,日處理視頻120萬小時,日處理語音55萬小時,日處理自然語言5千億句。

達摩院在自然語言處理、智能語音、視覺計算等領域奪得40多項世界第一,同時自然語言處理在SQuAD機器閱讀評選中正確閱讀率首次超過人類,智能語音入選MITTechnologyReview2021年全球十大突破性技術。這些技術在雙十一的貢獻有以下三個方面。

首先是自然語言處理方面,通過AliNLP平臺,賦能淘寶、天貓、盒馬、國際化等數十個BU的700多個核心業務。雙十一重點支持23個業務方,包括阿里媽媽、阿里云、小蜜、菜鳥、新零售、天貓精靈等,在雙十一當天,在線調用量超過11億。

其次是客服AI,阿里小蜜承接了淘寶天貓平臺97%的在線服務需求,換算過來相當于8.5萬名人工客服小二工作量,其次阿里小蜜今年推出了多項新功能,包括直播小蜜、基于圖片的智能問答、多樣性文本生成。另外阿里小蜜并不是一個單方向的能力,更多的是綜合了語音、語言、視覺、翻譯等能力,而且小蜜與用戶的交互,已經朝著文本、圖像、語音等多模態的方向發展。

在視覺方面,拍立淘日處理圖片10億張,今年雙十一,視覺AI對拍立淘做了技術升級,從一圖一物到一圖多物的升級,比如之前只識別一個元素,到今天全身穿搭一次性識別,而且這個技術在計算機視覺領域高級會議上ICCV2021上贏得一個冠軍。

飛天大數據平臺和飛天AI,以技術實現商品和消費者很優匹配

AI不僅幫助商品識別、客服與顧客之間的溝通,同樣,很重要的消費關系中也有大數據和AI的支撐。

阿里云智能計算平臺事業部研究員關濤(觀濤)表示,雙十一的挑戰從商務角度看是商品和消費者很優化匹配的問題,往下則是大數據和AI能力的挑戰,

從數據來看,今年雙11數據量達到970PB,這大概是一個什么量級?央視網所有的電視劇和新聞節目的數據量是80PB左右,對比來看,阿里巴巴通過大數據和AI技術分析出來大概是央視數據量的10倍以上。

這樣的數據能力背后的平臺是什么?就是阿里十年前開始做的飛天大數據平臺。在雙11中,阿里使用了全自研的一整套平臺,平臺包括超過10萬臺規模服務器集群,10+數據中心、10EB級別存儲、天天千萬級別的大數據和AI計算作業。

在AI方面,關濤介紹了后臺的流計算系統,它是一個數據實時計算系統,通過實時計算的模式,能夠給系統、商家和消費者非常實時的數據的能力。流計算系統可以通過實時計算和AI猜測,支持商家的商業決策。據統計,去年2021年雙十一的時候,這樣的實時推薦給商家的智能決策,90%都會被商家采用。

實時計算的系統層面,能夠支持TPS、天天有超過萬級別的在線實時在跑,天天處理超過10TrillionsofRecords,包括實時分析、實時預警、實時搜索、在線機器學習、廣告實時推薦,這些都是大數據和AI在做的。

另外,還有飛天AI平臺,通過處理音頻和視頻元素,不僅可以做到千人千面,對于同一件商品,還能提供上千種不同的視頻封面。

20個工程師貸出3000億貸款,網商銀行融合算力、算料、算法形成核心競爭力

商家能夠上新產品和作出商業決策的一大前提是資金到位,這就涉及到網商銀行的業務了。

“網商銀行其實大家不一定多么熟悉,我去之前都不清楚在做什么。”螞蟻金服網商銀行研究員褚霸說到。

網商銀行成立于2009年,前身是阿里小貸。10年后的今天,網商銀行總共貸出去3000億的貸款,而這3000億貸款就是20個算法工程師完成的。褚霸認為,“20個人就能很漂亮的把這件事完成,我覺得科技是很大的功臣。”

能夠完成這樣一個業績的網商銀行,褚霸卻笑稱其為“傻子銀行”,“因為網商其實是一家銀行,不是做技術的,我們是一個技術的整合者,前面幾位介紹那些技術都是被我們很好的去整合到今天的系統里面去。”

但其實并不是“傻子”,在新的技術,比如說像云延伸的技術引入方面,網商銀行其實還是走在前面的。

還有實時反欺詐技術,這樣一整套的技術能夠將不良率做到1%或者更低。從金融風險看,業界不良率是5%。“因為今天我們有各種各樣的大數據,AI的計算能力,還有非常優秀的算法工程師能夠把這些算力、算料、算法串聯起來,形成一個比較核心的競爭力。”褚霸解釋道。

在交易中,不可或缺的是記錄交易的數據庫,其中一大重點的POLARDB不容忽視。

阿里云智能數據庫事業部資深技術專家曹偉(鳴嵩)介紹了阿里巴巴數據庫發展的歷史,經過三個階段:第一個階段是使用IOE,使用Oracle;到了2020、2021年開始自主研發POLARDB,再到今年100%上云,所有阿里的核心的交易還有庫存等等業務都會使用POLARDB以及我們的生態,就是物流云都在POLARDB支持今年雙十一。

鳴嵩介紹道,我們2021年做了去IOE這件事情,2021年開始起我們把所有的Oracle系統下掉,換成AliSQL,今年我們做了POLARDB,而POLARDB在今年雙十一達到8700萬次每秒的這么一個峰值TPS,在它的背后我們有在VLDB、SIGMOD、ICDE上發表的創新技術。

IOT技術、自動化技術和智能算法,實現數字化和智能化的倉儲物流

誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍1

而在物流領域,那些我們看的見的包裹中都蘊含著哪些看不見的技術。

雙11的包裹量從1.52億到今年的12.98億,大概提升了8倍,然后雙11包裹簽售破億時間點從原來的9天到今天我們只需2.4天就可以完成一個包裹的投遞。

“今年我們雙11整個備貨量足可以塞滿1000個鳥巢或者16000架A380飛機。菜鳥到現在為止成立了大概6年的時間,這6年其實菜鳥已經把科技塞到未來的每個毛細血管。”菜鳥北京技術中心資深技術專家陳罡(花名:行易)說道。

首先,在包裹產出也就是倉庫上。“菜鳥”用三個技術來達成數字化,即IOT技術、自動化技術和智能算法,確保實現數字化和智能化的倉儲能力。

例如,每年雙十一,倉庫會招收很多臨時工,但因業務熟練度問題,臨時工培訓和熟練完成工作需要耗費大量時間,而今年IOT技術就包含了一個lemo設備,能夠讓一個臨時工在幾分鐘之內學會怎么操作,通過這個設備,臨時工可以在一天之內達到99%的熟練度。

11月12日,阿里巴巴的兼CEO張勇就在倉庫里,花了5分鐘時間使用了Lemo,他親自點選了一些訂單,并且在10分鐘之內就把整個工作流程做完了。

目前,菜鳥在全國的自動化流水線已經超過了5000公里,自動化設備比去年增加了50%以上。在無錫還有一個機器人的生產線,在驛站這邊“秒取快遞”技術,自助可以通過刷臉取快遞等一系列的。另外,電子面單使用率超過99%,大幅度的減少了整個中國的物流成本。

綠色數據中心、開放式網絡架構、RDMA高性能網絡、彈性跨域訪問和自研數據平臺,5項特技天線貓江湖

以上大多技術,都需要基礎設施去支撐。在基礎設施的人眼中,雙十一是什么?

阿里云智能基礎設施事業部資深技術專家唐陵波(花名:龍現)談道,“我們認為雙十一就是華山論劍,阿里毫無疑問是世界第一。但是我們認為,所有的武功都不是一天練的,創新的內功和賦能的武器才是我們在華山之巔拿到的利器、基石。”

阿里是怎么練內功的呢?這就要看阿里綠色數據中心里一個比較創新的技術,叫液冷服務器,這個技術在2021年上線了1.0版本,現在是2.0,已經在阿里做了大規模的部署。今年雙十一,液冷技術能夠把每萬筆交易量的耗電量降到2度左右。假如所有的交易都放在液冷上實現的話,雙11當天可以節約15萬度左右的電。

目前,阿里巴巴數據中心已經遍布了200多個國家和地區。這樣分布廣泛的數據中心被看作是易筋經一樣的肋骨,是驅動阿里一切商業行為和商業流量的基礎,不僅能夠支持雙十一的峰值而且能夠提供彈性的服務。另外,液冷技術近期將會開源。

練完內功再來看屠龍寶刀,也就是阿里的自研服務器,它能夠優化阿里應用場景,促進產業生態研進。在存儲場景中,龍現重點介紹了AliFlash,它已經廣泛運用在存儲場景里面,通過硬件的創新和軟件技術的結合,阿里現在做到了軟件一體化上下的協同設計,在性能和功能上都有突破性的創新。

在阿里百萬級的服務器規模背后,怎么讓資源能夠充分利用?龍現說道,“我覺得極致彈性和自動化,是我們能夠支撐這么大規模的服務器,放在我們自己的數據中心里面的一個很重要的原因。”

還有被龍現比作倚天劍的自研交換機,自研交換機就是阿里在網絡領域的一個重大的技術創新,實際上是就是網絡界的去IOE,它承擔了大部分的核心流量、網絡流量,能夠讓大家感知不到網絡的減速或“晃動”,使雙11平滑過去。

另外,RDMA網絡也是一個重點技術,今年像存儲計算分離之后的云盤和核心數據庫的核心交易量,在去年的基礎上發展了3倍,所有的這一切就是阿里在數據中心網絡里面做的幾個比較突出的工作。

供給鏈中也蘊含著太極拳。“大家都知道太極拳是以靜制動的,放在企業層面它更多強調的是人的協同。從當初集團決定雙11上云使用神龍,到很后上線只有兩個月時間,供貨、備貨、測試都非常緊張,但是供給鏈的同事通過優化庫存、優化流程,然后去幫助供給鏈廠商優化資源共享,極大的提高了供給鏈的交付情況,取得了較為滿足的結果,有效的支持了雙11上云這個目標。”龍現解釋道。

誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍2

總結來看,支持云上雙十一的硬核基礎設施,共有5項特技天線貓江湖,綠色數據中心、開放式的網絡架構、RDMA高性能網絡、彈性跨域訪問和自研數據平臺。

未來將持續擁抱開源,擁抱云原生技術,以技術效率提升商業效率

在過去十幾年電商的發展的背后是技術力量的持續發展,電商的發展帶給技術巨大的挑戰,技術的突破和變革也支撐起電商業務規模的不斷壯大和商業場景的拓寬。

阿里巴巴淘系技術部資深技術專家洪海(花名:孤星)談道,我們經歷了系統架構從集中式到分布式,從中心化到去中心化,從私有云到混合云,今天全面進入阿里云的公有云的過程。在這個業務的高速發展的過程中,一個個難題放在了技術人的面前,很大的挑戰來自雙十一,在這個巨大的商業盛況的背后是一層層技術的突破。

網絡、服務器、存儲這些基礎設施多年來發生了翻天覆地的變化,微服務,容器化,數據庫等一系列的底層技術和框架的持續演進,帶動了電商技術今天在搜索,個性化推薦,視頻互動,消息等各個應用領域支撐和連接著數億消費者。

解決了業務規模增長的技術瓶頸之后成本的問題擺在了阿里人的眼前。為此,電商開始嘗試混合云的架構,在大促時短時間內租用云的機器進行擴容,進而形成了云單元,另一方面又利用離線大數據集群和在線集群的錯峰互補,形成了混布技術。在這個階段我容器化技術飛速發展,Pouch容器和Sigma調度系統成為了整個資源治理調度的基石,支撐了數百萬的容器的治理和運行。通過這一系列手段,應對雙十一峰值的計算資源的成本得到了有效的控制。

在成本問題之后,阿里借助神龍服務器、云的彈性能力、秒級擴容技術、云端一體研發等實現了更有效率和更加開放。

很后,孤星表示,“未來我們將持續擁抱開源,擁抱云原生技術,全面上云。通過技術效率的提升推動商業更有效率,生態更加開放,讓技術創造新商業。”

誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍3

作者:溫柔的養貓人

如果您覺得 誰頂住雙11很高級流量洪峰神龍架構9位大牛現場拆解阿里秘籍 這篇文章對您有用,請分享給您的好友,謝謝
文章地址:http://www.meyanliao.com/article/online/7162.html
解放雙手無盡可能,有問題添加天線貓微信
主站蜘蛛池模板: 中文字幕无码久久久| 精品亚洲av无码一区二区柚蜜| 一本加勒比hezyo无码专区| 日韩欧精品无码视频无删节| 亚洲AV无码久久久久网站蜜桃| 波多野42部无码喷潮在线| 国产在线无码精品电影网| 少妇人妻偷人精品无码视频新浪| 久久午夜无码鲁丝片| 东京热一精品无码AV| 精品无码日韩一区二区三区不卡 | 无码国产精品一区二区免费式直播| 无码精品国产va在线观看dvd| 中文无码制服丝袜人妻av| 亚洲AV综合永久无码精品天堂| 蜜桃无码一区二区三区| 亚洲国产精品无码AAA片| 狠狠精品久久久无码中文字幕| 日韩免费a级毛片无码a∨| 亚洲久热无码av中文字幕| 2024你懂的网站无码内射| 无码精品人妻一区二区三区人妻斩 | 影音先锋中文无码一区| 无码精品A∨在线观看十八禁| 亚洲精品无码久久毛片波多野吉衣 | 亚洲人成网亚洲欧洲无码| 无码av免费毛片一区二区| 无码熟妇人妻在线视频| 无码人妻av一区二区三区蜜臀| 无码乱码观看精品久久 | 国产精品无码一区二区三区电影| 曰韩无码二三区中文字幕| 亚洲AV无码一区东京热久久| 青青爽无码视频在线观看| 亚洲色无码一区二区三区| 中字无码av电影在线观看网站| 亚洲GV天堂无码男同在线观看| 日韩人妻无码精品久久免费一| 免费无码又爽又黄又刺激网站| av区无码字幕中文色| 久久无码人妻一区二区三区午夜|