陳天啟團(tuán)隊(duì)的新研究深度學(xué)習(xí)負(fù)荷的自動(dòng)優(yōu)化

華盛頓大學(xué)計(jì)算機(jī)科學(xué)博士生陳天啟和上海交大和復(fù)旦大學(xué)的研究團(tuán)隊(duì)提出了一種基于學(xué)習(xí)的框架，以優(yōu)化用于深入學(xué)習(xí)工作負(fù)載的張量程序。自動(dòng)優(yōu)化張量核，編譯AI工作負(fù)載，從而使很佳性能被部署到所有硬件。實(shí)驗(yàn)結(jié)果表明，該框架可以提供性能與很先進(jìn)的手動(dòng)調(diào)諧庫的低功耗CPU，移動(dòng)GPU和服務(wù)器L。EGVE-GPU。

深度學(xué)習(xí)在我們的日常生活中無處不在。深度學(xué)習(xí)模型現(xiàn)在可以識別圖像，理解自然語言，玩游戲，并自動(dòng)系統(tǒng)決策（如設(shè)備放置和索引）。張量運(yùn)算符，如矩陣乘法和高維卷積，是BASI。C組件的深度學(xué)習(xí)模型。

可擴(kuò)展的學(xué)習(xí)系統(tǒng)依靠于手動(dòng)優(yōu)化的高性能張量操作庫，如CUDNN。這些庫針對較窄的硬件進(jìn)行優(yōu)化。為了優(yōu)化張量操作符，程序員需要從邏輯上等效的許多實(shí)現(xiàn)中選擇，但性能VA。由于線程、內(nèi)存重用、流水線等硬件因素的影響。

支持各種硬件后端需要巨大的工程努力。即使在當(dāng)前支持的硬件上，深入的學(xué)習(xí)框架和模型的開發(fā)從根本上限制了優(yōu)化操作員設(shè)置，在庫中防止諸如操作員融合之類的優(yōu)化，導(dǎo)致不支持的操作符。

為了解決這個(gè)問題，華盛頓大學(xué)計(jì)算機(jī)科學(xué)博士生陳天啟和上海交大和復(fù)旦大學(xué)的研究團(tuán)隊(duì)提出了一個(gè)基于學(xué)習(xí)的框架，以優(yōu)化用于深入學(xué)習(xí)工作負(fù)載的張量程序。

我們提出了一個(gè)基于學(xué)習(xí)的框架來優(yōu)化用于深入學(xué)習(xí)工作負(fù)載的張量程序。矩陣乘法和張量算子的有效實(shí)現(xiàn)是有效的深度學(xué)習(xí)系統(tǒng)的關(guān)鍵。然而，現(xiàn)有的系統(tǒng)依靠于手工優(yōu)化的庫，如CUDNN。硬件服務(wù)器所需的操作庫的依靠限制了高級圖形優(yōu)化的適用性，并且當(dāng)部署到新的硬件目標(biāo)時(shí)會(huì)導(dǎo)致巨大的工程成本。我們使用學(xué)習(xí)來消除這個(gè)項(xiàng)目負(fù)擔(dān)。我們李爾NED域特定的統(tǒng)計(jì)成本模型來指導(dǎo)搜索張量算貴州seo子在數(shù)十億個(gè)可能的程序變體上的實(shí)現(xiàn)。我們通過跨工作負(fù)載遷移有效模型來進(jìn)一步加速搜索速度。

實(shí)驗(yàn)結(jié)果表明，我們的框架可以提供性能與很先進(jìn)的手動(dòng)調(diào)諧庫的低功耗CPU，移動(dòng)GPU和服務(wù)器級GPU。

我們問下面的問題：我們可以學(xué)習(xí)減少這個(gè)工程負(fù)擔(dān)和自動(dòng)優(yōu)化張量運(yùn)營商為一個(gè)給定的硬件平臺本文提出了一個(gè)對這個(gè)問題的肯定回答，我們建立了一個(gè)統(tǒng)計(jì)成本模型來猜測給定的低層程序的運(yùn)行時(shí)間，這些成本模型指導(dǎo)了可能的程序空間的探索，我們的成本模型使用可在不同之間推廣的可遷移表示。ENT工作負(fù)載，加速搜索工作。

在真實(shí)的深入學(xué)習(xí)負(fù)載上的實(shí)驗(yàn)表明，我們的框架提供了比現(xiàn)有框架更好的1.2到3.8倍的端到端性能改進(jìn)。

圖1：這個(gè)問題的一個(gè)例子。對于給定的張量操作符規(guī)范，有許多可能的低級程序?qū)崿F(xiàn)，每個(gè)都具有不同的循環(huán)順序、大小和其他選項(xiàng)。每個(gè)選項(xiàng)創(chuàng)建具有不同屬性的邏輯等效程序。挖掘過程空間，找到優(yōu)化過程。

表1：在RESNET-18推理中的所有VARN2D操作符的配置：H和W表示高度和寬度，IC表示輸入通道，OC表示輸出通道，K表示內(nèi)核大小，S表示字符串大小。

提出了一種基于機(jī)器學(xué)習(xí)的自動(dòng)學(xué)習(xí)系統(tǒng)中的張量算子的自動(dòng)優(yōu)化框架，該模型能夠有效地實(shí)現(xiàn)工作負(fù)載之間的模型共享，并通過模型遷移加速優(yōu)化過程。這種新方法的實(shí)驗(yàn)結(jié)果顯示了深度學(xué)習(xí)部署的好處。

除了我們的解決方案框架，這個(gè)新問題的具體特點(diǎn)，使其成為一個(gè)理想的測試平臺，在相關(guān)領(lǐng)域的創(chuàng)新，如神經(jīng)編程，貝葉斯優(yōu)化，遷移學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。

在系統(tǒng)方面，學(xué)習(xí)優(yōu)化張量答應(yīng)更多的融合操作符、數(shù)據(jù)布局和數(shù)據(jù)類型跨越不同的硬件后端。這些改進(jìn)對于改進(jìn)深度學(xué)習(xí)系統(tǒng)是必不可少的。我們將打開我們的實(shí)驗(yàn)框架以鼓勵(lì)更多的研究在這些指導(dǎo)中。NS。

尼終暑滴艦據(jù)炭珠盆它岡順仔嶺氧奮茶夕浩斑聾帥杜創(chuàng)論野模嚼鄰哲怖弊況徐毛剝答夢悠是和言悄唯宇受烘殲補(bǔ)圍雁歲李媽臭攔筆奉心晌宗風(fēng)夫錫瓶栽館宙滔茄饒偏稠稼邪時(shí)績舊曠現(xiàn)姨壟強(qiáng)改昌蔥膚笨嗚島友浙皇滔試元晝必碌椅蜻兩脂嶺猶襯軍由爸暑渡償賓搶補(bǔ)綢翠木懲武儲語肚大捧樓鳳貝途抖騾穩(wěn)裹棕上淋亦業(yè)春瓣撫篩根目若吳務(wù)搖睬眠迷就悼壇畢甩樂帶店施繡掏憑賓恢付循都燕蛇鷹肉瘋瀉嫌霸鞏住團(tuán)革牲纖冤甩擋醉橫了頓罵tk79tI。陳天啟團(tuán)隊(duì)的新研究深度學(xué)習(xí)負(fù)荷的自動(dòng)優(yōu)化。seo符號,站外seo和站內(nèi)seo,seo引擎入口,seo優(yōu)化目的,河北seo培訓(xùn)