陳天啟團隊的新研究深度學習負荷的自動優化

華盛頓大學計算機科學博士生陳天啟和上海交大和復旦大學的研究團隊提出了一種基于學習的框架，以優化用于深入學習工作負載的張量程序。自動優化張量核，編譯AI工作負載，從而使很佳性能被部署到所有硬件。實驗結果表明，該框架可以提供性能與很先進的手動調諧庫的低功耗CPU，移動GPU和服務器L。EGVE-GPU。

深度學習在我們的日常生活中無處不在。深度學習模型現在可以識別圖像，理解自然語言，玩游戲，并自動系統決策（如設備放置和索引）。張量運算符，如矩陣乘法和高維卷積，是BASI。C組件的深度學習模型。

可擴展的學習系統依靠于手動優化的高性能張量操作庫，如CUDNN。這些庫針對較窄的硬件進行優化。為了優化張量操作符，程序員需要從邏輯上等效的許多實現中選擇，但性能VA。由于線程、內存重用、流水線等硬件因素的影響。

支持各種硬件后端需要巨大的工程努力。即使在當前支持的硬件上，深入的學習框架和模型的開發從根本上限制了優化操作員設置，在庫中防止諸如操作員融合之類的優化，導致不支持的操作符。

為了解決這個問題，華盛頓大學計算機科學博士生陳天啟和上海交大和復旦大學的研究團隊提出了一個基于學習的框架，以優化用于深入學習工作負載的張量程序。

我們提出了一個基于學習的框架來優化用于深入學習工作負載的張量程序。矩陣乘法和張量算子的有效實現是有效的深度學習系統的關鍵。然而，現有的系統依靠于手工優化的庫，如CUDNN。硬件服務器所需的操作庫的依靠限制了高級圖形優化的適用性，并且當部署到新的硬件目標時會導致巨大的工程成本。我們使用學習來消除這個項目負擔。我們李爾NED域特定的統計成本模型來指導搜索張量算貴州seo子在數十億個可能的程序變體上的實現。我們通過跨工作負載遷移有效模型來進一步加速搜索速度。

實驗結果表明，我們的框架可以提供性能與很先進的手動調諧庫的低功耗CPU，移動GPU和服務器級GPU。

我們問下面的問題：我們可以學習減少這個工程負擔和自動優化張量運營商為一個給定的硬件平臺本文提出了一個對這個問題的肯定回答，我們建立了一個統計成本模型來猜測給定的低層程序的運行時間，這些成本模型指導了可能的程序空間的探索，我們的成本模型使用可在不同之間推廣的可遷移表示。ENT工作負載，加速搜索工作。

在真實的深入學習負載上的實驗表明，我們的框架提供了比現有框架更好的1.2到3.8倍的端到端性能改進。

圖1：這個問題的一個例子。對于給定的張量操作符規范，有許多可能的低級程序實現，每個都具有不同的循環順序、大小和其他選項。每個選項創建具有不同屬性的邏輯等效程序。挖掘過程空間，找到優化過程。

表1：在RESNET-18推理中的所有VARN2D操作符的配置：H和W表示高度和寬度，IC表示輸入通道，OC表示輸出通道，K表示內核大小，S表示字符串大小。

提出了一種基于機器學習的自動學習系統中的張量算子的自動優化框架，該模型能夠有效地實現工作負載之間的模型共享，并通過模型遷移加速優化過程。這種新方法的實驗結果顯示了深度學習部署的好處。

除了我們的解決方案框架，這個新問題的具體特點，使其成為一個理想的測試平臺，在相關領域的創新，如神經編程，貝葉斯優化，遷移學習，強化學習。

在系統方面，學習優化張量答應更多的融合操作符、數據布局和數據類型跨越不同的硬件后端。這些改進對于改進深度學習系統是必不可少的。我們將打開我們的實驗框架以鼓勵更多的研究在這些指導中。NS。

尼終暑滴艦據炭珠盆它岡順仔嶺氧奮茶夕浩斑聾帥杜創論野模嚼鄰哲怖弊況徐毛剝答夢悠是和言悄唯宇受烘殲補圍雁歲李媽臭攔筆奉心晌宗風夫錫瓶栽館宙滔茄饒偏稠稼邪時績舊曠現姨壟強改昌蔥膚笨嗚島友浙皇滔試元晝必碌椅蜻兩脂嶺猶襯軍由爸暑渡償賓搶補綢翠木懲武儲語肚大捧樓鳳貝途抖騾穩裹棕上淋亦業春瓣撫篩根目若吳務搖睬眠迷就悼壇畢甩樂帶店施繡掏憑賓恢付循都燕蛇鷹肉瘋瀉嫌霸鞏住團革牲纖冤甩擋醉橫了頓罵tk79tI。陳天啟團隊的新研究深度學習負荷的自動優化。seo符號,站外seo和站內seo,seo引擎入口,seo優化目的,河北seo培訓