利用InformationSchema與阿里云賬單治理API實(shí)現(xiàn)MaxCompute費(fèi)用對(duì)賬分?jǐn)偨y(tǒng)計(jì)

利用MaxComputeInformationSchema與阿里云交易和賬單治理API實(shí)現(xiàn)MaxCompute費(fèi)用對(duì)賬分?jǐn)偨y(tǒng)計(jì)

很多的企業(yè)用戶(hù)選擇MaxCompute按量付費(fèi)模式構(gòu)建自己的數(shù)據(jù)平臺(tái)，利用MaxCompute按作業(yè)付費(fèi)的計(jì)費(fèi)模型，在獲得高性能的同時(shí)避免"IDLE"狀態(tài)的不必要資源費(fèi)用支出，僅為實(shí)際使用付費(fèi)。

那么在一個(gè)規(guī)模比較大的公司，企業(yè)購(gòu)買(mǎi)了MaxCompute服務(wù)，會(huì)支撐企業(yè)內(nèi)部的不同部門(mén)、個(gè)人來(lái)使用MaxCompute來(lái)開(kāi)展數(shù)據(jù)處理分析。為了更好地識(shí)別數(shù)據(jù)平臺(tái)使用方的周期性花費(fèi)成本，優(yōu)化數(shù)據(jù)資源的使用，就有必要對(duì)作業(yè)的費(fèi)用進(jìn)行統(tǒng)計(jì)，從而確認(rèn)不同人員或歸屬部門(mén)的作業(yè)數(shù)量、作業(yè)費(fèi)用、作業(yè)時(shí)長(zhǎng)、作業(yè)資源使用量等指標(biāo)。基于這些指標(biāo)進(jìn)行成本分?jǐn)偂⒆鳂I(yè)優(yōu)化等治理工作。

阿里云交易和賬單系統(tǒng)包含了MaxCompute產(chǎn)品的費(fèi)用信息及費(fèi)用明細(xì)，通過(guò)關(guān)聯(lián)交易和賬單系統(tǒng)的計(jì)費(fèi)明細(xì)與MaxCompute項(xiàng)目的作業(yè)明細(xì)或某時(shí)間段的賬單費(fèi)用，可以獲得使用用戶(hù)、作業(yè)明細(xì)信息（如提交人賬號(hào)、作業(yè)SQL內(nèi)容、作業(yè)資源使用大小等信息）與計(jì)費(fèi)明細(xì)或賬單費(fèi)用間的關(guān)系，從而開(kāi)展分析。

本文將介紹假如自動(dòng)化實(shí)現(xiàn)MaxCompute按量付費(fèi)項(xiàng)目的作業(yè)費(fèi)用統(tǒng)計(jì)，您也可以通過(guò)阿里云交易和賬單系統(tǒng)API獲取其他需要的費(fèi)用信息，擴(kuò)展分析場(chǎng)景。

1、獲得MaxCompute項(xiàng)目歷史作業(yè)明細(xì)

MaxComputeInformation_Schema服務(wù)是MaxCompute產(chǎn)品的開(kāi)放元數(shù)據(jù)服務(wù)，通過(guò)Information_Schema提供的一組視圖，用戶(hù)可以自助地查詢(xún)?cè)L問(wèn)到項(xiàng)目?jī)?nèi)的準(zhǔn)實(shí)時(shí)的table,column,function等全量元數(shù)據(jù)信息，同時(shí)也提供了項(xiàng)目?jī)?nèi)近期的作業(yè)歷史明細(xì)，供使用者自助查詢(xún)使用。

通過(guò)元數(shù)據(jù)服務(wù)Information_Schema里面的作業(yè)歷史表tasks_history視圖，可以查詢(xún)到準(zhǔn)實(shí)時(shí)的項(xiàng)目作業(yè)歷史明細(xì)。包括：項(xiàng)目名稱(chēng)、任務(wù)名稱(chēng)、Instanceid、開(kāi)始時(shí)間、結(jié)束時(shí)間、任務(wù)復(fù)雜度、任務(wù)CPU使用情況等字段。

備注：Information_Schema目前正在灰度中，即將全面開(kāi)放。

2、獲取作業(yè)的計(jì)費(fèi)明細(xì)數(shù)據(jù)

用戶(hù)可以通過(guò)費(fèi)用中心賬號(hào)總覽消費(fèi)記錄去查詢(xún)具體的消費(fèi)情況。

同時(shí)，格式阿里云交易和賬單治理OpenAPI為用戶(hù)提供治理阿里云產(chǎn)品售賣(mài)和財(cái)資能力，通過(guò)該api可以程序化獲取MaxCompute作業(yè)計(jì)費(fèi)明細(xì)數(shù)據(jù)。

調(diào)用QueryUserOmsData接口（阿里云的賬單系統(tǒng)OMS），可以查詢(xún)到具體計(jì)量信息編號(hào)、數(shù)據(jù)分類(lèi)、存儲(chǔ)、SQL讀取量、公網(wǎng)上下行流量等字段信息。

3、關(guān)聯(lián)計(jì)費(fèi)明細(xì)與作業(yè)明細(xì)

通過(guò)表關(guān)聯(lián)，查詢(xún)到需要計(jì)算的數(shù)據(jù)結(jié)果

這些數(shù)據(jù)可以通過(guò)作業(yè)ID與計(jì)費(fèi)明細(xì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)后，您就獲取各個(gè)作業(yè)明細(xì)的費(fèi)用信息(例如,SQL費(fèi)用=數(shù)據(jù)掃描量*復(fù)雜度)，從而可以開(kāi)展不同視角的分析。

需要強(qiáng)調(diào)的是：MaxCompute的計(jì)費(fèi)都是以阿里云費(fèi)用中心的出賬結(jié)果及費(fèi)用明細(xì)為準(zhǔn)。

1.查詢(xún)?cè)獢?shù)據(jù)服務(wù)里面的作業(yè)歷史表tasks_history

例如，您登錄訪問(wèn)的當(dāng)前項(xiàng)目為myproject1，在myproject1中，可以通過(guò)查詢(xún)INFORMATION_SCHEMA.tables獲得當(dāng)前myproject1中所有表的元數(shù)據(jù)信息。

INFORMATION_SCHEMA同時(shí)包含了作業(yè)歷史視圖，可以查詢(xún)到當(dāng)前項(xiàng)目?jī)?nèi)的作業(yè)歷史信息，使用時(shí)注重添加日期分區(qū)進(jìn)行過(guò)濾，例如。

查詢(xún)歷史表字段屬性

如下如所示：

2.使用阿里云交易和賬單治理API獲取費(fèi)用明細(xì)和分?jǐn)偨y(tǒng)計(jì)

方法1：手工下載上傳方式

（一）首先在MaxCompute中創(chuàng)建結(jié)果輸出表OMS表，建表語(yǔ)句如下：

方法一：手動(dòng)從視圖下載oms賬單具體費(fèi)用，將數(shù)據(jù)上傳（tunnelupload）到odps對(duì)應(yīng)輸出表

手動(dòng)下載步驟：s://help.aliyun.com/product/87964.html?spm=a2c4g.750001.list.245.5e907b138Ik9xM

進(jìn)入阿里云用戶(hù)中心：s://usercenter2.aliyun.com/home

返回舊版

費(fèi)用中心>消費(fèi)記錄>使用記錄

選擇產(chǎn)品類(lèi)型，填寫(xiě)使用期間，計(jì)算粒度,導(dǎo)出CSV格式

把oms數(shù)據(jù)定期取下來(lái)，然后上傳到odps中創(chuàng)建的結(jié)果輸出表（OdpsFeeDemo）

tunneluploadC:UsersDesktopaa.txtproject.tablename;

（二）進(jìn)行表關(guān)聯(lián)，將很終結(jié)果存儲(chǔ)在上面創(chuàng)建的MaxComputeFee中

方法2：程序化API下載費(fèi)用明細(xì)數(shù)據(jù)&上傳到MaxCompute后分析

（一）在odps創(chuàng)建oms表OdpsFeeDemo，參考如下：

通過(guò)API下載OMS系統(tǒng)數(shù)據(jù)并上傳到odps對(duì)于表格中

代碼參考如下：

1)服務(wù)啟動(dòng)類(lèi)Application

2)從odps接收數(shù)據(jù)ReceiveData

3)將接收數(shù)據(jù)上傳到MaxCompute項(xiàng)目里建好的oms表，類(lèi)名：OdpsServer

4)配置文件

5)現(xiàn)在將數(shù)據(jù)上傳到odps里面對(duì)應(yīng)的表，然后進(jìn)行關(guān)聯(lián)

--------------------------------------

本文作者：圣遠(yuǎn)

原文鏈接：s://yq.aliyun.com/articles/713562?utm_content=g_