只要三步阿里云DLA幫你處理海量JSON數(shù)據(jù)

您可能有大量應(yīng)用程序產(chǎn)生的JSON數(shù)據(jù)，您可能需要對(duì)這些JSON數(shù)據(jù)進(jìn)行整理，去除不想要的字段，或者只保留想要的字段，或者僅僅是進(jìn)行數(shù)據(jù)查詢。

那么，利用阿里云DataLakeAnalytics或許是目前能找到的云上很為便捷的達(dá)到這一目標(biāo)的服務(wù)了。僅僅需要3步，就可以完成對(duì)海量JSON數(shù)據(jù)的處理，或者更為復(fù)雜的ETL流程。

利用各種手段，將JSON數(shù)據(jù)投遞到OSSs://www.aliyun.com/product/oss）中。

通常，對(duì)于云上日志鏈路，還有一種JSON到OSS的投遞鏈路，可以參考“云原生日志數(shù)據(jù)分析上手指南”其中的JSON部分。

參考上述“云原生日志數(shù)據(jù)分析上手指南”，其中已經(jīng)有海量JSON數(shù)據(jù)的分區(qū)模式建表方法了。本例中，以非分區(qū)表為例，假設(shè)，數(shù)據(jù)文件中每一行一個(gè)JSON數(shù)據(jù)，JSON數(shù)據(jù)放置的OSS路徑為：

則，在DLA中執(zhí)行建表：

json_remove

從JSON中去除指定JSONPath的數(shù)據(jù)?？梢砸淮翁幚硪粋€(gè)JSONpath，也可以一次處理多個(gè)JSONpath。注重：目前還不支持“..”等JSONpath的模糊匹配，不久后會(huì)支持。

示例：

json_reserve

從JSON中保留指定JSONPath的數(shù)據(jù)，去除其他的數(shù)據(jù)?？梢砸淮翁幚硪粋€(gè)JSONpath，也可以一次處理多個(gè)JSONpath。注重：目前還不支持“..”等JSONpath的模糊匹配，不久后會(huì)支持。

示例：

還可以利用DataLakeAnalytics強(qiáng)大的云上數(shù)據(jù)處理能力，進(jìn)行多源數(shù)據(jù)融合處理、分析，回流到其他數(shù)據(jù)庫(kù)、存儲(chǔ)系統(tǒng)中。

更多信息請(qǐng)參考：s://datalakeanalytics.console.aliyun.com/overview

-----------------------------------

本文作者：Roin