本參數(shù)的計算,從ODS_MData中讀取數(shù)據(jù),計算基本特征參數(shù)^[14],其Map過程為：

1：Record{Phase,Value}轉(zhuǎn)換為整型;

2：if Math.abs(Value)>max1

then 構(gòu)造輸出記錄Record{Time, Phase,Value};

3：將記錄輸出至Combiner;

Combine過程為：

Combine repeat

if Record[i]是極值點

then

構(gòu)造輸出記錄Record{Time,Phase,Value};

將Record{Phase,Value}輸出至Reducer;

until 所有的點都被處理

Reduce過程如下：

1：對極值記錄集合{Time,Phase,Value}按照相位Phase遞增順序排序;

2：repeat

if 相鄰兩點的相位差<max2

then 保留較大的Value;

else 將相位較小的點保存至結(jié)果集;

until 所有的點都被處理;

3：輸出結(jié)果集至DW_NQF表;

該過程完成的局部放電參數(shù)統(tǒng)計,是實現(xiàn)特征分析的第一步。

3.3.2 譜圖的計算

在基本特征參數(shù)計算的基礎(chǔ)上,基于DW_NQF表,使用MapReduce實現(xiàn)譜圖計算^[15],其Map過程為：

1：根據(jù)相窗寬度wlength,計算Record所屬的相窗id wid= Phase/wlength;

2：構(gòu)造輸出記錄,并輸出至Reducer;

Reduce過程為：

1：定義變量用于記錄總放電量、平均放電量、放電次數(shù)、放電量最大值;

2：repeat

在totalq上累加放電量;

在nums上累加放電次數(shù);

在max上記錄放電量最大值;

until 所有的點都被處理;

3：avgq=totalq/記錄數(shù);

4：構(gòu)造輸出記錄,并輸出至DW_PT表;

3.4 本地測試

打開TJDriver.java,右擊“Run as->Run Confi- gurations”,在ODPS Config選項卡重選擇正確的ODPS項目。在Arguments選項卡中輸入運行參數(shù),并點擊"Run”執(zhí)行本地測試。在第一次運行時,Eclipse會從MaxCompute中下載少量的測試數(shù)據(jù)用于測試。運行完成后可以在Warehouse中看到測試用的輸入數(shù)據(jù)和產(chǎn)生的結(jié)果數(shù)據(jù)。本地測試運行結(jié)果如圖9所示。

圖9 本地測試運行結(jié)果Fig.9 Local test results

3.5 打包并上傳資源

在確認(rèn)本地測試結(jié)果正確后即可導(dǎo)出jar包,在Eclipse下執(zhí)行“File->Export”,選擇導(dǎo)出“JAR File”即可導(dǎo)出至本地。導(dǎo)出jar包如圖10所示。

圖10 導(dǎo)出jar包Fig.10 Exporting jar package

在ODPS cmd下執(zhí)行添加資源的命令,即可將jar包上傳至MaxCompute,命令如下：

add jar d:/Clouder/jar/TJ.jar;

3.6 在MaxCompute上執(zhí)行程序

在ODPS cmd下執(zhí)行jar命令,運行程序。執(zhí)行read dw_tj命令可查看運行結(jié)果。運行結(jié)果如圖11所示。

圖11 運行結(jié)果Fig.11 The operation result

在大數(shù)據(jù)開發(fā)套件中,通過調(diào)度配置,即可實現(xiàn)周期性的程序執(zhí)行。

 4 結(jié)語

電力設(shè)備監(jiān)測已經(jīng)成為一種必然趨勢,監(jiān)測數(shù)據(jù)無論在體量還是處理速度方面,都需要先進的大數(shù)據(jù)平臺和工具來支撐。本文基于云計算平臺,應(yīng)用MaxCompute設(shè)計實現(xiàn)了電力設(shè)備監(jiān)測數(shù)據(jù)的高效分區(qū)存儲方法和并行化的批量特征分析方法,應(yīng)用大數(shù)據(jù)開發(fā)套件將分析過程中的多個MapReduce任務(wù)組織為工作流,實現(xiàn)了數(shù)據(jù)加載和分析任務(wù)的自動化周期調(diào)度,具有一定的借鑒意義。