日前，2013年全國博士后學術論壇“電子科學技術與信息產業發展”在電子科技大學舉行。來自全國50余家高校、企業共200余名專家學者、博士后代表參加了論壇。遠光軟件博士后科研工作站諶章義博士在會上就研究課題《基于Hadoop的海量電費數據處理模型設計與實現》發表了主題演講，該研究成果被《電子科學技術與信息產業發展論文集》收錄。

《基于Hadoop的海量電費數據處理模型設計與實現》一文以國內某特大型電力集團為例，提出了電費數據新的處理模型，建立了基于Hadoop和Hive的電費明細處理平臺。實驗證明該模型能有效解決海量電費數據處理性能瓶頸，提高電費數據處理速度和效率，并可提供高性能的明細數據查詢功能。

據悉，隨著電費數據量快速增長，某特大型集團公司財務管理信息系統面臨海量數據難題，其中電費業務是最突出的問題之一。集團超過30個子公司，平均每個子公司用電客戶規模在500萬至800萬，每個月用電明細數據近億條。財務管理信息系統原電費數據處理模型是從電力營銷系統采集用電客戶信息表、應收電費明細表等文本，上傳至中間數據庫，財務管理信息系統從中間數據庫采集相關數據，同時對數據進行合并、轉換處理。由于電費明細數據量過于龐大，處理過程嚴重消耗數據庫服務器資源，進而影響整個財務管理信息系統的性能。也因此，通常只能選擇夜間運行該業務，導致暫時無法提供電費明細數據查詢業務。

基于拆分、融合、重構的設計思路，遠光軟件針對此瓶頸提出了解決方案：引入Hadoop分布式計算平臺來進行電費明細數據的處理，處理后的結果數據再存入財務管理信息系統數據庫。為了易于實現，選用分布式數據倉庫Hive來存儲和處理電費明細數據。通過實驗測試，在硬件不占優勢的情況下，Hive執行性能有20%--200%的提升；利用Hive的分區功能，大表處理數據顯著提升。同時在Hive表上建立分區，還可以提供高性能的歷史數據查詢，這是原模型難以實現的功能。

遠光軟件的成功實踐效果證明：Hadoop不僅能提升財務管理信息系統可用性，使得幫助系統更高效地解決更復雜的問題，而且節省時間和成本，創造更大的價值。諶章義博士表示：“該技術應用范圍并非局限于電費明細數據的合并與查詢，還可以應用于電價分析、電價預測模型等深入分析業務。”

大型集團企業的管理軟件集中部署已成為潮流趨勢，管理軟件的開發也從單個業務領域開發專項“統一”集成平臺的開發，必然面臨海量業務數據分析處理問題。因此，本系統的應用前景廣闊。