隨著互聯網和物聯網的快速發展,實時數據分析應用的業務需求量日益增長,例如實時推薦、實時風控、實時監測、精準營銷等,數據實時處理能力成為企業提升競爭力的一大因素。華為云GaussDB(DWS)實時數倉提供即開即用、可擴展且完全托管的分析型數據倉庫服務,支撐高并發高性能實時數據分析。4月8日,在華為云TechWave全球技術峰會數據使能分論壇上,GaussDB(DWS)技術專家詳談實時數倉黑科技。
GaussDB(DWS)實時數據分析技術架構基于企業級內核,采用統一SQL引擎,多引擎協同,實現數據體系內自閉環,從而達到一份數據多個引擎調用,高效多維度分析。依據流數據和時序數據特征打造出從優化器、執行器到存儲的全系列、高性能、可擴展的實時數倉,提供四大技術創新:
1.CEP引擎告別T+1模式
改變傳統數據先入庫再查詢的分析模式,CEP引擎提供流計算能力:數據先計算分析,并實時反饋計算結果,計算結果可以繼續進行下一步計算或者保存,大大降低了數據處理時延。
2.1=N:GaussDB(DWS)實時數倉=Flink/SparkStreaming+Druid+InfluxDB……
國內首創在同一套系統內實現流和時序數據的處理和預聚合操作,減少數據跨系統間遷移,降低冗余存儲和加載時間,最大化的利用系統緩存,提高處理效率。
3.預置豐富時序、流處理函數,一切皆SQL
采用最簡潔高效的數據開發語言SQL,并預置豐富的時序和流處理函數,通過SQL即可完成復雜流式計算,可實現億級數據,秒級聚合,極大簡化應用開發。
4.高達40:1的壓縮比,極大節約存儲成本
通過自適應壓縮算法,充分利用行列混合存儲+時序數據專用壓縮算法優勢,實現低時延查詢和高效存儲。
技術專家還分享了實時智能監控平臺的實踐,傳統數據倉庫單節點入口性能和散列度存在瓶頸,GaussDB(DWS)實時數倉單節點入庫性能超過10w/s,支持千萬級散列度計算,徹底解決時序數據和流數據“裝不進”和“算不動”的問題。
目前GaussDB(DWS)實時數倉已經正式發布公測。華為云GaussDB(DWS)實時數倉仍將不斷迭代優化,為企業用戶提供更強大的實時數據分析能力。
責任編輯: 中國能源網