1. 應用背景
上海電氣國軒新能源科技有限公司(以下簡稱“上海電氣國軒”)長期致力于電化學儲能業(yè)務的技術研發(fā)、工程應用和市場開拓,實現從電芯到儲能系統(tǒng)的全產業(yè)鏈覆蓋,能夠為新能源+儲能、調峰調頻、電網側儲能、工商業(yè)儲能應用等提供一站式系統(tǒng)解決方案。其儲能系統(tǒng)已進入全國 18 個省、市、自治區(qū),已完成電源側、電網側、用戶側全場景應用布局。
圍繞"一芯3S"(電芯、BMS、EMS、PCS)核心產品鏈,上海電氣國軒構建了儲能核心競爭力,其中"上海電氣智慧儲能運營云平臺"為關鍵組成部分。
上海電氣智慧儲能運營云平臺旨在運用物聯網、大數據、機器學習等前沿數字化技術,提供對儲能單元的狀態(tài)感知、邊緣協(xié)同管理、儲能運行可靠性評估及儲能系統(tǒng)運維策略等方面能力,構建滿足儲能智慧運營和智慧運維相結合的場景化解決方案。
該平臺的建設存在兩大難點:面向大規(guī)模儲能場景的海量時序數據接入,以及多終端、多環(huán)境的云邊協(xié)同。上海電氣國軒通過選擇 IoTDB 作為智慧儲能運營云平臺中,負責時序數據存儲、查詢、分析、傳輸的核心組件,實現了高通量寫入、高壓縮比、高實時查詢返回,并建立了高擴展、高靈活度的數據模型與協(xié)同同步方案。
2. 應用痛點
大規(guī)模儲能電站場景的時序數據管理,往往面臨數據寫入、存儲、查詢等性能挑戰(zhàn),并需要減少系統(tǒng)架構復雜度,降低系統(tǒng)維護成本,提高系統(tǒng)可靠性。具體來看:
數據量大,采集頻率高
以 200 MWh 規(guī)模的儲能電站為例,其一般包括幾十臺集裝箱,共約百萬個測點,以秒級頻率進行采集,年數據量達到 TB 級別。而以集裝箱為例,目前上海電氣國軒系統(tǒng)已接入 1 GWh 容量、約 400 臺設備,每臺設備測點在 6000~8000 個左右,每個測點平均 15~30 秒更新一次數據。海量的時序數據增加了存儲和計算資源的壓力,超高的采集頻率也對物聯網終端設備的性能和穩(wěn)定性提出了更高的要求。
數據的無序性
通常而言,采集數據多為連續(xù)數據流形式,從不同的外部數據源持續(xù)生成。但在工業(yè)互聯網常見的端、邊、云數據傳輸場景中,由于網絡和安全策略等原因,往往無法控制這些數據流到達的順序和產生的速率。數據流可以看作一個帶有時間戳的、無限增長的結構化日志模型,它的流向是不可變的,一般不支持更新操作。所以大規(guī)模儲能電站場景中,如何更好地接入、存儲這些無序數據并實現協(xié)同部署,是一大挑戰(zhàn)。
寫入和查詢性能要求
儲能測點基數大,并采用及時變位存儲,導致存儲數據量巨大。如果數據庫不能及時寫入,系統(tǒng)設計的復雜度會隨之提高。
同時,對于 TB 級別以上的數據量,傳統(tǒng)的大數據手段可以做到非實時查詢分析,但對時序數據最重要的實時查詢場景,傳統(tǒng)大數據手段可能無法滿足性能要求。
此外,采集系統(tǒng)上傳的原始數據一般無法滿足業(yè)務需要,這些離散的原始數據需要進一步加工、處理、分析,而在此過程中依然需要保證寫入性能,因此對系統(tǒng)的并發(fā)能力提出了要求。
靈活的數據模型要求
對于查詢、處理過的更高重要性的數據,上海電氣國軒希望將其直接加入到數據模型中,從而不斷地完善擴展現有模型,因此需要數據庫支持的數據模型具備高擴展性與靈活性。
并且,智慧儲能運營云平臺的設計初衷并非只滿足儲能系統(tǒng)數字化的需要,同時也希望滿足風、光、充等新能源系統(tǒng)集成和其他類型系統(tǒng)的需要,因此需要針對各個行業(yè)實現靈活建模,并能夠在開發(fā)過程靈活擴展。
3. 選擇 IoTDB 原因
上海電氣國軒之所以選擇 IoTDB 作為智慧儲能運營云平臺中的時序數據管理核心組件,主要因為 IoTDB 有以下幾點特性:
物聯網原生
IoTDB 立足物聯網/工業(yè)物聯網業(yè)務場景,針對工業(yè)場景時序數據管理中數據通量高、數據模式弱、兩節(jié)點高可用等典型需求,自主研發(fā)了 IoT/IIoT 全場景工具,能夠提供低理解成本、高應用效能的完整解決方案。上海電氣國軒對于 IoTDB 為工業(yè)業(yè)務場景量身研發(fā)的數據模型、功能、工具等成果十分認可。
穩(wěn)定的寫入支持
IoTDB 具備強大的海量時序數據寫入能力,列式寫入模式支持毫秒級接入,能夠滿足海量時序數據上報需求。在上海電氣國軒實際應用中,以 200 MWH 容量電站的數據采集為例,總數 40 萬測點中如同時有 20 萬測點更新寫入 IoTDB,經實踐單機版寫入毫無壓力并保持運行穩(wěn)定。
優(yōu)異的數據壓縮比
在存儲壓縮性能方面,IoTDB 結合自研的時序數據標準文件格式 TsFile,其中列式存儲、編碼算法、分段摘要信息、文件級索引等架構,能夠使數據壓縮比獲得明顯提升。
上海電氣國軒將過去其他數據庫約 3T 的數據遷移到 IoTDB 上,只占用約 100G 空間,大幅減少了資源占用與成本。目前上海電氣國軒萬億量級的數據,只占用 800GB 存儲空間。對于 200 MWH 容量電站,單站部署機器要求的磁盤容量配置也相應大大降低,只需 2~8T 便可滿足 5 年以上數據的存儲要求。
優(yōu)雅的存儲模型
傳統(tǒng)時序數據模型需要通過 Table 進行管理,雖然能夠實現測點的添加,但從概念上不免受到 Table 結構的約束,需要開發(fā)人員學習特定創(chuàng)建或修改的語句等,學習和記憶的成本均較高。
IoTDB 采用樹形時序數據模型,能夠直觀地與工業(yè)場景中的工廠、設備、測點/傳感器等層級進行對應。對于需要新增或變更的設備,IoTDB 也能夠做到自動化同步,有效降低時序數據管理與運維成本的同時,也方便了模型的擴展,能夠達到億級時序數據的管理規(guī)模。
上海電氣國軒基于 IoTDB 構建的時序數據模型
4. 應用架構及效果
上海電氣國軒打造的上海電氣智慧儲能運營云平臺,依托 IoTDB 以及大數據分析、智慧云平臺等能源數字化技術,構建了儲能系統(tǒng)的“端-邊-云”協(xié)同系統(tǒng),實現儲能電站和設備的全面感知、實時監(jiān)控、數據追溯、智能診斷以及儲能系統(tǒng)的全生命周期管理,有效提升電站和設備的運行壽命以及經濟性收益。
該平臺可滿足端-邊-云業(yè)務場景下的所有業(yè)務需要,包含邊緣側數據接入、邊緣側數據處理、云側數據接入、云端多級數據處理、數據管理等處理全鏈路,實現數據采集、邊緣數據轉發(fā)、數據存儲、數據模型管理、可視化監(jiān)測、決策分析等功能模塊。
儲能工業(yè)場景產生的數據從智能設備層上報,通過數據接入層的多類協(xié)議進行采集,傳輸進入數據存儲層的各類數據庫中,以供數據服務層的多類處理、分析功能進行調用、查詢,最終服務業(yè)務層的數據可視化、告警檢測、業(yè)務決策等方向。
在整個系統(tǒng)時序數據鏈路層,上海電氣國軒借助 IoTDB 優(yōu)勢,將 IoTDB 應用至數據采集、數據存儲、數據傳輸、數據分析等各個方面,用以管理電池電芯、儲能電池簇、集裝箱儲能系統(tǒng)、5G 通信基站備用電源、UPS 備用電源等多類儲能設備監(jiān)測數據。
基于統(tǒng)一的、可插拔的文件格式 TsFile,上海電氣國軒實現跨網閘文件同步,場站端側向云側數據上傳,方便、靈活地協(xié)同傳輸需求。
借助 IoTDB 本身具備的高讀寫能力、高壓縮能力、時序場景實時查詢能力等,上海電氣國軒可有效利用時序數據,支持分析電池利用率、使用壽命等業(yè)務服務。
不僅如此,上海電氣國軒也對原有系統(tǒng)完成了重新設計和定義。依托 IoTDB,上海電氣國軒全面設計和規(guī)范化模型,使其靈活支持業(yè)務的變化;在 IoTDB 實現的高效寫入和壓縮性能基礎上,上海電氣國軒全面優(yōu)化系統(tǒng)部件,如場端去掉消息隊列、Redis 等,從而大幅提升上海電氣智慧儲能運營云平臺對時序數據管理的效率。
目前,上海電氣智慧儲能運營云平臺接入測點約有 500 萬點以上,每個測點平均每 5~10 秒更新一次數據,總數據存儲量超過萬億條,并且隨著業(yè)務的發(fā)展,測點數量還在不斷增長中。
IoTDB 在功能、性能等方面的優(yōu)勢,成功幫助上海電氣國軒系統(tǒng)從重服務蛻變?yōu)檩p服務,有效降低開發(fā)難度,減輕系統(tǒng)運維壓力,架構設計得到質的提高,并減少了企業(yè)的存儲成本和計算成本。同時,IoTDB 優(yōu)雅的樹狀結構模型也提升了服務接口之間的一致性。各方賦能下,上海電氣國軒系統(tǒng)性能得到質的提升,目前沒有發(fā)生劣化現象。
5. 應用場景舉例
場景一:歷史數據回溯
針對上海電氣國軒需要從海量歷史數據中回溯指定時刻數據,并完成可視化散點圖渲染的需求,IoTDB 可在 3 秒內完成從讀取數據到頁面散點 Chart 的渲染。
場景二:歷史數據可視化
針對上海電氣國軒需要獲取一月內的原始歷史數據,并基于不同的設備或數據項繪制歷史數據曲線的需求,IoTDB 可在 2 秒內完成從讀取數據到曲線頁面的可視化呈現。
6. 未來展望
目前,上海電氣國軒基于 IoTDB 打造的上海電氣智慧儲能運營云平臺已平穩(wěn)、高效運行 2 年。
未來,伴隨著儲能行業(yè)的快速發(fā)展,時序數據的數據量也將呈現指數增長。上海電氣國軒將繼續(xù)與 IoTDB 團隊緊密配合,挖掘時序數據對于儲能業(yè)務場景的應用價值。
評論