大(dà)數(shù)據集成系統

産品概述

大(dà)數(shù)據集成系統是巨龍信息以20年的數(shù)據整合治理(lǐ)實踐為(wèi)基礎，采用分布式并行(xíng)計(jì)算(suàn)架構自主研發的大(dà)數(shù)據ETL集成系統，具備高(gāo)吞吐、高(gāo)可(kě)用、高(gāo)擴展特性，支持主流雲平台、數(shù)據庫、文件、消息對接、接口等數(shù)十種異構數(shù)據源，內(nèi)置上(shàng)百種數(shù)據處理(lǐ)組件和(hé)函數(shù)，為(wèi)海量異構數(shù)據的超大(dà)規模數(shù)據倉庫建設提供抽取、清洗、整合、入庫等集成業務，消除數(shù)據孤島，加快數(shù)據變現，實現數(shù)字化轉型。

産品亮點

		海納百川，數(shù)據源适配廣泛 支持市面上(shàng)主流的雲平台；支持涵蓋OldSQL、NoSQL、NewSQL的各類數(shù)據庫；支持文件自動下載 解壓、解密處理(lǐ)；支持消息隊列實時(shí)數(shù)據消費；支持WebService接口對接配置。
		無代碼開(kāi)發，組件開(kāi)箱即用 內(nèi)置上(shàng)百個(gè)組件和(hé)上(shàng)百個(gè)公式，開(kāi)箱即用；支持第三方按照組件開(kāi)發标準定制(zhì)業務性組件。
		高(gāo)吞吐處理(lǐ)能力，支撐百億數(shù)據處理(lǐ) 采用多(duō)線程處理(lǐ)算(suàn)法，高(gāo)效的內(nèi)存利用率；可(kě)拓展形成100節點以上(shàng)集群、任務運行(xíng)過程無需本地磁 盤IO操作(zuò)，提升整體(tǐ)單位時(shí)間(jiān)的大(dà)批量處理(lǐ)能力；支持TB/h級的大(dà)數(shù)據集成業務性能。
		“火(huǒ)眼金睛”，全方位實時(shí)監控 支持對系統運行(xíng)環境（如調度引擎、執行(xíng)引擎）和(hé)流程作(zuò)業業務的實時(shí)狀态監控，通(tōng)過圖形可(kě)視(shì)化的 方式展現監控結果，極大(dà)降低(dī)了系統日常的維護成本。
		“縱橫”架構融合，運行(xíng)持續穩定 并行(xíng)架構提升單機處理(lǐ)能力的縱向線性擴展；分布式架構提升多(duō)機處理(lǐ)能力的橫向線性擴展；支持 執行(xíng)引擎快速部署及自動識别；支持資源調度中心雙活模式；支持執行(xíng)引擎宕機自動識别和(hé)任務轉移；支持引擎集群管理(lǐ)節點自動競選，确保系統穩定運行(xíng)，任務執行(xíng)不脫機。
		自動容錯，異常數(shù)據分流 采用異常數(shù)據分流機制(zhì)，在不影(yǐng)響正常流程的情況下，自動将ETL處理(lǐ)過程中出現的異常數(shù)據轉儲 到指定位置，保證數(shù)據不丢失。在任務分發和(hé)執行(xíng)的過程中，感知引擎狀态，自動将異常設備的任務 轉移到正常設備上(shàng)重新執行(xíng)，保證了任務執行(xíng)高(gāo)可(kě)用。
		以點帶面，知識賦能 支持一鍵生(shēng)成數(shù)據處理(lǐ)模闆，結合特有(yǒu)的環節分組及批注功能，實現專業人(rén)員知識沉澱，滴灌賦能執行(xíng)人(rén)員，以點帶面，形成知識輻射。

應用案例

大(dà)數(shù)據集成系統已經服務政府、政數(shù)局、水(shuǐ)利廳、财政廳、海關總署、公安廳/局等多(duō)個(gè)用戶部門(mén)，累計(jì)支撐2萬+數(shù)據處理(lǐ)方案的穩定運行(xíng)，共處理(lǐ)數(shù)據已達P級，用戶遍及廣東、天津、福建、安徽、甘肅、湖(hú)南、內(nèi)蒙古、青海 等省份，其中天津某行(xíng)局配置管理(lǐ)2000個(gè)大(dà)數(shù)據ETL作(zuò)業，完成約600億數(shù)據抽取、整合行(xíng)務，當前運行(xíng)穩定；福建某大(dà)數(shù)據治理(lǐ)項目采用混合異構數(shù)據庫模式，分别與騰訊雲、阿裏雲ODPS、Gbase 8a、億榕文件存儲等大(dà)數(shù)據庫完成适配。