NEWS CENTER

新聞中心

【技(jì)術(shù)工場(chǎng)】巨龍信息大(dà)數(shù)據建模與分析技(jì)術(shù)淺析

時(shí)間(jiān)：2022-03-28 17:06:12 次數(shù)：3008

産品介紹

智立方是巨龍信息研發的一款跨數(shù)據平台的數(shù)據挖掘、分析、建模工具。面向各行(xíng)各業在大(dà)數(shù)據建設過程的應用訴求，緻力于構建智能數(shù)據體(tǐ)系，打造更便捷、更易用的大(dà)數(shù)據生(shēng)産力平台，提供從數(shù)據準備、數(shù)據建模、分析探索、數(shù)據可(kě)視(shì)化到數(shù)據API服務等全鏈路的完整解決方案，充分滿足建設數(shù)據過程中的多(duō)樣複雜需求，幫助客戶打通(tōng)挖掘數(shù)據價值，促進在業務場(chǎng)景中應用大(dà)數(shù)據。

産品特征

全流程體(tǐ)驗：提供“一站(zhàn)式”體(tǐ)驗，從數(shù)據接入、數(shù)據準備、數(shù)據建模、分析探索、數(shù)據可(kě)視(shì)化到數(shù)據API服務，覆蓋全流程形成完整閉環。

可(kě)視(shì)化建模：提供全程可(kě)視(shì)化的模型搭建，通(tōng)過拖拽的交互方式，采用引導式及“搭積木”般的畫(huà)圖式界面幫助用戶實現數(shù)據、組件的靈活的組合，從而快速地獲得(de)高(gāo)質量的模型搭建。

數(shù)據可(kě)視(shì)化：提供常見的可(kě)視(shì)化圖表和(hé)探索分析能力，讓用戶可(kě)以便捷的将模型結果采用圖表的形式展現，讓數(shù)據更生(shēng)動更直觀。

簡捷高(gāo)效易用：純拖拽式操作(zuò)，能夠極大(dà)地降低(dī)建模的技(jì)術(shù)門(mén)檻，讓複雜、繁瑣的數(shù)據建模過程變更簡單、高(gāo)效。

數(shù)據應用簡單：模型結果可(kě)便捷的生(shēng)成儀表盤，以及快速生(shēng)成數(shù)據API的能力，以滿足不同的業務應用場(chǎng)景對模型結果的使用需求，非常方便實現建模成果的分享和(hé)使用。

技(jì)術(shù)淺析

标準化數(shù)據集

■統一數(shù)據集模型：适配主流關系庫，NOSQL庫，文件，統一數(shù)據訪問方式，方便項目的快速擴展，打通(tōng)各個(gè)異構庫之間(jiān)的數(shù)據集計(jì)算(suàn)過程

■标準化SQL解析引擎：實現異構庫之間(jiān)跨庫JOIN，分組統計(jì)等查詢檢索業務

統一的表達式框架

■可(kě)擴展的表達式定制(zhì)框架：方便根據項目定義特定的分析計(jì)算(suàn)公式，滿足多(duō)變複雜的項目定制(zhì)需求

■統一的表達式解析器(qì)：滿足表達式邏輯的統一複用，實現一次編寫，随處可(kě)用

圖形化模型構建

■标準化數(shù)據集：用戶無需關注使用的庫類型或數(shù)據類型，統一标準化為(wèi)二維數(shù)據集

■過程可(kě)視(shì)化：通(tōng)過“拖”，“拉”，“拽”的方式配置模型計(jì)算(suàn)的流程，步驟與步驟之間(jiān)松耦合，每個(gè)步驟輸出新的标準數(shù)據集，方便用戶控制(zhì)數(shù)據的計(jì)算(suàn)和(hé)流轉

■計(jì)算(suàn)過程插件化：插件化的計(jì)算(suàn)過程，可(kě)快速響應項目定制(zhì)的過程插件

■內(nèi)置主流數(shù)據集計(jì)算(suàn)插件：提供主流的集合運算(suàn)插件，适應各種數(shù)據集負責運算(suàn)

■快速即席查詢配置：計(jì)算(suàn)出的結果集可(kě)快速通(tōng)過即席查詢配置構建方案，發布到前台，給用戶提供快速的結果集檢索

靈活高(gāo)效的标簽體(tǐ)系

■自定義标簽體(tǐ)系：自定義标簽項，标簽值，标簽分類；支持枚舉标簽，複雜業務标簽，基本類型标簽的定義；方便用戶快速構建行(xíng)業标簽體(tǐ)系。

■複雜标簽計(jì)算(suàn)邏輯：支持複雜标簽計(jì)算(suàn)邏輯的表達式編寫，支持事件觸發的标簽計(jì)算(suàn)。靈活應對各種複雜業務場(chǎng)景。

■高(gāo)效的标簽立方體(tǐ)：分布式标簽立方體(tǐ)，可(kě)擴展的存儲架構，支持超過10000+的标簽項的毫秒(miǎo)級檢索，研判，比對。為(wèi)行(xíng)業用戶的行(xíng)為(wèi)決策分析提供強大(dà)支撐。

高(gāo)性能關系分析模型

■高(gāo)性能關系檢索：快速定位帶時(shí)間(jiān)周期的行(xíng)為(wèi)關系人(rén)，根據關系親密度排分，不落下任何可(kě)疑人(rén)員。

■複雜關系計(jì)算(suàn)邏輯：支持複雜關系計(jì)算(suàn)邏輯的表達式編寫，靈活應對各種複雜業務場(chǎng)景，如同車(chē)廂，相鄰位置等。

數(shù)據集的快速比對

■比對數(shù)據集的快速構建：支持文件，數(shù)據庫表，SQL語句等多(duō)種數(shù)據集的構建，适應各種複雜場(chǎng)景。

■高(gāo)效的比對引擎：分布式比對引擎，實現千萬，億數(shù)據級數(shù)據的秒(miǎo)級比對，10億級數(shù)據的分鍾比對。

■結果集的自定義存儲與再次比對：可(kě)将結果集根據用戶要求存儲或再次生(shēng)成比對方案，方便用戶快速洞察數(shù)據集與結果集之間(jiān)的關注信息。

■比對隊列的合理(lǐ)調度：根據集群情況合理(lǐ)安排比對任務，保證比對引擎的高(gāo)可(kě)用。

高(gāo)性能任務執行(xíng)

■任務的水(shuǐ)平切分

任務根據分區(qū)自動被分片到多(duō)台DMC-分析引擎中，每個(gè)分析引擎的執行(xíng)容器(qì)使用多(duō)線程并發的對數(shù)據進行(xíng)加工處理(lǐ)後加載到數(shù)據倉庫中。當源頭庫單表數(shù)據量巨大(dà)時(shí)，可(kě)極大(dà)提升整體(tǐ)的數(shù)據集成效率和(hé)性能