産品介紹

大(dà)數(shù)據服務總線是雲計(jì)算(suàn)平台內(nèi)平台服務層的核心支撐組件，承載着可(kě)提供的數(shù)據服務資源，并對服務提供者和(hé)使用者搭建一個(gè)可(kě)交互共享的服務中介平台，兼容适配異構多(duō)雲，解決分布式數(shù)據訪問和(hé)不同應用間(jiān)訪問調用的差異問題，将跨地域、跨層級、跨部門(mén)的應用系統及數(shù)據有(yǒu)機地聯系與整合在一起，實現了全網分布式信息共享和(hé)資源綜合利用。

技(jì)術(shù)淺析

傳輸可(kě)觀察

提供可(kě)觀察性，實現傳輸過程的可(kě)見、透明(míng)、白盒化

●日志(zhì)采集+解析：指标度量、分布式鏈路、結構化日志(zhì)、傳輸賬單

●标準數(shù)據格式和(hé)上(shàng)報API

●開(kāi)放數(shù)據格式和(hé)采集API

高(gāo)可(kě)靠傳輸

網絡可(kě)靠：檢測-重傳機制(zhì)

●差錯檢測：數(shù)據摘要/指紋→錯誤重傳

●丢包檢測

●發送方檢測：定時(shí)檢查等待的确認→超時(shí)重傳

●接收方檢測：協商連續編号/數(shù)據清單→選擇重傳

●重複檢測：唯一性數(shù)據标識/摘要指紋→冗餘過濾

●順序檢測：時(shí)間(jiān)戳/有(yǒu)序編号→重新排序

節點可(kě)靠性

●本地持久化緩沖，支持斷電(diàn)保護、異常恢複

●滾動WAL和(hé)異步落盤，降低(dī)持久化影(yǐng)響

●節點HA集群

對賬支持

●輸出邊界賬單，供外部對賬

可(kě)靠與性能的平衡

高(gāo)性能傳輸

并發模型

●非阻塞異步IO：epoll多(duō)路複用、Reactor線程模型

協議效率

●七層HTTP  四層TCP

●減少(shǎo)報文冗餘，支持二進制(zhì)格式（壓縮透傳）

大(dà)報文：超過發送緩沖區(qū)大(dà)小(xiǎo)

●分塊并發：切分參數(shù)支持靜态配置、動态統計(jì)更新

●流水(shuǐ)線并發、多(duō)鏈路并行(xíng)、多(duō)核心并行(xíng)

●內(nèi)部編号，确保接收端的可(kě)靠拼裝

●斷點續傳

文件系統

●零拷貝

●小(xiǎo)文件合并：拼包，對齊MTU；減少(shǎo)新建連接數(shù)

适應性傳輸

根據功能、部門(mén)及業務等因素動态構建差異化、隔離的專用虛拟通(tōng)道(dào)

●綁定資源池（ CPU、線程、內(nèi)存、網絡、磁盤）、傳輸策略（優先級、可(kě)靠性等）

适應不同優先級、可(kě)靠性、安全要求、傳輸策略的精準、平衡需要

●高(gāo)可(kě)靠 vs. 高(gāo)吞吐

●大(dà)報文&大(dà)文件傳輸 vs. 普通(tōng)請(qǐng)求服務

應用場(chǎng)景

邏輯上(shàng)把請(qǐng)求過程和(hé)響應過程分成異步的兩部分，但(dàn)在具體(tǐ)的物理(lǐ)協議适配上(shàng)：

●對于HTTP這種同步請(qǐng)求響應的協議，在節點側同步阻塞響應，保持物理(lǐ)的同步調用

●對于PCI這種異步請(qǐng)求響應的協議，就原生(shēng)支持了；當然目前提供的PCI Client API的封裝版本rbsp api，有(yǒu)實現應用側的異步仿真同步。