讓數據"飛"一會兒
赢時勝
恒河大數據平台
1.合作(zuò)背景
深圳市赢時勝信息技(jì )術股份有(yǒu)限公(gōng)司是國(guó)内知名(míng)的金融IT解決方案綜合服務(wù)商(shāng)。公(gōng)司緊随金融行業發展,以技(jì )術為(wèi)驅動力,專注于金融行業IT系統的研究、開發及服務(wù),已服務(wù)銀行、證券、信托、保險資管等300餘家各種類型的金融客戶。
赢時勝恒河大數據平台與鲲鵬計算産(chǎn)業生态的結合,是赢時勝公(gōng)司與鲲鵬産(chǎn)業源頭創新(xīn)中(zhōng)心深度合作(zuò)開發的聯合解決方案。該方案緻力于開發具(jù)有(yǒu)全新(xīn)大數據處理(lǐ)能(néng)力的行業應用(yòng),為(wèi)前台創新(xīn)類業務(wù)提供PaaS層數據中(zhōng)台能(néng)力。恒河大數據平台方案能(néng)夠為(wèi)業務(wù)應用(yòng)層提供穩定、可(kě)靠、可(kě)擴展的基礎能(néng)力支撐,以降低用(yòng)戶開發門檻、縮短應用(yòng)開發周期、提高開發效率。該方案通過助力企業級數據中(zhōng)台體(tǐ)系建設,實現數據資産(chǎn)化、挖掘數據的最大價值的目标。
2.解決方案介紹
2.1 方案介紹
赢時勝恒河大數據平台是一整套新(xīn)一代大數據解決方案類産(chǎn)品,它整體(tǐ)面向實時化的數據處理(lǐ)架構,支持大數據場景的混搭數據存儲,并提供流批一體(tǐ)的并行計算方式。該産(chǎn)品綜合提供流式實時計算、内存計算、後台批量任務(wù)計算能(néng)力,能(néng)夠彙聚多(duō)種數據源,構建專業領域模型,萃取業務(wù)領域數據圖譜,實現在整體(tǐ)數據治理(lǐ)體(tǐ)系下實現數據資産(chǎn)化。該方案基于數據資産(chǎn)化價值,以數據服務(wù)形式對外開放,并通過統一數據智能(néng)應用(yòng)平台實現對外能(néng)力輸出。
赢時勝恒河大數據平台基于華為(wèi)雲鲲鵬雲服務(wù)器底座,建立Hadoop大數據集群節點,經由EIP接入互聯網,外部測試用(yòng)戶可(kě)直接訪問測試環境。
圖1 恒河大數據平台技(jì )術方案圖
圖2 恒河大數據測試環境邏輯組網圖
2.2測試環境
A)雲平台資源配置
_ |
相關說明 |
數量 |
配置參數 |
赢時勝 恒河大數據HengHeErise平台 |
恒河數據庫/hadoop/hive/ spark/flink/ kafka/zookeeper集群 |
5 |
系統版本:CentOS 7.6 處理(lǐ)器kc1.4xlarge.2 | 16核 |32GB 硬盤:80G 帶寬:5Mbit/s |
數據庫服務(wù)器 |
1 |
系統版本:CentOS 7.6 處理(lǐ)器kc1.4xlarge.2 | 16核 |32GB 硬盤:80G 帶寬:5Mbit/s |
B)組件列表
類别 |
名(míng)稱 |
版本 |
操作(zuò)系統 |
CentOS |
7.6 |
操作(zuò)系統特殊依賴包 |
Openssl Gcc |
1.0.2k 4.8.5 |
中(zhōng)間件 |
_ |
_ |
數據庫 |
Mysql |
5.7 |
恒河數據庫 |
2.2.2 |
|
編碼語言 |
Java |
8 |
應用(yòng)開發工(gōng)具(jù)及庫 |
Openjdk |
1.8 |
主要組件 |
Hadoop |
3.1.3 |
Hive |
3.1.2 |
|
Spark |
2.4.5 |
|
Flink |
1.12.0 |
|
Kafka |
2.3.1 |
|
Zookeeper |
3.4.12 |
2.3産(chǎn)品亮點
1) 高性能(néng):
基于華為(wèi)雲鲲鵬雲ECS部署Hadoop集群,以恒河NewSQL數據庫為(wèi)核心,結合華為(wèi)鲲鵬服務(wù)器強勁的多(duō)核算力,實現百億級數據秒(miǎo)級響應,滿足用(yòng)戶海量業務(wù)訪問、大數據應用(yòng)分(fēn)布式存儲和并行計算的需求。
2) 多(duō)兼容:
赢時勝恒河大數據平台基于華為(wèi)雲鲲鵬雲底座,結合華為(wèi)鲲鵬雲ECS、EVS等雲服務(wù),在保證快速的數據交換處理(lǐ)同時,實現關系型數據庫的數據類型Schema兼容、索引管理(lǐ)、标準SQL訪問、輕量級JDBC驅動、X on HengHe生态、海量數據存儲等相關技(jì )術特性。
3)全場景:
華為(wèi)雲鲲鵬雲服務(wù)為(wèi)赢時勝恒河大數據平台提供覆蓋大數據“采、存、算、管、用(yòng)”全生命周期的雲服務(wù)。恒河大數據平台基于華為(wèi)雲鲲鵬雲架構部署,實現了大數據融合彙集、質(zhì)量管理(lǐ)、資産(chǎn)管理(lǐ)等應用(yòng)功能(néng);同時兼容傳統關系型數據庫的SQL語法,方便開發具(jù)有(yǒu)全新(xīn)大數據處理(lǐ)能(néng)力的行業應用(yòng),能(néng)夠為(wèi)上層業務(wù)應用(yòng)開發提供穩定、可(kě)靠、可(kě)擴展的基礎支撐和服務(wù),從而縮短應用(yòng)開發周期,降低用(yòng)戶開發門檻,提高開發效率。
2.4兼容性認證證書
3.案例亮點
赢時勝恒河大數據平台已經在華為(wèi)雲鲲鵬雲上完成基于鲲鵬架構的兼容性适配工(gōng)作(zuò),對方案的主幹模塊設計、執行并通過了410個測試用(yòng)例,實現了恒河NewSQL數據庫高頻訪問平均寫入響應時間在60ms以内、平均讀取響應時間在15ms以内的指标。大數據平台運行穩定、各項指标達标,總體(tǐ)性能(néng)滿足行業應用(yòng)構建雲上預生産(chǎn)、生産(chǎn)環境的要求。
赢時勝公(gōng)司多(duō)年緻力于“以技(jì )術為(wèi)驅動力”在金融行業的落地探索,已形成完善的體(tǐ)系與成熟的方法論,其恒河生态體(tǐ)系擁有(yǒu)多(duō)項核心自主知識産(chǎn)權。恒河大數據平台定位為(wèi)支撐行業數據中(zhōng)台能(néng)力建設,以大數據能(néng)力的易用(yòng)性為(wèi)研發目标,實踐傳統數據能(néng)力向大數據能(néng)力的平滑遷移。基于恒河數據庫、恒河大數據平台以及華為(wèi)鲲鵬雲底座構建的聯合解決方案具(jù)備高可(kě)靠、高安(ān)全以及高性能(néng)特性,其領先技(jì )術競争優勢将有(yǒu)力支撐金融行業客戶的數據中(zhōng)台能(néng)力建設,以實現生态共赢。
鲲鵬計算産(chǎn)業對圍繞鲲鵬處理(lǐ)器的IT基礎設施産(chǎn)品、行業應用(yòng)及服務(wù)、生态演進及支持建立了長(cháng)期演進規劃,搭建可(kě)持續發展的創新(xīn)計算平台,涵蓋從底層硬件、基礎軟件到上層行業應用(yòng)的全産(chǎn)業鏈條。赢時勝恒河大數據平台産(chǎn)品研發團隊敏銳地捕捉到了這一契機,積極聯合鲲鵬産(chǎn)業源頭創新(xīn)中(zhōng)心開展技(jì )術對接、持續攻關與技(jì )術突破,實現了多(duō)項關鍵技(jì )術創新(xīn),同時聯合創新(xīn)中(zhōng)心積極進行行業推廣與商(shāng)業落地,實現技(jì )術與商(shāng)業共赢。
4.創新(xīn)中(zhōng)心介紹
鲲鵬産(chǎn)業源頭創新(xīn)中(zhōng)心由深圳市政府和華為(wèi)公(gōng)司聯合建立,深圳灣科(kē)技(jì )發展有(yǒu)限公(gōng)司承接日常運營服務(wù)工(gōng)作(zuò),共同為(wèi)鲲鵬生态夥伴提供鲲鵬雲資源、技(jì )術支持、聯合創新(xīn)、标準制定、測試認證、人才培養等公(gōng)共服務(wù),加快深圳市鲲鵬生态體(tǐ)系規劃布局,打造全國(guó)鲲鵬産(chǎn)業示範區(qū)。
地址:深圳市南山(shān)區(qū)深圳灣科(kē)技(jì )生态園10棟B座37、38樓