云棲大會(huì )眾星云集，萬(wàn)里牛陳曉亮解讀實(shí)時(shí)數倉的演進(jìn)之路

10月19日，2021杭州·云棲大會(huì )在杭州云棲小鎮正式開(kāi)幕。云棲大會(huì )是科技界最重要的盛會(huì )，已成為中國科技創(chuàng )新成果全景展示和數字智能新品發(fā)布的平臺。

作為深耕SAAS行業(yè)十年的服務(wù)商，萬(wàn)里牛已經(jīng)取得了很多可喜的成果。萬(wàn)里牛大數據架構師陳曉亮在10月22日的“大數據平臺技術(shù)論壇”上，以“萬(wàn)里牛實(shí)時(shí)數倉的演進(jìn)之路”為題進(jìn)行了主題演講，重點(diǎn)分享應用Holo來(lái)建設實(shí)時(shí)數倉的經(jīng)驗，并對行業(yè)發(fā)展進(jìn)行了分析。

客戶(hù)需要什么，我們就解決什么

我們的客戶(hù)主要是從事電商、跨境電商和實(shí)體門(mén)店的企業(yè)客戶(hù)。

“我們總結了用戶(hù)在業(yè)務(wù)過(guò)程中的一些數據痛點(diǎn)。首先，業(yè)務(wù)環(huán)節產(chǎn)生了大量數據卻不會(huì )通過(guò)數據分析來(lái)反哺業(yè)務(wù)；其次，實(shí)際工作中數據還是會(huì )被人工統計，不僅難以保證準確性而且費時(shí)費力，與市場(chǎng)節奏脫節；再者，辛苦做出的數據分析被用于改進(jìn)業(yè)務(wù)流程后，卻無(wú)法快速評估實(shí)際產(chǎn)生效果。”

用戶(hù)的訴求促使我們快速建設數據中臺，實(shí)現各個(gè)應用數據之間的融合，消除了數據孤島，同時(shí)構建了基礎的離線(xiàn)數據倉庫，并且通過(guò)數據資產(chǎn)管理系統和可視化系統的配合實(shí)現了零代碼交互式數據分析能力。

數據中臺2.0時(shí)代：HOLO建立實(shí)時(shí)數倉

“2.0時(shí)代我們增加了實(shí)時(shí)數倉能力，技術(shù)選型采用了比較成熟的Lambda架構。數據同步部分多了Binlog通道，實(shí)時(shí)將數據傳輸到Holo建立實(shí)時(shí)數倉。同時(shí)Holo還承擔聯(lián)邦查詢(xún)和實(shí)時(shí)數據引擎的任務(wù)。目前萬(wàn)里牛的數據中臺架構，能夠為客戶(hù)提供實(shí)時(shí)和準實(shí)時(shí)數據分析能力。同時(shí)數據中臺接手部分場(chǎng)景下業(yè)務(wù)系統的數據查詢(xún)服務(wù)，利用Holo的能力開(kāi)放ODS層數據訪(fǎng)問(wèn)。”

阿里云&萬(wàn)里牛，未來(lái)皆有可能

隨著(zhù)大數據發(fā)展進(jìn)入普惠期，數據倉庫、數據湖、湖倉一體成為業(yè)內熱點(diǎn)，離線(xiàn)實(shí)時(shí)一體化數倉和新一代基于云原生的湖倉一體平臺成為行業(yè)趨勢。阿里云提供的一系列大數據組件，讓萬(wàn)里牛數據團隊如虎添翼。

“萬(wàn)里牛也聯(lián)合了阿里巴巴聚石塔特別技術(shù)小組全程為萬(wàn)里牛商家保駕護航。雙十一前夕萬(wàn)里牛已提前對所有服務(wù)器、數據庫和網(wǎng)絡(luò )帶寬進(jìn)行了彈性升級擴容，配置相比平時(shí)提升10倍以上。萬(wàn)里牛系統已經(jīng)完成聚石塔壓測認證，單店鋪最大可承受數據壓力超過(guò)300萬(wàn)單/天。同時(shí)萬(wàn)里牛與阿里云成立專(zhuān)項小組進(jìn)行駐場(chǎng)，保障大促期間系統的響應和處理速度，降低風(fēng)險系數。”

標簽： 時(shí)數 實(shí)時(shí) 解讀