聚焦數(shù)據(jù)架構(gòu)前沿技術(shù),快手大數(shù)據(jù)平臺架構(gòu)技術(shù)交流會成功舉辦
近日,快手?jǐn)?shù)據(jù)平臺部聯(lián)合“快手中學(xué)”,專題舉辦“快手大數(shù)據(jù)平臺架構(gòu)技術(shù)交流會”(Kuaishou Data Platform Architecture Conference),吸引了各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者的參與。從hadoop到spark,再到flink,從kylin到druid,再到clickhouse,從離線數(shù)倉到實時數(shù)倉架構(gòu),再到數(shù)據(jù)湖架構(gòu),近10多年中,大數(shù)據(jù)平臺架構(gòu)經(jīng)歷了快速演變。各大互聯(lián)
2020-09-11 16:02:49
來源:釘科技??

近日,快手?jǐn)?shù)據(jù)平臺部聯(lián)合“快手中學(xué)”,專題舉辦“快手大數(shù)據(jù)平臺架構(gòu)技術(shù)交流會”(Kuaishou Data Platform Architecture Conference),吸引了各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者的參與。

從hadoop到spark,再到flink,從kylin到druid,再到clickhouse,從離線數(shù)倉到實時數(shù)倉架構(gòu),再到數(shù)據(jù)湖架構(gòu),近10多年中,大數(shù)據(jù)平臺架構(gòu)經(jīng)歷了快速演變。各大互聯(lián)網(wǎng)公司或借助開源生態(tài),或通過自研構(gòu)建大數(shù)據(jù)架構(gòu)系統(tǒng),促進數(shù)據(jù)相關(guān)業(yè)務(wù)的價值挖掘與發(fā)展,為公司的戰(zhàn)略發(fā)展、產(chǎn)品改進、用戶增長帶來收益。

作為全球領(lǐng)先的生活分享社區(qū),目前快手日活躍用戶超過 3 億,庫存短視頻數(shù)量超過 200 億條,直播日活超過 1.7 億,電商日活超過 1 億。在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后,支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的大數(shù)據(jù)平臺架構(gòu)系統(tǒng),經(jīng)歷了幾個階段的高速發(fā)展。為此,交流會著重介紹了快手在大數(shù)據(jù)存儲、調(diào)度、計算上的技術(shù)挑戰(zhàn)、應(yīng)用、演進與最佳實踐。

image.png

(▲交流現(xiàn)場)

本次交流采取線下線上結(jié)合的參會方式。交流會開放了部分線下參會名額,所有現(xiàn)場觀眾需佩戴口罩,確保測溫和健康寶狀態(tài)正常,在簽署健康聲明后方可入場,入會就座時也均保持了一定間隔。此外,交流全程還通過“快手APP”直播,觀看總?cè)藬?shù)超1.5萬人。

交流過程中,該場出品人之一、快手平臺研發(fā)&數(shù)據(jù)平臺負(fù)責(zé)人韋彬首先致辭。他介紹,快手大數(shù)據(jù)平臺的使命是以領(lǐng)先的大數(shù)據(jù)技術(shù),激活數(shù)據(jù)價值,賦能業(yè)務(wù),打造快手核心競爭力。大數(shù)據(jù)團隊從2011年創(chuàng)立之初沒有全職數(shù)據(jù)同學(xué),到目前團隊已逐漸完備。在快手做大數(shù)據(jù)有四個特點,一是數(shù)據(jù)規(guī)模大,對數(shù)據(jù)治理的要求很高;二是數(shù)據(jù)驅(qū)動的文化深入人心,團隊一直致力于對標(biāo)行業(yè)最好水平打造數(shù)據(jù)中臺;三是極度重視效率,確保數(shù)據(jù)平臺靈活可用;四是為滿足快手線上社區(qū)的場景,對數(shù)據(jù)的建模能力、應(yīng)用能力都有極高要求。

image.png

(▲快手平臺研發(fā)&數(shù)據(jù)平臺負(fù)責(zé)人 韋彬)

第二位出品人、快手大數(shù)據(jù)架構(gòu)團隊負(fù)責(zé)人趙健博介紹,快手大數(shù)據(jù)架構(gòu)團隊的領(lǐng)域主要涉及六個方向,分別是:存儲系統(tǒng)、消息隊列、資源調(diào)度、實時引擎、離線引擎、OLAP引擎。近幾年,快手大數(shù)據(jù)架構(gòu)的技術(shù)發(fā)展迅猛,從離線計算分析到實時計算,從大集群到超大集群,飛速迭代優(yōu)化。

image.png

(▲快手大數(shù)據(jù)架構(gòu)團隊負(fù)責(zé)人 趙健博)

隨后,來自快手的分布式存儲高級研發(fā)工程師徐增強、離線計算引擎方向負(fù)責(zé)人王磊、分布式消息隊列高級研發(fā)工程師陳春斌,以及騰訊數(shù)據(jù)平臺部數(shù)據(jù)湖研發(fā)負(fù)責(zé)人邵賽賽,分別帶來主題演講。

徐增強從數(shù)據(jù)規(guī)模、挑戰(zhàn)和實踐等幾個方面,對快手分布式HDFS系統(tǒng)進行了全方位解讀,并詳細(xì)介紹了快手EB級HDFS集群發(fā)展歷程中遇見一些核心問題的解決思路,如主節(jié)點擴展性問題、主節(jié)點處理能力瓶頸問題、節(jié)點熱點問題、重要任務(wù)的分級保障問題等。

王磊介紹了快手Hive元數(shù)據(jù)在億級分區(qū)規(guī)模的存儲使用上所面臨的總量多、增速快、壓力大等多方面挑戰(zhàn),針對上述挑戰(zhàn)給出了快手所采取的系列優(yōu)化措施,包括讀寫分離、API性能優(yōu)化、流量分級控制、Federation水平擴容等,從而達到提升Hive元數(shù)據(jù)服務(wù)穩(wěn)定性和性能的目標(biāo)。

陳春斌介紹了快手Kafka在業(yè)務(wù)快速增長過程中遇到的集群擴容瓶頸、集群間資源利用率不均、業(yè)務(wù)接入效率低等問題,針對上述問題從集群水平擴展性和topic水平擴展性等方面對Kafka進行針對性改造,從而達到平滑支撐業(yè)務(wù)快速增長和提高資源利用率的目的。

邵賽賽從數(shù)據(jù)湖技術(shù)需要具備的能力,如何構(gòu)建一個統(tǒng)一的數(shù)據(jù)湖存儲、并在其上進行多種形式的數(shù)據(jù)分析角度切入,介紹了Iceberg的設(shè)計初衷、優(yōu)點及能力,使聽眾對表格式這一領(lǐng)域有了充分理解,并深入了解Iceberg的設(shè)計、實現(xiàn)、優(yōu)勢以及使用方式。

image.png

(▲演講嘉賓合影:從左至右,分別為徐增強、陳春斌、邵賽賽、趙健博、王磊、李遠(yuǎn)策)

快手以技術(shù)為核心競爭力,十分重視技術(shù)創(chuàng)新和應(yīng)用,同時也希望通過更多更廣泛的技術(shù)交流,和業(yè)內(nèi)開發(fā)者分享經(jīng)驗,碰撞出更多智慧火花,推動技術(shù)不斷前進?!翱焓种袑W(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺,旨在通過提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流,助力人才成長,提升專業(yè)能力和專業(yè)影響力。

今年7—8月,“快手中學(xué)”曾聯(lián)合快手大前端團隊舉辦“快手大前端技術(shù)交流會2020”,受疫情影響僅做線上直播,而隨著疫情防控的逐步穩(wěn)定,為了給觀眾帶來更好的交流互動體驗,本次技術(shù)交流首次開放了部分線下參會名額。未來,由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長期開展。

原創(chuàng)文章
最新文章
1
《2025智慧生活科技好物以舊換新選購指南》正式發(fā)布
2
解鎖2025CIC中國智慧生活大會五大亮點,暢享未來生活新范式
3
助力文化傳承 快手推出國內(nèi)首檔二次元IP非遺跨界綜藝《IP中國行》
4
快手電商618“星成長主播”案例合集:好方法 好內(nèi)容 引爆增長
5
北京網(wǎng)絡(luò)視聽藝術(shù)大會主題打卡活動超3000萬人次觀看,全面賦能城市副中心文旅發(fā)展
6
錨定行業(yè)發(fā)展方向,2025中國家電健康趨勢高峰論壇在京舉辦
7
海信視像榮獲“中國卓越管理公司”大獎,以長期主義詮釋中國企業(yè)成長范式
8
空調(diào)線上市場半年觀察:價格戰(zhàn)兇猛 美的格力小米居銷量前三
9
三星Galaxy Z Flip7正式發(fā)布:AI賦能輕巧機身 智能外屏煥新升級
10
三星Galaxy Z Fold7正式發(fā)布:樹立Galaxy智能手機新標(biāo)桿
11
央視探訪海信空調(diào)實驗室,揭秘賽場外的黑科技
12
1-2nm 水分子革命:華帝如何用技術(shù)重構(gòu)沐浴邏輯
13
2025年“灣區(qū)杯”網(wǎng)絡(luò)安全大賽啟航 面向全國開放報名 ——守護智慧安全未來城市
14
華潤入主康佳,半導(dǎo)體和消費電子起飛在即?
15
快手集中整治“虛假回收”類違規(guī)行為,保護用戶權(quán)益免遭損失
16
快手直播大舞臺遍地開花,打造現(xiàn)象級文旅新爆款
17
科技副總裁宋婷婷:數(shù)字技術(shù)賦能女性發(fā)展,繁榮生態(tài)綻放“她力量”
18
第三屆北京網(wǎng)絡(luò)視聽藝術(shù)大會成功舉辦,“新大眾文藝”主題研討引熱議
19
美的格力海爾都布局的廚房空調(diào),雞肋還是剛需?
20
電商行業(yè)破局重構(gòu),"618"大促展現(xiàn)六大新趨勢
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512