今日,快手在2020年中國國際數(shù)碼互動娛樂展覽會(簡稱ChinaJoy)上,率先發(fā)布了基于5G網(wǎng)絡的云端渲染技術。該技術以短視頻業(yè)務場景為依托,為用戶提供了趣味性的體驗。本次快手提供了馴龍高手、二次元變身兩項展示。這兩項展示具備沉浸感強、體驗效果逼真的特點,受到了廣大參會者的追捧。

本次快手展示的云端渲染技術,充分發(fā)揮5G高帶寬、低延遲的優(yōu)勢,釋放云端強大的計算能力,克服本地算力不足的缺點,達到云端實時渲染、5G低延遲傳輸、本地即時展示的目的。

圖為馴龍高手應用效果示意

為了給用戶提供好萊塢級別的視覺體驗,馴龍高手綜合應用多項自研技術,包含基于物理的實時渲染(Physically Based Rendering)、對真實世界的仿真物理模擬、基于體素的流體建模與渲染系統(tǒng)、大規(guī)模GPU粒子系統(tǒng)、YCNN推理引擎。多項先進技術和大量次時代資源的使用,導致本地設備無法提供足夠的算力與存儲空間。而5G技術的到來,使云端模擬成為可能,解決了上述問題。百萬面同屏、真實光影效果、華麗的粒子特效、纖毫畢現(xiàn)的毛發(fā)模擬、逼真的交互體驗、高精度的AI推理,畫面流暢細膩、特效精致震撼,為短視頻特效行業(yè)樹立了標桿。

圖為二次元效果對比圖

二次元變身是基于CycleGAN、UGATIT等框架而實現(xiàn)的,快手在實踐中對于算法魯棒性、模型效果、數(shù)據(jù)準備效率、時序穩(wěn)定性等進行了優(yōu)化和升級。服務端的全圖二次元技術,支持人像、背景、多人效果。通過端云協(xié)同的技術方案,服務端運算的結(jié)果以直播下發(fā)的方式展示,為用戶提供更清晰、質(zhì)感的二次元轉(zhuǎn)換。

為了更好的適配5G網(wǎng)絡,快手音視頻部門自研了網(wǎng)絡傳輸協(xié)議和實時編解碼技術,采用快手自建的SDN網(wǎng)絡,通過基于UDP協(xié)議的高清視頻低延時通信技術,實現(xiàn)本地采集視頻云端處理的實時回顯。把用戶在手機上采集到的視頻實時發(fā)送到云端,利用服務器強勁的硬件資源進行渲染,再把渲染結(jié)果實時發(fā)送到用戶手機進行顯示。

快手云端渲染系列技術,充分將移動終端與服務器的硬件能力相結(jié)合,實現(xiàn)較為復雜的運算,未來將充分挖掘5G網(wǎng)絡的應用價值,在視頻內(nèi)容生產(chǎn)、直播、小游戲等應用場景中將發(fā)揮重要作用。