快手Y-tech萬鵬飛:短視頻UGC智能創(chuàng)作中的CV技術(shù)和發(fā)展趨勢
近日,2021全球人工智能技術(shù)大會在杭州召開。本次大會匯集來自世界各地的人工智能領(lǐng)域?qū)<?,共同為人工智能的未來發(fā)展建言獻策。在6月5日召開的計算機視覺專題論壇上,快手Y-tech部門AI技術(shù)平臺負責(zé)人萬鵬飛受邀發(fā)表了題為《短視頻UGC智能創(chuàng)作中的計算機視覺技術(shù)》的演講,從產(chǎn)業(yè)的角度分享了計算機視覺技術(shù)在短視頻智能創(chuàng)作方向的應(yīng)用和發(fā)展趨勢。快手深耕短視頻內(nèi)容創(chuàng)作生態(tài),UGC智能創(chuàng)作降本增效作為國民短
2021-06-11 14:58:50
來源:釘科技??

近日,2021全球人工智能技術(shù)大會在杭州召開。本次大會匯集來自世界各地的人工智能領(lǐng)域?qū)<遥餐瑸槿斯ぶ悄艿奈磥戆l(fā)展建言獻策。在6月5日召開的計算機視覺專題論壇上,快手Y-tech部門AI技術(shù)平臺負責(zé)人萬鵬飛受邀發(fā)表了題為《短視頻UGC智能創(chuàng)作中的計算機視覺技術(shù)》的演講,從產(chǎn)業(yè)的角度分享了計算機視覺技術(shù)在短視頻智能創(chuàng)作方向的應(yīng)用和發(fā)展趨勢。

image.png

快手深耕短視頻內(nèi)容創(chuàng)作生態(tài),UGC智能創(chuàng)作降本增效

作為國民短視頻社區(qū),快手用戶日均使用時長99.3分鐘,整體日活達3.792億。在龐大的用戶與流量基礎(chǔ)上,快手形成了富有活力的內(nèi)容創(chuàng)作生態(tài),平臺內(nèi)有300億+原創(chuàng)視頻庫存,每月新增創(chuàng)作者1000w+。其中大部分內(nèi)容是廣大普通用戶創(chuàng)作的,即UGC(User Generated Content)。據(jù)萬鵬飛介紹,UGC強調(diào)人機協(xié)同,內(nèi)容創(chuàng)作的主體是人,技術(shù)輔助人做創(chuàng)作;智能創(chuàng)作則強調(diào)技術(shù)有一定的自動化能力,可在內(nèi)容創(chuàng)作中起到“降本增效”的作用。對應(yīng)到實際產(chǎn)品中,快手系產(chǎn)品的UGC智能創(chuàng)作主要涵蓋了三大類功能:人像美化功能、影音特效功能和獨立創(chuàng)作工具。

人像美化功能:快手的人像美化功能包括美顏、美型、美體、美妝、濾鏡、畫質(zhì)增強等。除經(jīng)典的基于圖形圖像處理的技術(shù)方案外,快手將基于深度學(xué)習(xí)的CV技術(shù)融入到了人像美化中,大幅提升了用戶體驗。例如用神經(jīng)網(wǎng)絡(luò)來提高人像照片的畫質(zhì)或讓照片中的人更年輕,以及通過環(huán)境光照估計使美妝效果在實際場景中更加自然等。

image.png

影音特效功能:除了常見的各種人臉AR裝飾外,特效功能的含義非常廣泛,包括但不限于各種玩法道具、貼紙動效、視頻模板和小游戲等。例如萬物AR玩法是用攝像頭掃描通用物體并觸發(fā)效果(如讓濕紙巾跳舞),活照片玩法可以使一張圖按照特定方式動起來(如前陣子很火的“螞蟻呀嘿”),這些都是特效技術(shù)的范圍。

image.png

獨立創(chuàng)作工具:快手此前已經(jīng)推出“快影”和“一甜相機”等多款受歡迎的工具產(chǎn)品幫助用戶進行視頻和圖像的專業(yè)創(chuàng)作,最近還剛發(fā)布了一款主打高清修圖的“原片”app。除這些產(chǎn)品外,此次大會上萬鵬飛重點介紹了另外兩個比較特別的獨立創(chuàng)作工具。

第一個是虛擬偶像創(chuàng)建和開播工具—A站面捕助手,用戶能以很低的成本創(chuàng)造自己的虛擬形象,并讓虛擬形象跟著自己動起來,進行直播互動和內(nèi)容生產(chǎn)。大大降低了普通人或商家擁有和運營屬于自己的虛擬偶像的門檻。

image.png

第二個是快手特效開放平臺—必揚特效平臺,在這個平臺上,人們可以設(shè)計和創(chuàng)造自己的特效玩法,發(fā)布到快手讓更多人體驗,并可獲得平臺激勵。通過這個方式,短視頻平臺、特效創(chuàng)作者、特效消費者形成了一個互利共贏的生態(tài)。

image.png

CV技術(shù)助力快手短視頻智能創(chuàng)作,五大變化傳達技術(shù)發(fā)展趨勢

短視頻UGC智能創(chuàng)作各種功能的實現(xiàn)大多依托于(但不僅限于)計算機視覺技術(shù),即CV技術(shù)。在演講中,萬鵬飛從產(chǎn)業(yè)應(yīng)用的角度,按照人體感知與重建技術(shù)、環(huán)境感知與重建技術(shù)、像素級語義分析、生成式技術(shù)和多模態(tài)技術(shù)這五個技術(shù)方向進行了介紹。

人體/環(huán)境感知與重建技術(shù):感知和重建是智能創(chuàng)作的重要前提,也是CV領(lǐng)域的重要課題。主要包括點/框檢測、物體/場景識別、動作捕捉、VO/SLAM、3D重建等,這些基礎(chǔ)CV技術(shù)有力保障了快手用戶的創(chuàng)作體驗。

image.png

image.png

像素級語義分析:這方面用途最廣的是分割技術(shù),俗稱摳圖。除了比較常見的人像分割外,萬鵬飛展示了一個快手實時天空分割的案例,不論是窗戶的遮擋,還是建筑與天空的連接處,都分割得非常細膩。除各種分割摳圖外,有時候也需要對畫面中的其他語義信息進行分析,如深度和法線等。

image.png

生成式技術(shù):以生成判別網(wǎng)絡(luò)(GAN)為代表的生成式技術(shù)是近幾年非?;馃岬恼n題。生成式技術(shù)除了可以做各種好玩的特效外(如“童話臉”特效),其應(yīng)用已深入到智能內(nèi)容創(chuàng)作的方方面面。例如傳統(tǒng)的染發(fā)效果是在頭發(fā)上疊加一層顏色,效果很假。用生成式技術(shù)染出來的頭發(fā),則更像是現(xiàn)實中實際染上去的效果。

image.png

多模態(tài)技術(shù):現(xiàn)實世界中人們感受和表達信息大多是多模態(tài)的。一個短視頻,不只有畫面,還有聲音、文本信息等,因此UGC智能創(chuàng)作也應(yīng)該對多模態(tài)信息進行聯(lián)合建模。在智能創(chuàng)作方面,多模態(tài)技術(shù)的落地場景有很多,包括為短視頻配樂、配文案,圖文轉(zhuǎn)視頻,以及文字生成畫面等。

以上這些技術(shù)在實際落地中會面臨很多挑戰(zhàn),包括如何保證算法在各種不同的機型上都能發(fā)揮最好的算法效果且保證運行流暢。如何保證用戶在各種使用場景中能保證算法的魯棒性等。這些都是CV技術(shù)在實際業(yè)務(wù)落地時必須考慮和解決的問題。

image.png

在演講的最后,萬鵬飛展望了短視頻UGC智能創(chuàng)作技術(shù)未來發(fā)展的五大趨勢:“首先是從單模態(tài)到多模態(tài),利用多模態(tài)信息進行智能創(chuàng)作;第二,生成模型會越來越強大。生成的內(nèi)容更加逼真,且生成的過程更加穩(wěn)定可控;第三,內(nèi)容形態(tài)走向虛實融合。虛擬與現(xiàn)實的邊界變得模糊,混合現(xiàn)實技術(shù)很有前景;第四,從輔助制作到輔助創(chuàng)意,技術(shù)需要幫助人們解決內(nèi)容創(chuàng)作中的創(chuàng)意瓶頸問題;最后,計算模式將走向云邊端聯(lián)合計算,強大的計算能力將為用戶解鎖更多更智能的創(chuàng)作體驗” 。

原創(chuàng)文章
最新文章
1
快手集中整治“虛假回收”類違規(guī)行為,保護用戶權(quán)益免遭損失
2
快手直播大舞臺遍地開花,打造現(xiàn)象級文旅新爆款
3
科技副總裁宋婷婷:數(shù)字技術(shù)賦能女性發(fā)展,繁榮生態(tài)綻放“她力量”
4
第三屆北京網(wǎng)絡(luò)視聽藝術(shù)大會成功舉辦,“新大眾文藝”主題研討引熱議
5
美的格力海爾都布局的廚房空調(diào),雞肋還是剛需?
6
電商行業(yè)破局重構(gòu),"618"大促展現(xiàn)六大新趨勢
7
5G-A時代,“大上行”的含金量還在上升
8
新型儲能海外訂單爆增400%,專家提示潛在風(fēng)險
9
蘋果Mac全家桶下半年登場:首發(fā)M5芯片
10
業(yè)界唯一!榮耀Magic V5免費送內(nèi)屏寶
11
618中國電視市場“量額”齊增,品質(zhì)提升成未來主旋律
12
關(guān)稅沖擊下 家電出口的短期承壓與長期破局
13
美越貿(mào)易協(xié)議落地,中國企業(yè)供應(yīng)鏈面臨重塑挑戰(zhàn)
14
vivo X Fold5亮點總結(jié):做蘋果最好搭子?
15
618智能手機市場:蘋果、小米、華為位列前三,價格戰(zhàn)致市場下行
16
鎖定暑期檔“上頭”時刻,快手內(nèi)容消費系列沖量指南來襲
17
第九屆平遙國際電影展產(chǎn)業(yè)板塊新設(shè)“快手聚光短劇計劃”
18
《快手2025反詐治理報告》發(fā)布,AI大模型助力詐騙治理提質(zhì)增效
19
2025年618彩電:國補加碼 彩電市場量價齊升
20
一文讀懂全球eSIM市場全景
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512