近日，2021全球人工智能技術(shù)大會在杭州召開。本次大會匯集來自世界各地的人工智能領(lǐng)域?qū)＜遥餐瑸槿斯ぶ悄艿奈磥戆l(fā)展建言獻策。在6月5日召開的計算機視覺專題論壇上，快手Y-tech部門AI技術(shù)平臺負責(zé)人萬鵬飛受邀發(fā)表了題為《短視頻UGC智能創(chuàng)作中的計算機視覺技術(shù)》的演講，從產(chǎn)業(yè)的角度分享了計算機視覺技術(shù)在短視頻智能創(chuàng)作方向的應(yīng)用和發(fā)展趨勢。

快手深耕短視頻內(nèi)容創(chuàng)作生態(tài)，UGC智能創(chuàng)作降本增效

作為國民短視頻社區(qū)，快手用戶日均使用時長99.3分鐘，整體日活達3.792億。在龐大的用戶與流量基礎(chǔ)上，快手形成了富有活力的內(nèi)容創(chuàng)作生態(tài)，平臺內(nèi)有300億+原創(chuàng)視頻庫存，每月新增創(chuàng)作者1000w+。其中大部分內(nèi)容是廣大普通用戶創(chuàng)作的，即UGC（User Generated Content）。據(jù)萬鵬飛介紹，UGC強調(diào)人機協(xié)同，內(nèi)容創(chuàng)作的主體是人，技術(shù)輔助人做創(chuàng)作；智能創(chuàng)作則強調(diào)技術(shù)有一定的自動化能力，可在內(nèi)容創(chuàng)作中起到“降本增效”的作用。對應(yīng)到實際產(chǎn)品中，快手系產(chǎn)品的UGC智能創(chuàng)作主要涵蓋了三大類功能：人像美化功能、影音特效功能和獨立創(chuàng)作工具。

人像美化功能：快手的人像美化功能包括美顏、美型、美體、美妝、濾鏡、畫質(zhì)增強等。除經(jīng)典的基于圖形圖像處理的技術(shù)方案外，快手將基于深度學(xué)習(xí)的CV技術(shù)融入到了人像美化中，大幅提升了用戶體驗。例如用神經(jīng)網(wǎng)絡(luò)來提高人像照片的畫質(zhì)或讓照片中的人更年輕，以及通過環(huán)境光照估計使美妝效果在實際場景中更加自然等。

影音特效功能：除了常見的各種人臉AR裝飾外，特效功能的含義非常廣泛，包括但不限于各種玩法道具、貼紙動效、視頻模板和小游戲等。例如萬物AR玩法是用攝像頭掃描通用物體并觸發(fā)效果（如讓濕紙巾跳舞），活照片玩法可以使一張圖按照特定方式動起來（如前陣子很火的“螞蟻呀嘿”），這些都是特效技術(shù)的范圍。

獨立創(chuàng)作工具：快手此前已經(jīng)推出“快影”和“一甜相機”等多款受歡迎的工具產(chǎn)品幫助用戶進行視頻和圖像的專業(yè)創(chuàng)作，最近還剛發(fā)布了一款主打高清修圖的“原片”app。除這些產(chǎn)品外，此次大會上萬鵬飛重點介紹了另外兩個比較特別的獨立創(chuàng)作工具。

第一個是虛擬偶像創(chuàng)建和開播工具—A站面捕助手，用戶能以很低的成本創(chuàng)造自己的虛擬形象，并讓虛擬形象跟著自己動起來，進行直播互動和內(nèi)容生產(chǎn)。大大降低了普通人或商家擁有和運營屬于自己的虛擬偶像的門檻。

第二個是快手特效開放平臺—必揚特效平臺，在這個平臺上，人們可以設(shè)計和創(chuàng)造自己的特效玩法，發(fā)布到快手讓更多人體驗，并可獲得平臺激勵。通過這個方式，短視頻平臺、特效創(chuàng)作者、特效消費者形成了一個互利共贏的生態(tài)。

CV技術(shù)助力快手短視頻智能創(chuàng)作，五大變化傳達技術(shù)發(fā)展趨勢

短視頻UGC智能創(chuàng)作各種功能的實現(xiàn)大多依托于（但不僅限于）計算機視覺技術(shù)，即CV技術(shù)。在演講中，萬鵬飛從產(chǎn)業(yè)應(yīng)用的角度，按照人體感知與重建技術(shù)、環(huán)境感知與重建技術(shù)、像素級語義分析、生成式技術(shù)和多模態(tài)技術(shù)這五個技術(shù)方向進行了介紹。

人體/環(huán)境感知與重建技術(shù)：感知和重建是智能創(chuàng)作的重要前提，也是CV領(lǐng)域的重要課題。主要包括點/框檢測、物體/場景識別、動作捕捉、VO/SLAM、3D重建等，這些基礎(chǔ)CV技術(shù)有力保障了快手用戶的創(chuàng)作體驗。

像素級語義分析：這方面用途最廣的是分割技術(shù)，俗稱摳圖。除了比較常見的人像分割外，萬鵬飛展示了一個快手實時天空分割的案例，不論是窗戶的遮擋，還是建筑與天空的連接處，都分割得非常細膩。除各種分割摳圖外，有時候也需要對畫面中的其他語義信息進行分析，如深度和法線等。

生成式技術(shù)：以生成判別網(wǎng)絡(luò)（GAN）為代表的生成式技術(shù)是近幾年非?；馃岬恼n題。生成式技術(shù)除了可以做各種好玩的特效外（如“童話臉”特效），其應(yīng)用已深入到智能內(nèi)容創(chuàng)作的方方面面。例如傳統(tǒng)的染發(fā)效果是在頭發(fā)上疊加一層顏色，效果很假。用生成式技術(shù)染出來的頭發(fā)，則更像是現(xiàn)實中實際染上去的效果。

多模態(tài)技術(shù)：現(xiàn)實世界中人們感受和表達信息大多是多模態(tài)的。一個短視頻，不只有畫面，還有聲音、文本信息等，因此UGC智能創(chuàng)作也應(yīng)該對多模態(tài)信息進行聯(lián)合建模。在智能創(chuàng)作方面，多模態(tài)技術(shù)的落地場景有很多，包括為短視頻配樂、配文案，圖文轉(zhuǎn)視頻，以及文字生成畫面等。

以上這些技術(shù)在實際落地中會面臨很多挑戰(zhàn)，包括如何保證算法在各種不同的機型上都能發(fā)揮最好的算法效果且保證運行流暢。如何保證用戶在各種使用場景中能保證算法的魯棒性等。這些都是CV技術(shù)在實際業(yè)務(wù)落地時必須考慮和解決的問題。

在演講的最后，萬鵬飛展望了短視頻UGC智能創(chuàng)作技術(shù)未來發(fā)展的五大趨勢：“首先是從單模態(tài)到多模態(tài)，利用多模態(tài)信息進行智能創(chuàng)作；第二，生成模型會越來越強大。生成的內(nèi)容更加逼真，且生成的過程更加穩(wěn)定可控；第三，內(nèi)容形態(tài)走向虛實融合。虛擬與現(xiàn)實的邊界變得模糊，混合現(xiàn)實技術(shù)很有前景；第四，從輔助制作到輔助創(chuàng)意，技術(shù)需要幫助人們解決內(nèi)容創(chuàng)作中的創(chuàng)意瓶頸問題；最后，計算模式將走向云邊端聯(lián)合計算，強大的計算能力將為用戶解鎖更多更智能的創(chuàng)作體驗” 。