廣州熱線

隨著 Z 世代的到來，元宇宙概念正在應用于多個領域，虛擬主播也開始成為新的表現(xiàn)形式，這里面就包括了快手官方虛擬主播“關小芳”。這位 23 歲的虛擬主播自首次亮相以來，便憑借著討喜的人設逐漸成長為快手粉絲喜愛的全能主播。

12 月 25 日，快手與 NVIDIA 強勢聯(lián)合，邀請?zhí)摂M主播關小芳與它背后的 NVIDIA 程序員小姐姐 Alice，與廣大粉絲玩黑科技過圣誕！真人與虛擬主播的完美碰撞，恰逢世界杯剛剛落下帷幕，本場直播還引入了虛擬足球賽，與在線粉絲同頻互動，更有多種魔法表情的玩法挑戰(zhàn)，只為帶給粉絲最好的互動體驗。

本場直播共有 382 萬人次觀眾參與了本次直播，有效觀看用戶數(shù)達 435.7 萬，實時最高在線人數(shù) 3.7 萬。在關小芳和 Alice 的帶隊下，粉絲們對于人工智能、加速計算、虛擬數(shù)字技術有了進一步的理解。

　　1、 一場加時球賽點亮2022年的平安夜

2022 卡塔爾世界杯為人們奉上了無數(shù)精彩時刻，球迷們除了聚焦綠茵場上的角逐，也在比賽之外感受著濃厚的世界杯氛圍。本次直播就新增了一場加時球賽，讓球迷們過“足”癮。

有機會參賽的粉絲，入場后會自動生成虛擬形象，進入到不同的陣營。比賽開始后，奔跑、跳躍的操控非常絲滑，如同身臨其境！更有變大的特效效果，增加了比賽的可玩性，現(xiàn)場感十足。除了真實感、沉浸感以外，這個球賽最特別的是，每個參與的粉絲都會由于他們不同的活動軌跡而看到不同的場景，實現(xiàn)虛擬互動“千人千面”的效果。

據悉，直播中展示的小芳圣誕足球賽，是由快手推出的「快手虛擬演播助手（Kuaishou Virtual Studio（KVS）」軟件來實現(xiàn)的。KVS 可以讓傳統(tǒng)直播間變成“元宇宙直播間”，為智能文娛、虛擬拍攝、直播電商等帶來新的機遇。KVS 支持主播實時表情和動作驅動數(shù)字人，置身精美的 3D 虛擬世界場景中，還支持觀眾化身 avatar 第角進一人稱視入“元宇宙直播間”，實現(xiàn)與主播和其他用戶的個性化沉浸式互動。KVS 具備優(yōu)秀的易用性，可有效提升直播間人氣和消費， 更好傳遞品牌價值。

在構建高品質直播畫面的過程中，往往會面臨許多挑戰(zhàn)，這些挑戰(zhàn)在沉浸式的元宇宙足球賽中要求更高。NVIDIA 全棧式 AI 加速平臺可加速和增強直播所需的視頻、圖形。憑借全新的 NVIDIA Ampere 架構、更完善的視頻編解碼器、RT Core 核心、Tensor Core 核心、統(tǒng)一的 CUDA 架構以及大量 SDK 和軟件工具，為直播各環(huán)節(jié)提供全面支持。

在足球賽中，每一個自動走動的形象，以及參與互動用戶自己的獨特視角實現(xiàn)，都體現(xiàn)了云端并行渲染能力的支持。NVIDIA CloudXR 是一個在廣域網下助力 XR 內容傳輸?shù)脑其秩窘鉀Q方案，可以很好地豐富 XR 內容。通過 NVIDIA GPU 的加持，再經由網絡傳輸，可以輕松串流到各個不同的電子設備上，包括 AR 眼鏡、VR 頭盔等。有了 NVIDIA CloudXR 的編解碼和串流能力，精美的畫質，順暢的體驗唾手可得。這種模式打破了過往統(tǒng)一畫面的視覺體驗，讓觀眾更有參與感，能和主播更接近。在這個過程中，NVIDIA GPU 就像能量池一樣，為直播間源源不斷地提供儲備好的算力能量。

2、揭秘關小芳背后的硬核科技和應用場景

在本次直播中，最引人矚目的莫過于關小芳的小伙伴——來自 NVIDIA 的程序員小姐姐 Alice，也是關小芳背后的開發(fā)人員之一。

關小芳是快手首個基于多模樣 AI 捕捉驅動能力和實時真實感渲染打造的虛擬主播。很多粉絲在體驗之余，也不禁好奇：關小芳是如何實現(xiàn)與粉絲實時互動交流的？她背后的技術又是什么？

據 Alice 介紹，數(shù)字人的生產可以拆分成人物建模、人物渲染、人物驅動和感知交互四個作業(yè)環(huán)節(jié)。完成建模后，會做進一步的美化設計及渲染。最后讓中之人穿上動捕設備，進行實時的動作表情捕捉，來驅動虛擬人的活動。

NVIDIA 專為 3D 協(xié)作、逼真渲染及仿真打造了 NVIDIA Omniverse平臺。借助Omniverse Avatar Cloud Engine（ACE）引擎能力，能夠加速虛擬人生產的每個作業(yè)環(huán)節(jié)，將虛擬人的創(chuàng)作周期大幅縮短，創(chuàng)建出具備 3D 光追的特性，還能夠和人類實現(xiàn)交互，并合理理解以及表達其意圖的數(shù)字人。

直播中展示的 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的數(shù)字分身“Toy Jensen”唱圣誕歌的畫面，就展示了最新的語音驅動面部情緒的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face，Audio2Gesture 以及 Face vid2vid 等算法工具，虛擬數(shù)字人的語音和表情還能得到進一步的優(yōu)化和升級，未來將支持關小芳與粉絲更好地互動交流。

在互動中，關小芳和 Alice 還展示了酷炫的特效、道具以及多款魔法表情，包括快手最新研發(fā)出來的 張鳳琴這局我贏定了 的新春魔法表情。在該款魔表互動中，關小芳的好朋友，同樣由快手研發(fā)的虛擬歌手“神奇少女張鳳琴”，與用戶拍攝的虛擬形象坐在炕上打撲克嘮家常，非常喜慶。配合視頻默認的聲音臺詞，用戶眨眼、張嘴、抬眉毛、吐舌頭等微表情和細微動作都能被精準還原，十分逗趣。

在技術層面，數(shù)字人特效道具的的本質是一種數(shù)字資產，基于收集到的動作數(shù)據/3D 資產等，加上算法模擬和渲染，在 NVIDIA 計算加持下，實現(xiàn)酷炫的特效和有趣的道具使用。比如關小芳手持的道具，就是先制作這個美術資產后，確定好手部和道具的位置關系，通過按鍵、手勢或其它觸發(fā)方式呈現(xiàn)出來。又比如小芳使用了大哭特效，開發(fā)人員會提前收集小芳大哭的動作數(shù)據，再加上眼淚的 3D 資產，利用算法將兩者融合起來，形成小芳大哭。又比如小芳非常喜歡的翅膀道具，在這里翅膀是一種 3D 資產，小芳會提前進行飛翔的動作模擬，最后用算法融合有飛翔動作的小芳和翅膀，并通過渲染，最終達到小芳飛翔的效果。

直播間特效，則分為 2D 特效和 3D 特效，是先設計好呈現(xiàn)效果，再進行開發(fā)的。相比道具，直播間特效會有一些交互上的考慮，比如人臉表情變化是否產生不同特效，比如特效是否隨時間變化有所變化等。

比如，在本次直播中看到的圣誕樹點亮、放煙花等一系列的直播間特效，是得益于 NVIDIA 的 AI 加速計算和低時延渲染加以實現(xiàn)。以虛擬人和虛擬空間為載體，基于實時的數(shù)據，對虛擬物體進行實時的渲染，這種互動玩法的設計，背后都有它的觸發(fā)機制，比如圣誕樹點亮，就是當點贊數(shù)增加到一定程度就能觸發(fā)點亮這個動作?；?NVIDIA GPU 進行的低延時渲染，保證了觀眾都能看到并且參與到這個變化的過程，感受沉浸式互動的樂趣。

3、強強聯(lián)合 推動直播形式新元

快手作為國民短視頻平臺，與 NVIDIA 打造的本次圣誕專場直播，不僅異于其他直播形式，同時出現(xiàn)眾多直播領域新技術，新玩法，其中以虛擬互動“千人千面”的技術最為突出，為粉絲們帶來沉浸感十足的打卡互動體驗。此次快手與 NVIDIA 的強強聯(lián)合，不僅能在傳統(tǒng)直播形式的基礎上創(chuàng)新發(fā)展，帶給粉絲們更加新穎的、互動性更強的直播內容，同時也能夠激發(fā)科技產品創(chuàng)新能力，為未來打造更加信息化、科技化的產品打下基礎，激活競爭力，誕生更有利的價值。科技源于生活，也同時服務于生活，相信在雙方團隊的碰撞下，快手將持續(xù)在內容理解、視頻特效、數(shù)字人、直播等領域持續(xù)創(chuàng)新，將更多優(yōu)質內容分享給廣大用戶。