從NVIDIA在GTC峰會(huì)上用14秒虛擬人形象以假亂真“騙過”觀眾，到推出Toy-Me等多款虛擬人，在這些虛擬人背后，有著NVIDIA Studio堅(jiān)實(shí)的技術(shù)與堅(jiān)決方案為支撐。

在虛實(shí)共生的時(shí)代趨勢(shì)下，虛擬人、虛擬直播等新興虛擬內(nèi)容正在不斷打開市場(chǎng)，并由此產(chǎn)生了解放創(chuàng)作者生產(chǎn)力、提高生產(chǎn)效率的痛點(diǎn)，并對(duì)技術(shù)工具提出更高的要求。

NVIDIA Studio 基于GPU硬件算力支持，以專業(yè)驅(qū)動(dòng)程序和軟件層面提高傳統(tǒng)生產(chǎn)工具效率，開放多種創(chuàng)作功能SDK，搭建了一條從硬件底層到軟件應(yīng)用的工具生產(chǎn)鏈，從而幫助不同精度需求的虛擬內(nèi)容加速創(chuàng)作過程。

值得注意的是，其中NVIDIA先后推出NVIDIA Broadcast 和 NVIDIA Canvas 等獨(dú)家工具，從直播場(chǎng)景、美術(shù)創(chuàng)意等角度切入，不僅高效滿足專業(yè)內(nèi)容生產(chǎn)者的需求，也以簡(jiǎn)便的操作和多場(chǎng)景適配的特點(diǎn)，降低門檻，讓更多人參與到如虛擬人等3D虛擬交互內(nèi)容的創(chuàng)作中。

隨著創(chuàng)作生態(tài)的建立，作為橫跨企業(yè)級(jí)和消費(fèi)級(jí)的應(yīng)用，NVIDIA Omniverse平臺(tái)，也在不斷拓寬應(yīng)用邊界，匹配更多的虛擬場(chǎng)景，實(shí)現(xiàn)更強(qiáng)的現(xiàn)實(shí)價(jià)值。

NVIDIA Studio和NVIDIA Omniverse 生態(tài)不斷壯大，

釋放虛擬內(nèi)容創(chuàng)作生產(chǎn)力

虛擬人為代表的虛擬內(nèi)容，在當(dāng)前發(fā)展階段，仍存在生產(chǎn)效率低、門檻高等痛點(diǎn)。以虛擬人為例，其制作包含3D模型制作、模型骨骼綁定等多項(xiàng)流程，在直播等場(chǎng)景應(yīng)用時(shí)，還涉及實(shí)時(shí)動(dòng)捕、面部、虛擬場(chǎng)景制作等步驟，對(duì)效率與成本都有較高要求。

此前，NVIDIA能夠快速推出多款風(fēng)格與功能不一的虛擬人，正是依托于NVIDIA Omniverse的虛擬開放平臺(tái)，以豐富便捷的3D工具加速虛擬人內(nèi)容生產(chǎn)與應(yīng)用的工作流。

當(dāng)前直播是虛擬人應(yīng)用的主要場(chǎng)景之一，虛擬直播間的場(chǎng)景布置、直播流暢度等是普遍存在的問題。而NVIDIA Broadcast作為一款依靠AI技術(shù)增強(qiáng)直播視頻和語音質(zhì)量的工具，能夠針對(duì)麥克風(fēng)音源輸入、揚(yáng)聲器和相機(jī)添加預(yù)設(shè)定的不同效果。

舉例來說，傳統(tǒng)軟件降噪方案常以設(shè)置閾值形式開關(guān)聲音輸入，容易丟失大量聲音細(xì)節(jié)，而NVIDIA Broadcast 使用AI技術(shù)，擁有對(duì)自然語言的處理能力，能識(shí)別過濾嘈雜背景音等噪音，又保留主播或中之人真實(shí)聲音。

更便捷的是，NVIDIA Broadcast提供一鍵消除噪音、視頻降噪、虛擬背景等功能，無需創(chuàng)作者進(jìn)行繁瑣的參數(shù)設(shè)置。

在NVIDIA Broadcast中，選中麥克風(fēng)音源，即刻快速為麥克風(fēng)添加噪音消除、回聲消除等多種效果，還可以自由調(diào)節(jié)效果強(qiáng)度

又比如，直播時(shí)固定攝像頭機(jī)位容易丟失中之人臉部位置，無法實(shí)現(xiàn)全程臉部視頻跟蹤。NVIDIA Broadcast輔助動(dòng)態(tài)追蹤主播頭部，自動(dòng)裁剪和縮放使人像處于視頻正中間，確保主播臉部捕捉實(shí)時(shí)映射到虛擬人像中。

而在直播準(zhǔn)備環(huán)節(jié)，找不到一個(gè)適合直播的房間背景是許多非專業(yè)級(jí)主播的痛點(diǎn)，且實(shí)體綠幕摳像效果往往不佳。NVIDIA Broadcast則擁有AI實(shí)現(xiàn)人像識(shí)別和智能摳像功能，為主播提供現(xiàn)成的虛擬背景。此外，非專業(yè)級(jí)攝像頭設(shè)備容易產(chǎn)生視頻噪點(diǎn)， NVIDIA Broadcast還能消除直播視頻中的噪點(diǎn)，還原清晰的視頻影像。

NVIDIA Broadcast中相機(jī)相關(guān)設(shè)置也是一鍵添加效果，在背景替換效果中用戶可以自由選擇背景圖片，也可以添加綠色虛擬背景方便后續(xù)摳像

如果不滿足于現(xiàn)成背景，想自己繪制場(chǎng)景，添加特效創(chuàng)造更個(gè)性化的虛擬人和直播間，NVIDIA Studio中的NVIDIA Canvas 作為一款A(yù)I繪圖工具，能幫助創(chuàng)作者非常簡(jiǎn)便高效地實(shí)現(xiàn)這些需求。NVIDIA Canvas 通過AI轉(zhuǎn)化為場(chǎng)景圖片，以此檢驗(yàn)場(chǎng)景設(shè)計(jì)是否合格，幫助創(chuàng)作者快速迭代以形成理想的虛擬場(chǎng)景設(shè)計(jì)。

從實(shí)際使用來看，創(chuàng)作者僅需繪制簡(jiǎn)筆畫，AI智能算法便可以將草圖變?yōu)閷憣?shí)風(fēng)格畫作。這款軟件的操作邏輯同樣容易理解，創(chuàng)作者根據(jù)想要?jiǎng)?chuàng)作的內(nèi)容選擇“草地”、“雪”、“天空”等材質(zhì)，使用畫筆在畫框中根據(jù)構(gòu)思將大致圖形繪制出來，AI技術(shù)就會(huì)自動(dòng)演算出一幅畫作，這無疑能很大程度提升虛擬場(chǎng)景設(shè)計(jì)效率。

在左邊畫布中只需要用選定的材質(zhì)畫出簡(jiǎn)單的輪廓，AI就會(huì)自動(dòng)補(bǔ)全所有細(xì)節(jié)，即便是沒有任何繪畫基礎(chǔ)的用戶也可以快速制作出一幅寫實(shí)畫作

在近期CES 2022展會(huì)上，NVIDIA還公布了NVIDIA Canvas的全新版本，提升4倍AI生成圖像的分辨率，并升級(jí)成GauGAN 2代，將AI訓(xùn)練的樣本提升到千萬級(jí)別。未來將允許用戶通過輸入自然語言來生成對(duì)應(yīng)AI圖像。此外，NVIDIA還為Canvas增加了五種新的材質(zhì)——花朵、土塊、灌木叢、稻草和泥土，能夠創(chuàng)作出更為豐富的景觀。

從硬件層到應(yīng)用層，NVIDIA Studio如何解決虛擬內(nèi)容創(chuàng)作痛點(diǎn)

包含NVIDIA Broadcast和NVIDIA Canvas在內(nèi)的NVIDIA Studio，之所以能夠解決新時(shí)代虛擬內(nèi)容創(chuàng)作的痛點(diǎn)，關(guān)鍵在于它并不是一套單純的工具集，而是輔助已有數(shù)字內(nèi)容創(chuàng)作工具的平臺(tái)，從硬件底層、AI技術(shù)到軟件應(yīng)用為用戶提供更高效的工作流。

NVIDIA Studio平臺(tái)包括多個(gè)組件與功能：NVIDIA 研發(fā)的高性能RTX GPU硬件；為數(shù)字創(chuàng)作工具提升兼容性和性能的Studio驅(qū)動(dòng)程序；軟件層面的優(yōu)化支持，包括對(duì)各種渲染器、Blender等3D創(chuàng)意應(yīng)用的優(yōu)化；為開發(fā)人員開放的面向視頻處理、3D渲染和AI應(yīng)用等功能的Studio SDK；以及NVIDIA Broadcast、NVIDIA Canvas等創(chuàng)作工具。

這些綜合構(gòu)建的內(nèi)容生產(chǎn)鏈條，正在以技術(shù)創(chuàng)新與迭代解決實(shí)際內(nèi)容生產(chǎn)的問題。

當(dāng)前階段，在虛擬內(nèi)容創(chuàng)作領(lǐng)域，對(duì)精度、應(yīng)用場(chǎng)景和技術(shù)層面的要求越來越高，純粹的軟件應(yīng)用提供商已經(jīng)很難解決現(xiàn)在的生產(chǎn)流程問題，需要從底層硬件出發(fā)來構(gòu)建整套工具鏈條。而NVIDIA Studio能同時(shí)打通硬件層、軟件驅(qū)動(dòng)層、開發(fā)層和應(yīng)用層，為內(nèi)容創(chuàng)作提供全方位的服務(wù)。

以打造虛擬人內(nèi)容為例，GPU硬件底層為創(chuàng)作工具提供基礎(chǔ)的算力，從硬件層支持渲染、光線追蹤和AI運(yùn)算加速；Studio驅(qū)動(dòng)程序提高Blender、3Dmax等虛擬人建模創(chuàng)作工具與硬件的兼容性和可靠性。

Studio SDK則是一個(gè)綜合開發(fā)組件，允許開發(fā)者使用NVIDIA研發(fā)的Riva、Maxine、Avatar等多項(xiàng)功能，調(diào)用Riva功能為虛擬人制作嘴型匹配，基于Maxine為AI視頻會(huì)議加速，通過Avatar SDK使用NVIDIA的技術(shù)創(chuàng)作虛擬人形象。此外，NVIDIA還選擇開放自身技術(shù)庫為虛擬內(nèi)容制作提供多功能定制化支持。

而NVIDIA Broadcast和NVIDIA Canvas更是NVIDIA Studio系統(tǒng)中具有代表性的應(yīng)用。

NVIDIA Broadcast借助NVIDIA RTX GPU 上的 Tensor Cores 專用 AI 處理器。Tensor Cores是一種專為深度學(xué)習(xí)而設(shè)計(jì)的計(jì)算核心，能夠讓圖形視覺處理、自然語言處理、語音識(shí)別與文字轉(zhuǎn)換等功能在GPU上完成高速運(yùn)算。Tensor Cores的AI Denoiser降噪功能能夠還原畫面高保真度的同時(shí)降低渲染所需時(shí)間，確保降噪之后能夠保證攝像頭畫面的流暢。

NVIDIA Canvas則是利用生成式對(duì)抗網(wǎng)絡(luò)（GauGAN）來生成基于AI的畫作。生成式對(duì)抗網(wǎng)絡(luò)包括兩個(gè)模塊——生成器和判別器。生成器根據(jù)創(chuàng)作者挑選的不同筆觸去生成對(duì)應(yīng)的圖像，之后將生成的圖像傳輸?shù)脚袆e器中與數(shù)百萬現(xiàn)實(shí)世界的樣本進(jìn)行比對(duì)，根據(jù)現(xiàn)實(shí)世界的規(guī)則輸出最后的圖像。

例如在NVIDIA Canvas實(shí)際操作中，在海面中繪制石塊AI將生成礁石而非普通巖石，這便是生成式對(duì)抗網(wǎng)絡(luò)基于現(xiàn)實(shí)世界而智能生成的AI圖像。

不止于內(nèi)容創(chuàng)作，NVIDIA Studio拓展虛擬場(chǎng)景邊界

在虛實(shí)共生的趨勢(shì)下，市場(chǎng)不僅需要虛擬內(nèi)容，也需要更廣闊的虛擬場(chǎng)景。而NVIDIA Studio 的應(yīng)用邊界不止于在虛擬人等虛擬內(nèi)容領(lǐng)域，也在為更多場(chǎng)景提供解決方案。

最典型的場(chǎng)景之一莫過于虛擬會(huì)議場(chǎng)景。在全球疫情影響下，線上視頻會(huì)議的價(jià)值被進(jìn)一步放大。而NVIDIA Broadcast 不僅能夠支持虛擬直播，同樣能夠?yàn)榫€上視頻會(huì)議創(chuàng)造更好的體驗(yàn)。

如在居家辦公情況下，雜亂的背景和室外噪音影響參會(huì)人員注意力，NVIDIA Broadcast 能夠連接Zoom等視頻會(huì)議軟件，營(yíng)造專業(yè)級(jí)視頻會(huì)議環(huán)境。

而NVIDIA Canvas的生成式對(duì)抗網(wǎng)絡(luò)也被運(yùn)用于除藝術(shù)創(chuàng)作外的多個(gè)行業(yè)，NVIDIA 曾表示，生成式對(duì)抗網(wǎng)絡(luò)技術(shù)已經(jīng)被保健組織當(dāng)做探索型治療工具。

此外，NVIDIA Studio所提供的SDK讓用戶可以調(diào)動(dòng) NVIDIA RTX GPU算力和AI技術(shù)支持的功能，以創(chuàng)造更多工具，適配更多虛擬場(chǎng)景。

例如，開發(fā)者可以通過NVIDIA Studio的Maxine SDK自由構(gòu)建一個(gè)AI 助理，根據(jù)NVIDIA 的設(shè)想，未來使用Maxine SDK創(chuàng)建的AI助理能夠在更多方面幫助用戶的實(shí)際生活需求，包括協(xié)助汽車駕駛、停車，智能規(guī)劃行車路線，調(diào)整駕駛模式等等。而Project Tokkio則是一款基于Maxine SDK的人工智能，應(yīng)用于漢堡點(diǎn)餐自動(dòng)售貨機(jī)，能夠與用戶自由對(duì)話，根據(jù)用戶的需求和口味推薦相應(yīng)的漢堡產(chǎn)品。

值得注意的是，作為跨企業(yè)級(jí)和消費(fèi)級(jí)的重要應(yīng)用，NVIDIA Studio最終落地在 Omniverse平臺(tái)上，不僅助力虛擬內(nèi)容創(chuàng)作，更是為創(chuàng)建一個(gè)全新且真實(shí)的虛擬世界。其應(yīng)用不僅限于各類虛擬內(nèi)容生產(chǎn)，更可用于工業(yè)、汽車等多領(lǐng)域，實(shí)現(xiàn)跨行業(yè)的應(yīng)用。這也讓NVIDIA Studio體系具備了更多現(xiàn)實(shí)意義的價(jià)值。

EW-Entertainment

近期主題·相關(guān)內(nèi)容