從NVIDIA在GTC峰會上用14秒虛擬人形象以假亂真“騙過”觀眾，到推出Toy-Me等多款虛擬人，在這些虛擬人背后，有著NVIDIA Studio堅實的技術(shù)與堅決方案為支撐。

在虛實共生的時代趨勢下，虛擬人、虛擬直播等新興虛擬內(nèi)容正在不斷打開市場，并由此產(chǎn)生了解放創(chuàng)作者生產(chǎn)力、提高生產(chǎn)效率的痛點，并對技術(shù)工具提出更高的要求。

NVIDIA Studio 基于GPU硬件算力支持，以專業(yè)驅(qū)動程序和軟件層面提高傳統(tǒng)生產(chǎn)工具效率，開放多種創(chuàng)作功能SDK，搭建了一條從硬件底層到軟件應(yīng)用的工具生產(chǎn)鏈，從而幫助不同精度需求的虛擬內(nèi)容加速創(chuàng)作過程。

值得注意的是，其中NVIDIA先后推出NVIDIA Broadcast 和 NVIDIA Canvas 等獨家工具，從直播場景、美術(shù)創(chuàng)意等角度切入，不僅高效滿足專業(yè)內(nèi)容生產(chǎn)者的需求，也以簡便的操作和多場景適配的特點，降低門檻，讓更多人參與到如虛擬人等3D虛擬交互內(nèi)容的創(chuàng)作中。

隨著創(chuàng)作生態(tài)的建立，作為橫跨企業(yè)級和消費級的應(yīng)用，NVIDIA Omniverse平臺，也在不斷拓寬應(yīng)用邊界，匹配更多的虛擬場景，實現(xiàn)更強的現(xiàn)實價值。

NVIDIA Studio和NVIDIA Omniverse 生態(tài)不斷壯大，

釋放虛擬內(nèi)容創(chuàng)作生產(chǎn)力

虛擬人為代表的虛擬內(nèi)容，在當前發(fā)展階段，仍存在生產(chǎn)效率低、門檻高等痛點。以虛擬人為例，其制作包含3D模型制作、模型骨骼綁定等多項流程，在直播等場景應(yīng)用時，還涉及實時動捕、面部、虛擬場景制作等步驟，對效率與成本都有較高要求。

此前，NVIDIA能夠快速推出多款風格與功能不一的虛擬人，正是依托于NVIDIA Omniverse的虛擬開放平臺，以豐富便捷的3D工具加速虛擬人內(nèi)容生產(chǎn)與應(yīng)用的工作流。

當前直播是虛擬人應(yīng)用的主要場景之一，虛擬直播間的場景布置、直播流暢度等是普遍存在的問題。而NVIDIA Broadcast作為一款依靠AI技術(shù)增強直播視頻和語音質(zhì)量的工具，能夠針對麥克風音源輸入、揚聲器和相機添加預(yù)設(shè)定的不同效果。

舉例來說，傳統(tǒng)軟件降噪方案常以設(shè)置閾值形式開關(guān)聲音輸入，容易丟失大量聲音細節(jié)，而NVIDIA Broadcast 使用AI技術(shù)，擁有對自然語言的處理能力，能識別過濾嘈雜背景音等噪音，又保留主播或中之人真實聲音。

更便捷的是，NVIDIA Broadcast提供一鍵消除噪音、視頻降噪、虛擬背景等功能，無需創(chuàng)作者進行繁瑣的參數(shù)設(shè)置。

在NVIDIA Broadcast中，選中麥克風音源，即刻快速為麥克風添加噪音消除、回聲消除等多種效果，還可以自由調(diào)節(jié)效果強度

又比如，直播時固定攝像頭機位容易丟失中之人臉部位置，無法實現(xiàn)全程臉部視頻跟蹤。NVIDIA Broadcast輔助動態(tài)追蹤主播頭部，自動裁剪和縮放使人像處于視頻正中間，確保主播臉部捕捉實時映射到虛擬人像中。

而在直播準備環(huán)節(jié)，找不到一個適合直播的房間背景是許多非專業(yè)級主播的痛點，且實體綠幕摳像效果往往不佳。NVIDIA Broadcast則擁有AI實現(xiàn)人像識別和智能摳像功能，為主播提供現(xiàn)成的虛擬背景。此外，非專業(yè)級攝像頭設(shè)備容易產(chǎn)生視頻噪點， NVIDIA Broadcast還能消除直播視頻中的噪點，還原清晰的視頻影像。

NVIDIA Broadcast中相機相關(guān)設(shè)置也是一鍵添加效果，在背景替換效果中用戶可以自由選擇背景圖片，也可以添加綠色虛擬背景方便后續(xù)摳像

如果不滿足于現(xiàn)成背景，想自己繪制場景，添加特效創(chuàng)造更個性化的虛擬人和直播間，NVIDIA Studio中的NVIDIA Canvas 作為一款A(yù)I繪圖工具，能幫助創(chuàng)作者非常簡便高效地實現(xiàn)這些需求。NVIDIA Canvas 通過AI轉(zhuǎn)化為場景圖片，以此檢驗場景設(shè)計是否合格，幫助創(chuàng)作者快速迭代以形成理想的虛擬場景設(shè)計。

從實際使用來看，創(chuàng)作者僅需繪制簡筆畫，AI智能算法便可以將草圖變?yōu)閷憣嶏L格畫作。這款軟件的操作邏輯同樣容易理解，創(chuàng)作者根據(jù)想要創(chuàng)作的內(nèi)容選擇“草地”、“雪”、“天空”等材質(zhì)，使用畫筆在畫框中根據(jù)構(gòu)思將大致圖形繪制出來，AI技術(shù)就會自動演算出一幅畫作，這無疑能很大程度提升虛擬場景設(shè)計效率。

在左邊畫布中只需要用選定的材質(zhì)畫出簡單的輪廓，AI就會自動補全所有細節(jié)，即便是沒有任何繪畫基礎(chǔ)的用戶也可以快速制作出一幅寫實畫作

在近期CES 2022展會上，NVIDIA還公布了NVIDIA Canvas的全新版本，提升4倍AI生成圖像的分辨率，并升級成GauGAN 2代，將AI訓練的樣本提升到千萬級別。未來將允許用戶通過輸入自然語言來生成對應(yīng)AI圖像。此外，NVIDIA還為Canvas增加了五種新的材質(zhì)——花朵、土塊、灌木叢、稻草和泥土，能夠創(chuàng)作出更為豐富的景觀。

從硬件層到應(yīng)用層，NVIDIA Studio如何解決虛擬內(nèi)容創(chuàng)作痛點

包含NVIDIA Broadcast和NVIDIA Canvas在內(nèi)的NVIDIA Studio，之所以能夠解決新時代虛擬內(nèi)容創(chuàng)作的痛點，關(guān)鍵在于它并不是一套單純的工具集，而是輔助已有數(shù)字內(nèi)容創(chuàng)作工具的平臺，從硬件底層、AI技術(shù)到軟件應(yīng)用為用戶提供更高效的工作流。

NVIDIA Studio平臺包括多個組件與功能：NVIDIA 研發(fā)的高性能RTX GPU硬件；為數(shù)字創(chuàng)作工具提升兼容性和性能的Studio驅(qū)動程序；軟件層面的優(yōu)化支持，包括對各種渲染器、Blender等3D創(chuàng)意應(yīng)用的優(yōu)化；為開發(fā)人員開放的面向視頻處理、3D渲染和AI應(yīng)用等功能的Studio SDK；以及NVIDIA Broadcast、NVIDIA Canvas等創(chuàng)作工具。

這些綜合構(gòu)建的內(nèi)容生產(chǎn)鏈條，正在以技術(shù)創(chuàng)新與迭代解決實際內(nèi)容生產(chǎn)的問題。

當前階段，在虛擬內(nèi)容創(chuàng)作領(lǐng)域，對精度、應(yīng)用場景和技術(shù)層面的要求越來越高，純粹的軟件應(yīng)用提供商已經(jīng)很難解決現(xiàn)在的生產(chǎn)流程問題，需要從底層硬件出發(fā)來構(gòu)建整套工具鏈條。而NVIDIA Studio能同時打通硬件層、軟件驅(qū)動層、開發(fā)層和應(yīng)用層，為內(nèi)容創(chuàng)作提供全方位的服務(wù)。

以打造虛擬人內(nèi)容為例，GPU硬件底層為創(chuàng)作工具提供基礎(chǔ)的算力，從硬件層支持渲染、光線追蹤和AI運算加速；Studio驅(qū)動程序提高Blender、3Dmax等虛擬人建模創(chuàng)作工具與硬件的兼容性和可靠性。

Studio SDK則是一個綜合開發(fā)組件，允許開發(fā)者使用NVIDIA研發(fā)的Riva、Maxine、Avatar等多項功能，調(diào)用Riva功能為虛擬人制作嘴型匹配，基于Maxine為AI視頻會議加速，通過Avatar SDK使用NVIDIA的技術(shù)創(chuàng)作虛擬人形象。此外，NVIDIA還選擇開放自身技術(shù)庫為虛擬內(nèi)容制作提供多功能定制化支持。

而NVIDIA Broadcast和NVIDIA Canvas更是NVIDIA Studio系統(tǒng)中具有代表性的應(yīng)用。

NVIDIA Broadcast借助NVIDIA RTX GPU 上的 Tensor Cores 專用 AI 處理器。Tensor Cores是一種專為深度學習而設(shè)計的計算核心，能夠讓圖形視覺處理、自然語言處理、語音識別與文字轉(zhuǎn)換等功能在GPU上完成高速運算。Tensor Cores的AI Denoiser降噪功能能夠還原畫面高保真度的同時降低渲染所需時間，確保降噪之后能夠保證攝像頭畫面的流暢。

NVIDIA Canvas則是利用生成式對抗網(wǎng)絡(luò)（GauGAN）來生成基于AI的畫作。生成式對抗網(wǎng)絡(luò)包括兩個模塊——生成器和判別器。生成器根據(jù)創(chuàng)作者挑選的不同筆觸去生成對應(yīng)的圖像，之后將生成的圖像傳輸?shù)脚袆e器中與數(shù)百萬現(xiàn)實世界的樣本進行比對，根據(jù)現(xiàn)實世界的規(guī)則輸出最后的圖像。

例如在NVIDIA Canvas實際操作中，在海面中繪制石塊AI將生成礁石而非普通巖石，這便是生成式對抗網(wǎng)絡(luò)基于現(xiàn)實世界而智能生成的AI圖像。

不止于內(nèi)容創(chuàng)作，NVIDIA Studio拓展虛擬場景邊界

在虛實共生的趨勢下，市場不僅需要虛擬內(nèi)容，也需要更廣闊的虛擬場景。而NVIDIA Studio 的應(yīng)用邊界不止于在虛擬人等虛擬內(nèi)容領(lǐng)域，也在為更多場景提供解決方案。

最典型的場景之一莫過于虛擬會議場景。在全球疫情影響下，線上視頻會議的價值被進一步放大。而NVIDIA Broadcast 不僅能夠支持虛擬直播，同樣能夠為線上視頻會議創(chuàng)造更好的體驗。

如在居家辦公情況下，雜亂的背景和室外噪音影響參會人員注意力，NVIDIA Broadcast 能夠連接Zoom等視頻會議軟件，營造專業(yè)級視頻會議環(huán)境。

而NVIDIA Canvas的生成式對抗網(wǎng)絡(luò)也被運用于除藝術(shù)創(chuàng)作外的多個行業(yè)，NVIDIA 曾表示，生成式對抗網(wǎng)絡(luò)技術(shù)已經(jīng)被保健組織當做探索型治療工具。

此外，NVIDIA Studio所提供的SDK讓用戶可以調(diào)動 NVIDIA RTX GPU算力和AI技術(shù)支持的功能，以創(chuàng)造更多工具，適配更多虛擬場景。

例如，開發(fā)者可以通過NVIDIA Studio的Maxine SDK自由構(gòu)建一個AI 助理，根據(jù)NVIDIA 的設(shè)想，未來使用Maxine SDK創(chuàng)建的AI助理能夠在更多方面幫助用戶的實際生活需求，包括協(xié)助汽車駕駛、停車，智能規(guī)劃行車路線，調(diào)整駕駛模式等等。而Project Tokkio則是一款基于Maxine SDK的人工智能，應(yīng)用于漢堡點餐自動售貨機，能夠與用戶自由對話，根據(jù)用戶的需求和口味推薦相應(yīng)的漢堡產(chǎn)品。

值得注意的是，作為跨企業(yè)級和消費級的重要應(yīng)用，NVIDIA Studio最終落地在 Omniverse平臺上，不僅助力虛擬內(nèi)容創(chuàng)作，更是為創(chuàng)建一個全新且真實的虛擬世界。其應(yīng)用不僅限于各類虛擬內(nèi)容生產(chǎn)，更可用于工業(yè)、汽車等多領(lǐng)域，實現(xiàn)跨行業(yè)的應(yīng)用。這也讓NVIDIA Studio體系具備了更多現(xiàn)實意義的價值。

EW-Entertainment

近期主題·相關(guān)內(nèi)容