“你會(huì)看到一個(gè)永恒的主題——Omniverse如何被用來(lái)模擬倉(cāng)庫(kù)、工廠、物理和生物系統(tǒng)、5G邊緣、機(jī)器人、自動(dòng)駕駛汽車，甚至化身數(shù)字孿生，”11月9日，英偉達(dá)CEO黃仁勛GTC大會(huì)上表示。

用于探索“元宇宙”的Omniverse是英偉達(dá)開發(fā)的實(shí)時(shí)仿真和協(xié)作平臺(tái)，“Omniverse與游戲引擎大不相同，其是面向數(shù)據(jù)中心規(guī)模設(shè)計(jì)的，有朝一日有望能達(dá)到全球數(shù)據(jù)規(guī)模。Omniverse的門戶是USD（Universal Scene Description，通用場(chǎng)景描述），本質(zhì)上是一個(gè)數(shù)字蟲洞。將人和計(jì)算機(jī)連接到Omniverse，并將一個(gè)Omniverse世界連接到另一個(gè)世界，USD之于Omniverse就像HTML（網(wǎng)頁(yè)）之于網(wǎng)站，”黃仁勛表示。

此前，據(jù)英偉達(dá)介紹Omniverse的運(yùn)作分為三個(gè)大的部分。

第一部分，數(shù)據(jù)庫(kù)引擎Omniverse Nucleus，用戶可在此連接并進(jìn)行 3D 資產(chǎn)和場(chǎng)景描述的交換，需要進(jìn)行建模、布局、陰影、動(dòng)畫、照明、特效或渲染的設(shè)計(jì)師可以一起協(xié)作創(chuàng)建場(chǎng)景。

第二則是合成、渲染和動(dòng)畫引擎——虛擬世界的模擬，比如英偉達(dá)的圖形技術(shù)可以實(shí)時(shí)模擬每條光線如何在虛擬世界中反射。

第三部分是NVIDIA CloudXR，它包括客戶端和服務(wù)器軟件，可用于將擴(kuò)展現(xiàn)實(shí)內(nèi)容從 OpenVR 應(yīng)用程序傳輸?shù)?nbsp;Android和 Windows設(shè)備，允許用戶進(jìn)出Omniverse。

黃仁勛在GTC大會(huì)的主題演講中最新介紹了Omniverse Replicator和Omniverse Avatar。

Omniverse Replicator是一種合成數(shù)據(jù)生成引擎，目的是幫助構(gòu)建更好的數(shù)字孿生體。一個(gè)值得注意的用例是Nvidia Isaac Sim ，“使用 Isaac 進(jìn)行數(shù)據(jù)復(fù)制可以在充滿合成數(shù)據(jù)的世界中測(cè)試機(jī)器人的虛擬實(shí)例，”英偉達(dá)嵌入式與邊緣計(jì)算副總裁兼總經(jīng)理 Deepu Talla說(shuō)，“在物理領(lǐng)域訓(xùn)練機(jī)器人真的很難。在模擬中這樣做更便宜、更安全、更快?！贝送?，他補(bǔ)充道，由于數(shù)據(jù)是合成的，那么可以跳過(guò)訓(xùn)練機(jī)器學(xué)習(xí)模型的“標(biāo)注”步驟，因?yàn)橄到y(tǒng)已經(jīng)知道在虛擬世界里的對(duì)應(yīng)對(duì)象應(yīng)該是什么。

這也可以應(yīng)用到自動(dòng)駕駛中，“我們利用 Omniverse 進(jìn)行車輛訓(xùn)練和測(cè)試的模擬，以確保它們的安全，”Nvidia 汽車副總裁 Danny Shapiro表示，“使用合成數(shù)據(jù)在模擬道路條件下測(cè)試自動(dòng)駕駛軟件可以節(jié)省時(shí)間和金錢，簡(jiǎn)化標(biāo)記環(huán)境中物體等問(wèn)題，并最終與車輛在現(xiàn)實(shí)條件下的行為相協(xié)調(diào)。”

Omniverse Avatar用于創(chuàng)建可與人類交互的AI化身。黃仁勛在主題演講中展示了按照他的聲音和形象制作的“Toy-Me”，一個(gè)可以理解人類提出的復(fù)雜問(wèn)題并做出回應(yīng)的語(yǔ)音交互AI。

這項(xiàng)技術(shù)集合了英偉達(dá)在語(yǔ)音AI、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、推薦引擎和模擬技術(shù)方面的技術(shù)。上圖的模擬“黃仁勛”是一個(gè)具有光線追蹤3D圖形的交互式角色，他可以和人類談?wù)搹V泛的主題，并理解人類說(shuō)話者的意圖，黃仁勛的虛擬動(dòng)畫形象“Jensen”就很好回答了“氣候變化帶來(lái)的最大威脅是什么”、“天文學(xué)家如何尋找系外行星”等問(wèn)題。

Avatar語(yǔ)言識(shí)別的背后技術(shù)包括Riva，一種用于處理高級(jí)語(yǔ)音AI的新型大型軟件開發(fā)工具包；Avatar的自然語(yǔ)言理解是基于Megatron 530B大型語(yǔ)言模型。

值得注意的是，最新版本的Nvidia Riva對(duì)話式AI軟件開發(fā)套件中可以使用Riva Custom Voice，它利用半監(jiān)督學(xué)習(xí)為軟件、IVR和其他業(yè)務(wù)應(yīng)用程序創(chuàng)建合成的、定制的語(yǔ)音。據(jù)黃仁勛介紹，只需 30分鐘的訓(xùn)練數(shù)據(jù)，這項(xiàng)對(duì)話式人工智能技術(shù)已經(jīng)改進(jìn)到可以根據(jù)任何語(yǔ)音生成合成語(yǔ)音。

黃仁勛認(rèn)為，這些助手幾乎可以為任何行業(yè)輕松定制，幫助處理數(shù)十億日?？蛻舻姆?wù)互動(dòng)，包括餐廳點(diǎn)單、銀行交易等等。

外媒《Venture Beat》表示，借助Riva自定義語(yǔ)音，英偉達(dá)就可以與谷歌并駕齊驅(qū)。2019年，谷歌在其云文本轉(zhuǎn)語(yǔ)音服務(wù)中推出了新的人工智能合成WaveNet語(yǔ)音。其也提出對(duì)于可能帶來(lái)的語(yǔ)音濫用的擔(dān)心，比如模擬語(yǔ)言進(jìn)行詐騙。

GTC大會(huì)（GPU Technology Conference）于2009 年在加利福尼亞州圣何塞第一次舉辦，是英偉達(dá)的旗艦活動(dòng)，一直是英偉達(dá)向外界傳遞重要信息的渠道。最初專注于通過(guò) GPU 解決計(jì)算挑戰(zhàn)的潛力。近年來(lái)，會(huì)議重點(diǎn)轉(zhuǎn)向人工智能和深度學(xué)習(xí)的各種應(yīng)用，比如自動(dòng)駕駛汽車、醫(yī)療保健、高性能計(jì)算、和深度學(xué)習(xí)等。

今年秋季場(chǎng)黃仁勛在主題演講里強(qiáng)調(diào)了對(duì)Omniverse的未來(lái)期待，他透露：英偉達(dá)將建立一個(gè)E-2（Earth Two，地球二號(hào)），這是一個(gè)地球數(shù)字孿生模型，目的是模擬和預(yù)測(cè)長(zhǎng)期的氣候變化。

從Facebook改名“Meta”，到微軟把混合現(xiàn)實(shí)（MR）平臺(tái)融入到視頻會(huì)議工具Teams中，英偉達(dá)似乎也是在鉚足了力布局“元宇宙”。