輝達和新創遊戲公司Inworld AI等合作 生成式AI建立維妙維肖的虛擬化身

半導體

AI晶片大廠輝達(NVIDIA)台北時間3月19日宣布,於各行業居領導地位的人工智慧(AI)應用開發商正運用 NVIDIA 數位人技術,為商業應用和動態遊戲的人物角色建立創建出維妙維肖的數位化身。這些創作成果將在本週於美國加州聖荷西舉行的全球AI領域盛會 GTC大會上展出,可以在 HippocraticAI、Inworld AI、UneeQ 等公司所展示的技術中看到。

Inworld AI是一家新創遊戲公司,去年和微軟Xbox合作打造基於AI的遊戲開發工具,這家新創公司獲得英特爾、迪士尼、微軟的投資,在遊戲產業被視為未來之星,此次和輝達合作讓遊戲畫面更為逼真,即所謂「光線追蹤」效果等更為順暢。

而HippocraticAI公司才成立一年,但把大型語言模型導入醫療保健產業的商業模式非常受到矽谷創投資金喜愛,宣布和輝達合作的同天,《金融時報》等財經媒體報導其剛獲得矽谷5億美元的創投資金。

導入生成式AI技術,模擬真人維妙維肖

UneeQ則位於紐西蘭的AI新創公司,全名是UneeQ Digital Humans,上該公司網站就可以發現,該公司以打造數位擬真人、數位人(Digital Humans)為主,因此需要生成AI在影像、聲音上的支援。

輝達將在本週於美國加州聖荷西舉行的全球AI領域盛會 GTC大會上展出最新應用AI技術的模擬真人成果。 (圖片來源/輝達提供)


輝達表示,這類的開發者可以運用於製作語音和動畫的 NVIDIA Avatar Cloud Engine(ACE)、用於語言的 NVIDIA NeMo™,以及用於光線追蹤渲染的 NVIDIA RTX™ 等建構模組,創作出有能力在AI支援下,以自然語言進行互動的數位人,讓對話更加真實和引人入勝。 

NVIDIA 開發者與效能技術部門副總裁 John Spitzer 表示:「NVIDIA 為開發者提供了一套用於創作數位人的世界級AI技術。這些技術可以支援創作複雜的動畫和對話語音,讓數位互動內容更有真實感。」

聲音畫面和光線,將讓人以假亂真

數位人技術套件包括在AI支援下用於語言、語音、動畫和圖形的技術,NVIDIA ACE 這項技術可以幫助開發者運用由 NVIDIA Audio2Face™ 提供支援的臉部動畫,以及由 NVIDIA Riva 自動語音辨識(ASR)和文字轉語音(TTS)技術支援的語音,讓數位人栩栩如生。

ACE 微服務在使用上非常靈活,能夠按照本地端 GPU 的能力在雲端和 PC 上運行模型。此外,在遊戲和應用程式中做到即時路徑追蹤功能上,輝達推出NVIDIA NeMo 和NVIDIA RTX – 集合了 RTX 全域照明(RTXGI)和 DLSS 3.5 等渲染技術。
 
輝達表示,與 Hippocratic AI、Inworld AI 和 UneeQ 等多個產業的領導開發商合作打造了一系列新的展示內容,以展示其數位人(Digital Humans)製作技術的新功能。 

首家應用大型語言模型在醫療產業,HippocraticAI將和輝達合作

HippocraticAI 開發出一個以安全為重點,在大型語言模型(LLM)的支援下針對特定任務的醫療保健代理。該代理可以打電話聯絡患者、追蹤照護協調工作、提供術前指導、執行出院後管理等。NVIDIA 與 HippocraticAI 在 GTC 大會合作擴大其解決方案的規模,使用 NVIDIA ACE 微服務等 來展示運用生成式AI開發醫療保健代理數位化身的潛力。 

自主數位人平台 UneeQ 專門用於為客戶服務和互動式應用程式建立AI虛擬化身。它的數位人在網路上代表品牌即時與客戶溝通交流,讓他們對購買充滿信心。UneeQ 平台採用 NVIDIA Audio2Face 微服務並搭配 Synanim ML,以建立維妙維肖的虛擬化身,提供更優質的客戶體驗和參與度。 

UneeQ 創辦人暨執行長 Danny Tomsett 表示:「UneeQ 將 NVIDIA 在製作動畫方面的人工智慧技術加上我們自己的 Synanim ML 合成動畫技術,能夠即時做到數位人機互動,而這種互動能夠對情感做出反應,並且提供在對話式AI技術支援下的動態體驗。」 

創作出遊戲中活靈活現的NPC,更多AI功能應用在遊戲中

NVIDIA ACE 這套技術用於創作出栩栩如生的遊戲人物角色。Inworld AI 與 NVIDIA 合作開發出的全新技術展示內容《Covert Protocol》,突破了遊戲中角色互動的界限。Inworld 的AI引擎整合了 NVIDIA Riva 和 NVIDIA Audio2Face,前者能夠做到精確的語音轉文字,後者能夠做出逼真的臉部表情。 

Inworld 的AI引擎採用多模態方法來表現非玩家角色(NPC),將認知、感知和行為系統結合在一起,在製作精美的環境中藉由超厲害的 RTX 渲染角色,營造出身臨其境的敘事效果。 

採用 ACE 的開發商與平台有 Convai、Cyber Agent、Data Monsters、勤業眾信、HippocraticAI、IGOODI、Inworld AI、Media.Monks、米哈遊、網易遊戲、完美世界、Openstream、掌趣科技、Quantiphi、樂天證券、Slalom、SoftServe、騰訊、Top Health Tech、Ubisoft、UneeQ 及 Unions Avatars。