2019年7月31日,第46屆國際計算機圖形與交互技術(shù)大會SIGGRAPH正在美國洛杉磯如火如荼進行中。這是全球規(guī)模最大、影響最廣,同時也是最權(quán)威的一個集科學(xué)、藝術(shù)、商業(yè)于一體的CG展示、學(xué)術(shù)研討會。
從148篇技術(shù)論文、12場主題會議到185家世界著名企業(yè)現(xiàn)場展示技術(shù),該大會的每一項成果,都代表著計算機圖形學(xué)與交互的最新突破。
戴上NVIDIA的最新的Prescription AR和Foveated AR頭顯,可以透過眼鏡清晰地看到自己漂浮于現(xiàn)實世界的光學(xué)投影;躺在麻省理工學(xué)院媒體實驗室的沙發(fā)上,戴上頭顯,就可以得到舒服的放松和體驗;佩戴臺北科技大學(xué)的面部VR裝備,還能實時感受到冷熱液體在面部的流動感……
雖然現(xiàn)場眾多AR、VR設(shè)備已足以抓人眼球,但記者的注意力還是被一個以3D虛擬形象為主題的展臺所深深吸引。這個名為“FaceUnity”(杭州相芯科技有限公司)的展臺被人群擠得滿滿當(dāng)當(dāng),記者還未走近,就聽到了一陣陣的“oh my god”驚呼聲,讓人不由得好奇滿滿,急切地想一睹真容。
到底是什么樣的先進技術(shù),具有如此神奇的魅力?帶著這份好奇,記者走進了該展臺,并現(xiàn)場采訪了該公司負責(zé)人。
再造一個“你”
步入該展臺,最先映入眼簾的就是一臺塞滿了虛擬形象的電視。而剛剛的驚呼聲,就由此而來。每個人只要走近電視,等上3秒,屏幕就能立即生成與你相似且Q萌的3D虛擬形象,且無論你離開多久,只要再次出現(xiàn),它就能立即認出“你”,并實時顯示出另一個“你”。
FaceUnity工作人員告訴記者,這是其自主研發(fā)的PTA(Photo-to-Avatar)技術(shù),可以根據(jù)用戶上傳的自拍照片,在云端對其進行分析和重建,從而生成相似且美觀的3D虛擬形象。
該技術(shù)基于深度學(xué)習(xí)算法,融合了肖像神經(jīng)網(wǎng)絡(luò)和風(fēng)格化神經(jīng)網(wǎng)絡(luò)兩個組件。肖像網(wǎng)絡(luò)負責(zé)定位和提取人臉的特征信息,包括臉型、五官、皮膚、發(fā)型、胡子、眼鏡等,并通過和風(fēng)格化網(wǎng)絡(luò)的相互作用,重建具有本人特征的風(fēng)格化虛擬形象;風(fēng)格化網(wǎng)絡(luò)將真人形象進行風(fēng)格化定制。
相比市面上的其他產(chǎn)品用素材庫分析來匹配生成3D虛擬形象,F(xiàn)aceUnity的技術(shù)是通過神經(jīng)網(wǎng)絡(luò)來提取人臉特征,并實時生成3D虛擬形象,真正做到了“千人千面”。
從記者的現(xiàn)場體驗來看,無論人臉怎么運動,或嘟嘴,或張嘴,或大笑,或沮喪,屏幕中的“自己”都能實時呈現(xiàn)出一樣的狀態(tài),且沒有任何遲滯感。同時,在3D虛擬形象生成與互動的基礎(chǔ)上,F(xiàn)aceUnity還提供不同維度的“捏臉”服務(wù),換臉型、眼型、嘴型、鼻型不再話下,換發(fā)型、胡子、眼睛、帽子、衣服更是選擇多多,兼具科技感與趣味性。
此外,該產(chǎn)品還自帶AR濾鏡,并支持單人合影、多人合影和動畫場景,眼看著屏幕中的“自己”一會置身山水間熱情舞蹈,一會又跑到集裝箱前蹦蹦跳跳,記者差點笑到臉僵。
在SIGGRAPH現(xiàn)場親眼見證一鍵生成3D虛擬形象的高科技,讓人不由得地感嘆:3D虛擬世界真的要來了!
和“虛擬形象”對話
當(dāng)記者還沉浸在“虛擬形象”的互動體驗中時,旁邊的“Alice”早已與一位小哥聊得火熱了。要不是看到屏幕上方有英文引導(dǎo)問題,記者還以為是小哥開著視頻在與自己的“女朋友”聯(lián)絡(luò)感情呢!
“Alice”是一位長相甜美、專業(yè)十足的問答助手,記者現(xiàn)場與她進行了多輪對話,她都回答得很流暢,且面部與口型都極為吻合,毫無違和感,就像在與真人對話一樣。
談及“Alice”的實現(xiàn)原理,F(xiàn)aceUnity的工作人員立即就滔滔不絕了。這是基于FaceUnity自主研發(fā)的另一項新技術(shù)——STA(Speech-to-Animation)。這一技術(shù)結(jié)合了人工智能與計算機圖形學(xué),可以實時解算語音對應(yīng)的發(fā)音口型,并精細驅(qū)動虛擬形象面部表情,實現(xiàn)動畫的音畫同步呈現(xiàn)。
有了這一技術(shù),F(xiàn)aceUnity成功打造了一批卡通版和真人版的虛擬主播、虛擬助手、虛擬客服、虛擬偶像等一系列應(yīng)用場景。在現(xiàn)場,工作人員拿起一臺手機,向記者一一介紹起了不同形象的應(yīng)用場景。
比如虛擬主播可以應(yīng)用在傳媒行業(yè),幫助該行業(yè)提高視頻制作效率,告別傳統(tǒng)視頻制作方式,迎來“只需輸入文本或語音就能實時生成播報視頻”的新時代。
比如,虛擬客服可以應(yīng)用至醫(yī)療行業(yè),幫助該行業(yè)告別冷冰冰“你打字我回答”的服務(wù)方式,迎來“虛擬醫(yī)生7x24小時全天候線上線下專業(yè)咨詢”的全新服務(wù)方式;
比如,虛擬助手可以應(yīng)用至交通行業(yè),幫助該該行業(yè)告別“只問其聲不見其人”的車載系統(tǒng),迎來“既見其人更知其好”的全新駕乘體驗。
……
與“Alice”對話越久,記者越深刻地覺得,如果各行各業(yè)都能擁有一批獨具個性且專業(yè)十足的“員工”,那么人力成本高漲、缺乏人性化服務(wù)體驗、難以滿足不同用戶個性化需求等行業(yè)“共病”,終有一天將會消失在歷史的長河中。
用3D內(nèi)容“造夢”
除了讓3D虛擬形象走入各行各業(yè)外,F(xiàn)aceUnity還能用3D技術(shù)創(chuàng)造出什么不一樣的體驗?zāi)兀?/p>
看到展臺左邊的宣傳視頻,記者心中有了底。上一秒美顏,下一秒玩轉(zhuǎn)貼紙,再一回頭,又換上萌萌噠的小黃鴨“腦袋”……這些可不就是當(dāng)下潮爆的人臉特效玩法嗎?
FaceUnity工作人員說,這些都是基于人臉檢測與跟蹤技術(shù)的AR特效。表情識別、背景分割、手勢識別、海報換臉、音樂濾鏡等,足足有16款之多,分分鐘打破了記者對人臉特效玩法的認知局限。
作為一名天然愛美又忙得難以收拾自己的女性,記者在體驗了各款人臉特效后,最愛的還是美妝。因為,它的效果真的太自然了。只要打開手機,切換美妝頁面,記者就瞬間完成了上妝,柳葉眉、丹鳳眼、雙色眼影、貓眼眼線……要多“性感”就有多性感。
如果不喜歡“性感”妝,還有硬漢、甜美、鄰家、歐美、嫵媚等各款妝容可隨意切換,足足有30款之多,這簡直就是21世紀人類的美妝“神器”!一個月,每天妝容都不重樣,想想都美好,有沒有!
記者了解到,目前FaceUnity還在開發(fā)新的人臉AR特效,且已著手在開發(fā)更多酷炫的各類特效玩法。相信未來,以3D內(nèi)容為載體,F(xiàn)aceUnity一定可以創(chuàng)造出更多有趣的玩法、新奇的體驗,及更美好的3D虛擬世界。
FaceUnity —— 讓創(chuàng)作更簡單,讓交互更自然
FaceUnity專注于智能圖形技術(shù)的創(chuàng)新與應(yīng)用,為移動互聯(lián)網(wǎng)、VR/AR等領(lǐng)域提供3D內(nèi)容生成與互動的行業(yè)解決方案,致力于好萊塢特效技術(shù)在消費級應(yīng)用中的普及。
FaceUnity目前擁有增強現(xiàn)實視頻SDK(AR Video SDK,包括表情識別/人臉AR濾鏡和道具/視頻美顏/視頻分割/手勢識別等)、虛擬化身創(chuàng)建服務(wù)PTA(Photo-to-Avatar,從一張照片生成虛擬形象/自主裝扮虛擬形象/與虛擬形象互動等)、語音動畫合成引擎STA(虛擬主播/虛擬客服/虛擬助手等)等多款產(chǎn)品,覆蓋了短視頻、直播、社交、新零售、智能家居、廣告、醫(yī)療、媒體等多個領(lǐng)域,已服務(wù)400余家客戶。
FaceUnity研發(fā)團隊由業(yè)內(nèi)重量級科學(xué)家領(lǐng)銜,在3D圖形、計算機視覺、VR/AR領(lǐng)域擁有20余年研發(fā)經(jīng)驗。2018年,F(xiàn)aceUnity與浙江大學(xué)合作成立“浙江大學(xué)—相芯科技智能圖形計算聯(lián)合實驗室”,深耕智能圖形技術(shù)創(chuàng)新,培養(yǎng)高端人才,形成對產(chǎn)業(yè)發(fā)展的引導(dǎo)力。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!