文｜財(cái)報(bào)看公司 文斌
2022江蘇衛(wèi)視跨年演唱會(huì)上，周深與鄧麗君一曲跨越時(shí)空的合唱讓人久久不能自已。但當(dāng)人們從歌曲的旋律中回過(guò)頭來(lái)，大家更感興趣的，或許是鄧麗君這樣虛擬形象應(yīng)當(dāng)如何構(gòu)建。
畢竟，元宇宙已經(jīng)來(lái)了，而在這個(gè)顏值即正義的時(shí)代，我們真實(shí)的長(zhǎng)相沒(méi)得選擇，元宇宙的長(zhǎng)相卻可以定制。
有需求就會(huì)有市場(chǎng)，讓人在虛擬世界“長(zhǎng)”出一張好看的臉這件事自然也早就有人在做。
2021年年初，Epic Game公司旗下的虛幻引擎平臺(tái)發(fā)布了一款新的工具M(jìn)etaHuman Creator，宣稱(chēng)能夠讓任何人在幾分鐘里創(chuàng)造一個(gè)配備完整骨骼、毛發(fā)和服裝的數(shù)字人形象。
在韓國(guó)，有人已經(jīng)通過(guò)MetaHuman Creator制造的虛擬形象在游戲直播平臺(tái)上成為網(wǎng)紅，年入千萬(wàn)。在國(guó)內(nèi)，類(lèi)似的AI捏臉技術(shù)其實(shí)也早已在《逆水寒》《天諭》《永劫無(wú)間》等諸多游戲中落地。
然而，作為AI捏臉技術(shù)的構(gòu)建者，AI捏臉師的幕后故事卻不太被人們所知。
但最近，隨著元宇宙概念的風(fēng)起，在虛擬世界里塑造一個(gè)更真實(shí)的人物形象成為建設(shè)元宇宙的基礎(chǔ)技術(shù)之一，像晚豐一樣長(zhǎng)期從事AI捏臉技術(shù)研究的工程師們也開(kāi)始被推到了前臺(tái)。
所以這一次，商業(yè)數(shù)據(jù)派也訪談了網(wǎng)易伏羲的幾位AI“捏臉師”，看看在他們眼中，一個(gè)新興的職業(yè)從幕后到臺(tái)前，究竟經(jīng)歷了怎樣的故事？而面對(duì)已經(jīng)乘風(fēng)而起的元宇宙，他們又期望技術(shù)給世界帶來(lái)怎樣的改變？
顏值即正義的虛擬世界，捏臉是第一步
顏值即正義，進(jìn)入元宇宙的第一步就是創(chuàng)建一個(gè)虛擬形象。
經(jīng)常玩游戲的朋友都會(huì)知道，為了增強(qiáng)體驗(yàn)，現(xiàn)在很多游戲都會(huì)設(shè)置一個(gè)環(huán)節(jié)，讓玩家可以為自己的角色親手塑造一個(gè)形象。
2013年，韓國(guó)游戲廠商N(yùn)CSoft推出的一款主打東方武俠和捏臉系統(tǒng)的游戲《劍靈》在國(guó)內(nèi)爆火。從此之后，捏臉系統(tǒng)就逐漸成為了絕大多數(shù)MMORPG類(lèi)游戲中不可或缺的一部分。2018年，網(wǎng)易推出一款大型端游《逆水寒》，其中就包含了捏臉系統(tǒng)。
“當(dāng)時(shí)的捏臉系統(tǒng)很復(fù)雜，幾十上百個(gè)滑塊，調(diào)整各種參數(shù)，普通玩家要好幾天才能捏出一個(gè)自己的形象?！盇I捏臉師，網(wǎng)易伏羲視覺(jué)技術(shù)負(fù)責(zé)人神秀說(shuō)道：“這個(gè)流程太復(fù)雜，我們希望開(kāi)發(fā)一個(gè)AI算法，讓每一個(gè)用戶(hù)都能用一張照片在游戲中快速創(chuàng)建讓自己滿(mǎn)意的形象?！?/p>
“我們最初的構(gòu)想是，希望AI能夠模仿真實(shí)人類(lèi)在捏臉時(shí)的反饋，比如我先捏一個(gè)初稿，然后和用戶(hù)上傳的圖像對(duì)比，看看哪里不像，比如說(shuō)眼睛、嘴巴，然后再針對(duì)性地去調(diào)整。然后再對(duì)比，再調(diào)整，如此反復(fù)，最終讓兩者無(wú)限的接近一致?！?/p>
說(shuō)起來(lái)容易，但做起來(lái)卻并不簡(jiǎn)單。
“剛拿到這個(gè)課題的時(shí)候是最難的。”神秀告訴商業(yè)數(shù)據(jù)派：“因?yàn)檎麄€(gè)業(yè)界在之前都沒(méi)有人做過(guò)這個(gè)事，沒(méi)有先例可以借鑒?！?/p>
首先就是如何捏臉的問(wèn)題，當(dāng)時(shí)伏羲內(nèi)部其實(shí)也從不同角度討論了許多方法，但最終只有兩種是比較成熟可行的。
一種是從骨骼捏臉的角度去做嘗試，這種方式比較成熟，也比較適合現(xiàn)有的一套產(chǎn)業(yè)化流程，所以在游戲中落地也比較容易。但它的缺點(diǎn)就是沒(méi)有那么像。
另一種方案就是從人臉重建的角度去嘗試，這套方案可以完全重建人臉的三維貼圖，甚至人臉皮膚的每一個(gè)褶皺。但它的缺點(diǎn)就是計(jì)算的耗時(shí)會(huì)比較長(zhǎng)，然后同步也會(huì)比較困難，這也讓它不太適合游戲的場(chǎng)景。
確定了如何捏臉，第二個(gè)問(wèn)題就是如何落地。網(wǎng)易伏羲技術(shù)負(fù)責(zé)人木白告訴我們，捏臉這項(xiàng)技術(shù)，早期主要就是服務(wù)雷火游戲，所以直接的問(wèn)題就是如何與游戲系統(tǒng)相結(jié)合。
按照最初的設(shè)計(jì)，捏臉系統(tǒng)采用深度學(xué)習(xí)算法編寫(xiě)。但要與游戲相結(jié)合，就需要把游戲的渲染系統(tǒng)引入到深度學(xué)習(xí)算法里面去調(diào)優(yōu)。而問(wèn)題是，游戲的渲染系統(tǒng)沒(méi)有辦法讀懂AI的數(shù)學(xué)參數(shù)。
面對(duì)這些問(wèn)題，再三衡量之后，伏羲最終決定在基于神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上再開(kāi)發(fā)一套游戲渲染系統(tǒng)，從而將整個(gè)pipeline（綜合解決方案）打通。
在一系列研發(fā)的問(wèn)題解決之后，本以為之后的工作會(huì)輕松一些，但另一個(gè)新的問(wèn)題又出現(xiàn)了，而且這個(gè)問(wèn)題還是一直埋頭開(kāi)發(fā)的程序員們之前一直沒(méi)想到的。
“使用這套系統(tǒng)，需要玩家上傳一張照片的，所以在游戲中我們會(huì)提示玩家上傳一張正臉照片?！鄙裥愀嬖V我們：“在我們的預(yù)想中，玩家提供的照片是正臉、角度正常、然后光照是均勻的、手也不要抖。”
“但大多數(shù)玩家不會(huì)聽(tīng)你的，即使你的提示寫(xiě)的很誠(chéng)懇，他們也是隨便一拍完事。這樣自動(dòng)捏臉的效果肯定就不會(huì)好，所以許多玩家就會(huì)說(shuō)，這個(gè)系統(tǒng)真垃圾?！?/p>
“我們肯定也會(huì)感到很委屈，但也很快認(rèn)識(shí)到自己的錯(cuò)誤。”神秀回顧道：“我們一開(kāi)始預(yù)設(shè)的是一個(gè)理想的實(shí)驗(yàn)室環(huán)境，真實(shí)的線(xiàn)上環(huán)境肯定不是這樣的，它會(huì)面臨許多干擾，比如拍攝時(shí)的光照，不同設(shè)備的拍攝條件，是否手抖等等?！?/p>
“另一個(gè)錯(cuò)誤則是，我們一開(kāi)始設(shè)想的是讓玩家來(lái)配合技術(shù)，而不是技術(shù)去適應(yīng)玩家，所以沒(méi)考慮到之前那些問(wèn)題。”
根據(jù)這些情況，網(wǎng)易伏羲團(tuán)隊(duì)依靠提高算法的魯棒性，讓隨手拍的照片都能被識(shí)別。除此之外，還對(duì)算法做了進(jìn)一步的加速，減少了玩家的等待時(shí)間，也會(huì)適當(dāng)?shù)貙?duì)虛擬形象做一些美化。
在與玩家不斷的“碰撞”下，捏臉系統(tǒng)也逐漸得到完善。
技術(shù)男學(xué)化妝
雖然AI捏臉的開(kāi)發(fā)過(guò)程并不容易，但事實(shí)上，有些難題反而會(huì)讓這個(gè)過(guò)程變得更加有趣。
“你肯定很難想象我們一堆做技術(shù)的直男，會(huì)去看美妝視頻，研究口紅色號(hào)?！鄙裥阈φ劦?。
事情起因，神秀和同事們?cè)谧瞿竽標(biāo)惴ǖ臅r(shí)候，發(fā)現(xiàn)許多女玩家會(huì)傾向于把自己好看的照片，比如美顏或者妝后的照片拿上來(lái)，這和男玩家有很大不同，男玩家可能就是隨便拍一下。
“在我們最初的認(rèn)知里，女生化妝就等于涂口紅嘛。所以就想加一個(gè)口紅，相當(dāng)于給女玩家的捏臉加上了妝容?！鄙裥慊貞浀溃骸拔覀儙讉€(gè)男生也討論過(guò)，比如說(shuō)口紅有幾種顏色，但是我們沒(méi)有人知道，所以最后就隨便拍板定了三種顏色認(rèn)為應(yīng)該足夠了?！?/p>
“后來(lái)這件事情被產(chǎn)品經(jīng)理發(fā)現(xiàn)了，我們就被噴了?！鄙裥阌行┎缓靡馑迹骸拔覀儺a(chǎn)品是個(gè)女生，她告訴我們口紅有多少種色號(hào)。而不止我們之前定的紅色、橘色、大粉紅色。”
這件事情之所以會(huì)被如此在意，是因?yàn)榘凑账惴?，為了讓捏臉的效果更自然、精?zhǔn)，帶有妝容的照片一般都需要先進(jìn)行檢測(cè)和還原，捏完臉之后再匹配一些系統(tǒng)的妝容。
因此，要讓系統(tǒng)自動(dòng)實(shí)現(xiàn)這個(gè)過(guò)程，工程師在編寫(xiě)算法的時(shí)候自然也需要對(duì)女生妝容的效果有一些基本的了解，比如高光、陰影、眉毛的造型、腮紅的款式、霧面感、亂神感等等。
“事情鬧出了笑話(huà)，所以我們后面就真的去B站、各種短視頻上學(xué)習(xí)化妝?！鄙裥阏f(shuō)道：“看了之后才知道，原來(lái)化妝還有這么多步驟，什么眼影、腮紅、遮瑕、陰影等等，我們從中也了解到許多神奇的知識(shí)。”
“我會(huì)在B站上看一些仿妝，像之前很火的范冰冰仿妝?！蓖瑸槟竽槑煹耐碡S說(shuō)道：“算不上系統(tǒng)的學(xué)習(xí)，就是會(huì)關(guān)注、了解，然后發(fā)展成為一個(gè)業(yè)余愛(ài)好，了解這些之后，起碼和女朋友聊到化妝話(huà)題的時(shí)候就不會(huì)再接不上話(huà)了?！?/p>
“現(xiàn)在我們比之前好多了，起碼不會(huì)再將化妝和涂口紅劃上等號(hào)，看到一些妝容也能大概能知道她可能涂了什么?！鄙裥阏f(shuō)道。
除了化妝，從事這份工作之后，對(duì)人的了解也會(huì)加深入。晚豐告訴商業(yè)數(shù)據(jù)派，因?yàn)槟竽樈?jīng)常會(huì)了解一些人的面部結(jié)構(gòu)，比如中庭長(zhǎng)短、三庭五眼之類(lèi)的。工作久了之后，個(gè)人審美也會(huì)提升一些。
晚豐提到，他是2020年初進(jìn)入這個(gè)崗位，至今已經(jīng)快兩年了。和一些科班出身的同事不同，晚豐在學(xué)校的專(zhuān)業(yè)是自動(dòng)化，后來(lái)一直做視覺(jué)AI相關(guān)的工作。進(jìn)入智能捏臉這個(gè)項(xiàng)目，除了團(tuán)隊(duì)內(nèi)部機(jī)緣巧合之外，更大程度也在于自己的興趣。
日常休息的時(shí)候，晚豐也會(huì)去游戲中體驗(yàn)自己開(kāi)發(fā)的系統(tǒng)，捏一些的自己喜歡的角色。當(dāng)一個(gè)喜歡的二次元形象通過(guò)自己開(kāi)發(fā)的系統(tǒng)逐漸變得鮮活的時(shí)候，就會(huì)感受到一種特別喜悅。
“而且通過(guò)我們開(kāi)發(fā)的算法，讓更多地人都能夠感受到開(kāi)心的時(shí)候，其實(shí)是很自豪的。”晚豐告訴商業(yè)數(shù)據(jù)派，捏臉和其他產(chǎn)品不同，這份工作直接服務(wù)于用戶(hù)，能夠和用戶(hù)直接交流，能夠給玩家?guī)?lái)快樂(lè)，這本身就是一件很酷的事情。
捏臉，也是在捏世界
此前，捏臉最主要應(yīng)用在游戲的世界，但元宇宙的來(lái)臨，讓虛擬形象有了更多用武之地。
在2020年，由于新冠疫情在全球范圍的影響，線(xiàn)上會(huì)議、活動(dòng)、交流變得越來(lái)越尋常，捏臉技術(shù)曾經(jīng)有限的使用場(chǎng)景也開(kāi)始迎來(lái)了改變的契機(jī)。
這其中，一個(gè)非常重要的時(shí)間是2020年7月24日，在一個(gè)名叫動(dòng)物森友會(huì)的游戲中，一場(chǎng)世界頂級(jí)的學(xué)術(shù)會(huì)議正在準(zhǔn)備開(kāi)始。
雖然是在游戲世界，但主持人仍然鄭重地表示：“很抱歉這場(chǎng)活動(dòng)出現(xiàn)了一些延遲，但現(xiàn)在我很高興地宣布 ACAI 2020 Workshop 正式開(kāi)始?！?/p>
作為世界頂級(jí)的學(xué)術(shù)會(huì)議，ACAI 2020 Workshop 在游戲世界舉辦打開(kāi)了虛擬世界舉辦嚴(yán)肅會(huì)議的大門(mén)。
這一年，作為第二屆國(guó)際分布式人工智能學(xué)術(shù)會(huì)議（DAI2020）的主辦方，南京大學(xué)也面臨線(xiàn)下疫情的困擾。
南京大學(xué)老師找到網(wǎng)易，提出想將活動(dòng)搬到線(xiàn)上舉辦的想法，雙方由此一拍即合。于是，依托最早一個(gè)版本的瑤臺(tái)，DAI2020搬到了線(xiàn)上舉辦。
于是，300余位AI領(lǐng)域?qū)W者在網(wǎng)易游戲《逆水寒》中參與了DAI2020大會(huì)，學(xué)者們上傳照片就可以實(shí)現(xiàn)自動(dòng)AI捏臉，讓線(xiàn)上的學(xué)術(shù)會(huì)議也有了線(xiàn)下的真實(shí)感。
“除了外部的需求，公司內(nèi)部也有許多會(huì)議的需求，比如公司年會(huì)、招聘，以及一些遠(yuǎn)程的討論會(huì)等等?！鄙裥愀嬖V商業(yè)數(shù)據(jù)派。
“我們后來(lái)在游戲捏臉基礎(chǔ)上還做了一版迭代，在不依賴(lài)游戲捏臉系統(tǒng)本身的情況下去實(shí)現(xiàn)一個(gè)完全重建的游戲捏臉?biāo)惴?。這一次嘗試，也讓我們得以解鎖捏臉在更多場(chǎng)景的應(yīng)用，比如網(wǎng)易沉浸式活動(dòng)平臺(tái)瑤臺(tái)就是這套算法的落地?！?/p>
今年12月網(wǎng)易云音樂(lè)在港交所上市，其中線(xiàn)上部分就是在瑤臺(tái)中進(jìn)行的。2000年29歲的丁磊和2021年50歲的丁磊，與線(xiàn)下真實(shí)的丁磊同時(shí)敲下上市的銅鑼?zhuān)瑢?shí)現(xiàn)了三個(gè)“丁磊”跨時(shí)空對(duì)話(huà)的奇特場(chǎng)景。
顯然，從動(dòng)森中的ACAI 2020 Workshop到網(wǎng)易云音樂(lè)的敲鐘，再到近期百度發(fā)布“希壤”，越來(lái)越多活動(dòng)開(kāi)始選擇在虛擬平臺(tái)中舉辦，而捏臉成為人們?cè)谔摂M世界中建立認(rèn)知，獲得真實(shí)感的第一步。
“在不同的場(chǎng)景中，我們會(huì)希望表現(xiàn)出不同地形象?！睆挠螒虻絿?guó)際會(huì)議，關(guān)于不同場(chǎng)景下的捏臉應(yīng)用，伏羲捏臉的產(chǎn)品經(jīng)理楚涵也有自己思考。
“比如社交、化裝舞會(huì)、party，我們會(huì)需要一些有趣的形象，但在嚴(yán)肅性的會(huì)議，我們的形象一定是和真人1:1或者百分之八九十相近的，這樣能讓參會(huì)的用戶(hù)更有沉浸感?！?/p>
如今，隨著元宇宙的概念越來(lái)越火，捏臉也在更多地場(chǎng)景中被市場(chǎng)和行業(yè)所重視。
“我理解的元宇宙，就是互聯(lián)網(wǎng)從2D到3D的過(guò)程?！鄙裥愫臀覀冋劦剑骸艾F(xiàn)在的互聯(lián)網(wǎng)更多傳遞的是一個(gè)2D的數(shù)據(jù)，2D的文本、2D的視頻，所以我們?cè)谏缃幻襟w上的形象是通過(guò)頭像來(lái)展示的。但進(jìn)入元宇宙之后，我們身處在內(nèi)容當(dāng)中，成為內(nèi)容的一部分，也會(huì)需要一個(gè)3D的形象來(lái)作為自己的“頭像”，而捏臉技術(shù)恰恰就能提供這樣的服務(wù)?！?/p>
可以說(shuō)，捏臉技術(shù)已經(jīng)成為了構(gòu)建元宇宙的基礎(chǔ)技術(shù)之一。而作為捏臉技術(shù)的重要應(yīng)用，虛擬會(huì)議平臺(tái)也正在拓展更多樣化的應(yīng)用場(chǎng)景。
“現(xiàn)階段瑤臺(tái)辦了許多的線(xiàn)上會(huì)議，但未來(lái)我們并不想將它局限成一個(gè)線(xiàn)上會(huì)議系統(tǒng)，期望它能夠給人們的生活帶來(lái)更多的改變?！本W(wǎng)易伏羲技術(shù)負(fù)責(zé)人木白說(shuō)道。
“未來(lái)，我們可能會(huì)嘗試更多地線(xiàn)上活動(dòng)，包括展會(huì)系統(tǒng)、電影院、教室、婚慶等場(chǎng)景等等，讓更多人通過(guò)虛擬平臺(tái)體驗(yàn)到更便捷、更有趣、更有儀式感的生活?！?/p>
再回過(guò)頭來(lái)看，捏臉技術(shù)從萌芽到發(fā)展，參與其中的從業(yè)者們不僅自己因?yàn)槟竽樁淖?，同時(shí)因?yàn)樗麄兡蟮摹澳槨?，整個(gè)世界也在發(fā)生悄然的變化。
對(duì)于這些平日里隱藏在寫(xiě)字樓高大的落地玻璃，或者格子間背后的人工智能工程師來(lái)說(shuō)，他們是在捏臉，同時(shí)也塑造著這個(gè)世界。
文中名字均為網(wǎng)易花名