這是針對The Facial Animation Pipeline of Call of Duty Modern Warfare II的技術(shù)分析。該視頻是使命召喚現(xiàn)代戰(zhàn)爭 II 的面部動畫管線的制作技術(shù)分享。該技術(shù)分享主要介紹了使命召喚中角色RIG是如何制作的，以及面部捕捉數(shù)據(jù)如何應(yīng)用到RIG上，該分享是數(shù)字分身（digital double）的制作，所以演員和角色是同一人。技術(shù)分享流程大致分為：1、數(shù)據(jù)捕獲 2、資產(chǎn)創(chuàng)建：FACE GEN 3、資產(chǎn)創(chuàng)建：面部合成 4、面部捕捉 5、RIG解算 6、RIG解算驗證 7、動畫壓縮。圖一是整個流程管線的流程圖：數(shù)據(jù)捕獲階段是采集管線所用到所有原始數(shù)據(jù)，處理和資產(chǎn)創(chuàng)建階段是對原始數(shù)據(jù)處理并生成管線所用資產(chǎn)，解算與壓縮階段主要是將面部捕獲數(shù)據(jù)應(yīng)用到面部綁定上面并將資產(chǎn)壓縮轉(zhuǎn)化為引擎運行時資產(chǎn)。

1、數(shù)據(jù)捕獲：LIGHT STAGE 掃描??

在light stage里面掃描演員的自然表情、100多個標準POSE表情，音素，情緒等表情，在LIGHT STAGE 是靜態(tài)掃描，掃描過后使用di4dPro設(shè)備進行第二次的動態(tài)掃描，動態(tài)掃描的表情不僅僅包含F(xiàn)ACS，也包含一些常用的英文發(fā)音，情緒等.Activision Central接受到LIGHT STAGE 掃描的數(shù)據(jù)后，會按照游戲中使用的拓撲對自然表情高模進行拓撲，生成幾何數(shù)據(jù)，紋理貼圖，法線以及皺紋貼圖等。自然表情的低模數(shù)據(jù)也會發(fā)送給di4d用于跟蹤處理。di4d處理過后得到的數(shù)據(jù)可能和發(fā)送給di4d的低模數(shù)據(jù)發(fā)生變化，為了保證法線在兩個來源的數(shù)據(jù)上看起來正確，所以采用了一種頻率分離的技術(shù)把高頻信息（像毛孔）分離出去然后在游戲的最后環(huán)節(jié)再把高頻信息合成到游戲最后使用的網(wǎng)格上。這種方法實現(xiàn)了把Light Stage的細節(jié)應(yīng)用到di4d pro捕獲的結(jié)果上。di4d 動態(tài)掃描的優(yōu)勢是可以獲得微妙的聯(lián)合形狀而不是一系列分離的極限表情。DI4D 會利用這些動態(tài)掃描的數(shù)據(jù)生成一個演員指定的PCA運動模型. 總結(jié)一下：兩種掃描都可用作美術(shù)參考以及制作資產(chǎn)的，light stage 是靜態(tài)掃描，用于創(chuàng)建貼圖、blendshape等，di4d 是動態(tài)掃描，用于制作in-between的表情。

【資料圖】

2、資產(chǎn)創(chuàng)建：FACE GENface gen是一個類似于3dMM、FLAME的數(shù)學模型，該數(shù)學模型做到了身份與表情分離。技術(shù)分享中提到的FaceGEN 使用了N MODE SVD分解的方法得到一個多線性身份和表情分離的數(shù)學模型，該方法需要手里有大量的數(shù)據(jù)。N MODE SVD的優(yōu)勢是可以增量更新模型，比如有新的訓練數(shù)據(jù)過來，N MODE SVD的計算方式可以有效更新加進來的訓練數(shù)據(jù)。FaceGEN停供了合成新面部和生成FACS的方法，制作管線利用FACEGEN生成的BS初始化面部綁定，然后利用di4d pro的結(jié)果去補充初始化的綁定。talk 指出這塊對他們的效率提升是極大的。因為原始制作方法，針對20個角色，手工雕刻300多個BS需要很多時間，而現(xiàn)在利用FACEGEN可以直接生成這些BS.

3、資產(chǎn)創(chuàng)建：面部合成

FACEGEN 可以生成不同形狀的頭，用于程序化人頭的創(chuàng)建，可以方便的用于群眾創(chuàng)建

4、面部捕捉

面部捕捉采用的是DI4D HMC純4d的方式制作，雙目攝像頭，利用立體視角進行稠密重建得到RAW，然后使用MLTRCKING得到稀疏點的跟蹤效果，再利用PCA模型與稀疏點的跟蹤結(jié)果就可以得到SOLVE的結(jié)果，面部捕捉返回的結(jié)果是點緩存。這一步也會跟蹤眼球和牙齒。

5、RIG解算

該階段主要是把演員di4d的點緩存數(shù)據(jù)解算成控制器的系數(shù)。非負最小二乘就可以實現(xiàn)。這是一個基于表情的管線，如果在得到控制器系數(shù)后動畫師需要進行一個劇烈的改變，那么需要重新拍攝。

由于在同一臺機器上進行解算風險較大，所以技術(shù)管線采用的是并行解算的方式，該過程是自動化的。

6、RIG解算驗證

通過熱力圖可以發(fā)現(xiàn)RIG和4d采集結(jié)果差異大的地方，這時可以修改RIG，管線開發(fā)了對應(yīng)的自動可視化MASK和拆分工具，可以自動提取4d數(shù)據(jù)并注入到綁定中并實時更新綁定

7、RIG動畫壓縮??

該階段主要是把前面階段的BS綁定轉(zhuǎn)換為骨骼綁定。之前已經(jīng)分享過BS綁定轉(zhuǎn)骨骼綁定的方法，BS綁定轉(zhuǎn)骨骼綁定，這里分享的方法是類似的，都是利用蒙皮分解的方法，他們在高端平臺用了300多根骨骼，在低端平臺用了117根骨骼