电影《阿凡达：水之道》的渲染、CG 技术相对 2009 年的首作有何本质上的提升？
更新一下，大家还可以看我在另一个回答下更多的关于阿凡达2的技术讨论 —————————————————— 阿凡达系列作为科幻电影界的神级存在 其3D和数字技术一直是业内的顶级标杆 不论是3D裸眼技术、虚拟摄影系统、超级计算机集群技术 均为电影迷所津津乐道 其中动捕技术和表情捕捉技术则是首当其冲 成为奠定其史诗级地位的功臣 为了制作更高水准的《阿凡达2》 背后著名视效公司Weta FX 又开发了一种全新的面部技术 近日Fxguide专业技术论坛对其视效总监Joe Letteri 和技术论文作者之一Karan Singh进行了专访 让我们一起来看看技术背后的故事 Avatar: The Way of Water  新的面部动画系统基于从FACS木偶到肌肉纤维曲线的移动作为解剖基础。这种新方法称为Anatomically Plausible Facial System（解剖学上可信的面部系统）或APFS，它是一个以动画师为中心的、受解剖学启发的系统，用于面部建模，动画和重新定位传输。 其取代了 Weta FX 自 Gollum 以来一直使用并且屡获殊荣的 FACS 管道。 在电影《阿丽塔：战斗天使》（2019）中极其努力地推动研发FACS方法之后，Letteri认为基于FACS系统存在太多重大问题，例如面部肌肉分离、覆盖、线性组合使用和大规模冗余。 例如，当 FACS 映射一组表示肌肉驱动表情的面部姿势时，为了获得足够的面部动画，FACS 最终可能会将多达 900 个 FACS 形状添加到系统中。这并不是说FACS是“错误的”，而是指它并不是一个为基于时间的面部动画而设计的系统。它不是围绕言语建立的，而是孤立的情感表达。  “FACS系统只能从外部模拟人脸，并且功能非常有限......它没有编码的对话，我们所做的主要是对话。我们需要是能够让艺术家直接控制人脸的行为方式的新系统。”——Letteri 于是Letteri和他的开发团队决定从头开始处理整个面部管线。研究脸上的肌肉，看它们是如何分布的，以及它们是如何连接的。如果能绘制出这些联系，就有了可以描述面部的高维空间的基础。  团队专注于这样一个事实，即当人们做出一个表情，肌肉被激活时，其他的肌肉也会被同步激活或被拉动。由于肌肉相互连接的方式同神经网络十分相似，Letteri便推理到，为什么我们不创建一个直接实用肌肉作为基础的神经网络呢？  不同于很多深度学习仅试图在大量数据上找出相关性，该团队的目标是以此为基础，将一个系统整合在一起，为动画师提供一种独特的方式来表示下巴、眼睛和肌肉的任何组合。 我们现在可以训练系统来观察西格妮·韦弗的脸，并尝试解决'肌肉'在做什么，然后运行另一个网络，将其转移到角色身上。  此外，通过肌肉曲线，动画师现在可以直接控制面部的肌肉。但需要指出的是，肌肉曲线不是一对一的，其旨在解决面部问题，以匹配皮肤下的实际肌肉，但其方式动画师是可以控制的，而且与以难以置信的高逼真度捕捉到的面部动作相匹配。 新研发的APFS是基于178条肌肉纤维曲线或“应变”曲线实现。这些曲线可以收缩或松弛，以提供细粒度的高保真面部表情。端到端系统既向内向外（面部由肌肉纤维曲线驱动），也向外向内（动画师可以“正确”地从面部表面拖动和移动面部）。该系统不是人体肌肉的1:1映射，因为某些面部方面（如上唇曲率）实际上是由下颌和下面部肌肉驱动的结果。相反，该系统是一个由178条曲线组成的跨越式阵列，允许一组受解剖学启发的控制，但不允许直接进行肌肉/肌肉仿真和模拟。 每条肌肉或应变曲线都有一个相关的应变值。肌肉曲线并没有真正扭曲，但应变值在其局部空间中提供了沿曲线的收缩或扩张。从某种意义上说，它是长度变化的百分比。实际曲线应变数是无单位的，这有助于转移到不同的字符。应变值与其说是孤立的，不如说是集合的一部分。  例如，对于眨眼，有沿睫毛线（水平）和正交（垂直、上下、眼睛周围）的肌肉曲线。在这种情况下，水平曲线的实际应变值变化不大，因为它在眼球上方旋转，而垂直曲线的应变值变化很大。但最重要的是，垂直曲线沿着肌肉曲线的曲线形状缩放——这与眼球的曲线相匹配。在开放和闭合的混合形状之间进行类似的混合形状过渡，只会沿直线从关闭移动到打开（不会在眼球周围弯曲）。在Maya中，可以链接混合形状以模拟围绕眼球弯曲的眼睑，但这同样会增加臃肿的混合形状计数。  虽然 FACS 解决方案允许跨面部装备实现一定程度的标准化，但在应用于计算机动画时具有明显的局限性。FACS动作单元（AU）需要与减法相结合才能达到所需的表达，因为结合多个面部肌肉的动作或根本不涉及面部肌肉的（AU），定位和动画控制（AU可以是冗余的，动作相反的、强相关的或相互排斥的），AU仅近似于铰链颌和人类嘴唇的复杂形状变形。  机器学习被用来构建新系统。使用了来自80个动态运动剪辑的6000-8000次扫描（帧）。大约60%是FACS形状的姿势，40%是语音动作。每个演员的表演都是根据来自经过验证的地面真实表达式的 340 个标记来求解的。APFS 管道不对任何时间信息进行编码，这来自性能捕获解决方案本身。动画本质上跟踪演员的动作和表情。 在新系统中，下巴和嘴唇得到了更多的关注。”因为控制你脸部状态的主要因素是下颌，尤其是对话时，下颌骨一直在移动。所有人的下颚只能以盾牌的轨迹形状移动。下颌骨或下颚骨通过颞下颌关节连接到颅骨，并由韧带和肌肉固定到位。因此，可以通过追踪颌上的一组概念点来映射颌的运动范围。“ 当你将一组这样的点映射到一个人所有可能的对话和表情上时，你就会得到盾牌的形状。这被称为Posselt的运动包络线或Posselt盾牌。  这样肌肉问题得到解决。然后会对演员进行数字头骨的法医拟合。再计算出下颌的运动范围，然后使用HMC立体相机进行求解以提取深度信息。 同样，演员的眼睛也处理得非常仔细。该系统的眼睛模型与演员的巩膜、角膜和虹膜都是相匹配的。通过旋转眼球在每一帧中调整眼睛注视方向，使虹膜模型与角膜缘环和瞳孔对齐，这在每台相机捕捉的图像中都是可见的。由于眼睛的晶状体及其显示的折射，很难追踪眼睛，所以使用多个相机角度来验证对准，并考虑角膜折射的光。即使是一个小的额眼凸起也会应用于每次眼睛旋转，以增强角色的眼睛真实感。 由于曲线肌肉只是线条，因此需要在应变肌肉和数字角色的皮肤之间建立联系。这些曲线捕捉了肌肉动作的线条，但它们也嵌入了真实的面部。在这里，面不是通过体积表示来模拟的，该体积在角色的静止姿势中离散了脸部的软组织。tet体积溶液位于皮肤和颅骨和下颌骨之间。这些tets形成一个概念上或数学上的“果冻”。在这个tet体积上对皮肤顶点和颅骨作为位置约束的整个扫描序列进行了被动、准静态模拟。使用有限元分析（FEA），以帧到帧的方式对135000个四面体tet进行了“被动模拟”（受多个位置、滑动和碰撞约束），这会产生解剖学上合理的肌肉行为。这里生成的“肉面具”只在训练阶段发挥作用。 请注意，第二张脸是 135，000 个 tet 面罩的视图，它结合了应变曲线（在头骨上看到）——控制皮肤变形以形成最终表情  虽然面部肌肉通常是带状肌肉，但APFS曲线没有宽度。在需要的地方添加了额外的曲线来说明这一点。肌肉曲线并不是活跃的肌肉模拟，“事实上，动画师们不希望这样。”参与该项目的工程师Karan Singh说，“动画师想要帧到帧的控制。他们想要运动变形控制。他们不想设置一个（sim）配置，然后点击播放来观看实际的活动模拟。”出于这个原因，团队选择了曲线表示。  Singh指出，在新管道中巧妙地使用了机器学习（ML）自动编码器（AE），以保持表达式在模型上。ML正在改变像Weta 这样的管道。关于VAE及其作为深度换脸工具的使用的文章有很多，但APFS团队在这里展示了如何在复杂的管道中使用AE等ML工具来协助关键任务，同时没有明确用于最终像素。  动画师自然习惯于使用姿势库。姿势库没有任何问题，但姿势不会强制或编码任何运动，组合使用很容易脱离模型。为了更好地提供熟悉的工作环境，为动画师构建了基于应变的动作库。这种由外到内的方法提供了曲线的反向映射。而且考虑到系统的构建方式和自动编码器的使用，动画师不会突然地偏离模型。肌肉拉伸和收缩可能很直观，但用应变向量驱动面部表情并不简单。  该团队集成了一个自动编码器（AE），通过将应变向量限制在合理的面部动画范围内来帮助艺术家。模型上该空间称为”expression manifold“由动画师来定义这里什么是合理的，其可以选择故意脱离模型，但”expression manifold“是使用多个面部表情的精选采样和相应的应变向量范围或设置为他们估计的。  在《阿凡达：水之道》中，许多演员都是在水中表演捕捉的，但他们的大部分面部动画都是基于在陆地上进行的二次捕捉，然后与主要表演捕捉相融合。在进行面部表演捕捉时，演员们佩戴了立体头饰 (HMC)，由于采用了新技术，其重量比《阿凡达1》中的原始HMC轻。 由于 HMC 相机的固定立体排列，Weta 的团队开发了一种强大的新可视化工具，称为Deep Shape。立体图像用于提供可以从任何角度观看的演员实际表演的 3D 点云式重建。 图像是单色的，没有多边形化，但高度代表了实际性能。这种新的可视化允许动画师拥有一个虚拟的目击相机，就好像在距离面部仅几英尺的地方拍摄，而没有任何一个实际捕捉相机的原始输出的广角失真和奇数视角。这种 3D 深度重建视图提供了一种更强大的方式来查看嘴唇和下巴的延伸，并判断以后完全可控和重建的动画是否忠实于原始视图。 这是一个非常有用的查看设备，令人惊讶的是以前没有人实现过它，weta FX 是第一个准确实现 Deep Shape 可视化选项的团队。本工具提供提供了面部的实况关键参考工具，用于比较和判断APFS仿真。这是基于端到端 APFS 的新解决方案的又一创新。  按照现在的惯例，该团队以非常高的保真度为演员的数字替身制作动画，并匹配面部表情，然后将动画转移到角色模型上。为了在动画转换中最大限度地匹配演员和角色的面部，Weta 战略性地设计了他们的角色训练过程，以共享相应演员的潜在肌肉行为。3D 角色面部模型最终具有相同的共享应变自动编码器，与其各自的演员相同。使用用户定义的权重图，皮肤被精确映射，眼睛和下颌区域被单独处理，以便更准确的转移这些关键面部部位的表情。 曲线肌肉系统有一组向下延伸到颈部区域的曲线，以便更好地与身体表现捕捉相结合。此外，耳朵有完全独立的控制。  在影片中，有很多针对纳威人的重新定位。重要的是还有两个关键的去衰老的新定位。演员西格妮·韦弗（Sigourney Weaver）和斯蒂芬·朗（Stephen Lang）都被重新定位到年轻的角色：基里和年轻的夸里奇。  ”虽然人们可能会探索改变应变值来模拟面部肌肉的松弛和老化，但重定向完全补偿了这一点，并且不需要“放松”或拉伸应变值。“  电影工业的跨越发展 向来依靠技术的革新 13年前 卡梅隆用《阿凡达》颠覆了影视行业 开创了3D电影时代 如今《阿凡达2》依旧秉承着先驱者的精神 创造属于每一个电影人的奇迹  本文整理翻译自Fxguide官方，略有删减，版权归其官方所有