实时捕捉--动画的未来

时间:2019-05-27 10:45:40          浏览:1396 次

    Cubic Motion  团队与我们讨论了数字动画及其实时动画技术  Persona  ,它允许合并数字角色和真实演员。

    介绍

    80lv:伙计们,你能介绍一下我们并告诉我们更多关于Cubic Motion的事吗?

    Cubic Motion成立于2009年,由计算机视觉科学家和面部动画专家组成。我们的总部设在英国曼彻斯特,并使用我们专有的跟踪和解决技术为视频游戏,电视和电影创建面部动画。最近的项目包括与索尼圣莫尼卡的战争之神和与Insomniac Games的蜘蛛侠。我们的实时技术的进步带来了现场演示,如Hellblade(2016年SIGGRAPH的实时直播获奖者),2017年SIGGRAPH的MeetMike,2018年GDC的Siren 以及最终开发的实时动画产品Persona。

    在加入Cubic Motion之前,许多团队成员参与了由我们的首席执行官Gareth Edwards博士创立的Image Metrics,他们参与了GTA 4,Digital Emily项目和Benjamin Button的好奇案例等项目。









    参展商于2018年3月21日星期三在美国加利福尼亚州旧金山举行的游戏开发者大会(GDC)期间展示了Cubic Motion Ltd.的数字面部动画技术.GDC是世界上最大的专业游戏产业盛会。全球游戏开发社区的设计师,程序员,艺术家,制作人和商业专业人士。摄影师:David Paul Morris / Bloomberg来自Getty Images

    数字化人类面临的挑战

    80lv:为什么人类如此难以有机数字化?多年来,我们已经看到开发人员试图做适当的mocap,但很多时候游戏角色最终看起来更像木偶,无论多边形的数量和皮肤的质量。使它变得如此复杂的挑战是什么?

    人类很难数字化,因为面部运动是复杂和非线性的。渲染逼真的人类涉及皮肤,眼睛和头发的详细物理模型。即使这可以很好地完成,角色也必须以可信的方式移动和传达情感。观众也很好地判断数字面部看起来不正确。

    我们尝试尽可能多地使用真实数据(性能捕获,3D和4D扫描)来构建高保真模型,并尝试准确模拟底层物理过程。这当然仍然是真实的近似,所以无论面部有多少多边形,如果运动过于简单,它仍会看起来错误。克服这种线性而非有机的外观可能是数字角色面临的主要挑战。

    捕获数据

    80lv:你正在做的非常准确的关键事情之一是获取数据。你能谈谈相机的工作方式,使用什么样的硬件,更重要的是关键数据是什么?让角色和演员成为一体有什么必要?

    我们捕获的大部分数据来自头戴式摄像头(HMC)系统。这允许在演员四处移动时详细捕捉面部表现。这是一个相当专业的设备,我们提供自己的HMC作为Persona的一部分来捕获高质量的数据。所使用的相机通常是高帧率机器视觉相机,部署在正面,正面立体声或正面配置中,用于不同的使用情况。对于实时捕获,我们使用前端来捕获深度信息,而不需要立体声重建的复杂性,这通常更适合于离线工作。这些摄像机通常是60fps的机器视觉摄像机,通常使用红外照明和镜头滤镜来确保照明的一致性。

    面部索具

    80lv:获得所有数据后,钻机有多大?如果能更好地了解结果会变得多么复杂,那就太棒了。你已经展示了加里奥德曼的明星公民角色的一个例子 - 令人惊讶的是,仅仅为了嘴唇和嘴巴的运动你会得到多少东西。听取您认为至关重要的要素会很棒。

    虽然面部装备可以具有数千个多边形和数百个关节并且混合形状,但是表示面部表情的自由度的数量小得多并且与面部肌肉的激活相关。许多钻机基于面部动作编码系统(FACS),并且通常具有大约100-150个动画控件

    我们测量演员面部动作的任务是尽可能准确地驾驶这些控制。为了做到这一点,我们通常会在脸上追踪200-400点。我们主要关注嘴唇的形状,特别是内唇线。这是一个难以跟踪的功能,因为它是一个遮挡边界,外观变化很大。要测量的最重要的一点是下颌的位置,因为下面的大部分运动都与它有关。我们在某些情况下通过明确跟踪牙齿来做这件事,使用工具在嘴唇被嘴唇覆盖时进行估计和插值。在难以跟踪牙齿的情况下,例如在实时数字演奏中,我们使用来自侧摄像头的附加信息来帮助推断下颌的位置。

    清理动画

    80lv:优化动画数据的方式是什么,进行清理并确保动画看起来准确?这一切都是手工完成还是有一些聪明的算法呢?

    动画只能与角色装备一样好。如果它不能进行某些动作,则不会将这些动作转换为最终动画。对于离线工作,我们能够在跟踪和动画阶段检查和清理数据,以获得最佳结果。对于实时系统,我们应用相同的过程来训练跟踪和求解模型。解算器将输入性能数据映射到字符控件,定义如何使用机器学习和统计方法解释数据以获得最佳结果。

    实时捕获

    80lv:令人惊奇的是,您的技术不仅可以用于捕获CGI的内容,还可以用于实时捕获。您能告诉我们有关您可以实时捕获数据的技术吗?是相机还是软件?这些系统是否适用于更广泛的游戏艺术家?

    该软件允许这一切实时发生。我们的核心,基于模型的跟踪算法能够以60fps跟踪来自多个摄像头的数百个特征点。将此数据解决到装备控件甚至更快,将输入图像数据的复杂性降低到更易管理的水平。这一切都在可穿戴的PC上运行,以允许演员无线推动现场表演。这构成了我们的实时Persona产品的基础,该产品现已上市,可以实时捕获数字表演和预设可视化。这将为改进生产工作流程和提供即时动画数据提供机会,而无需等待离线动画传递。

    AI工具

    80lv:您是否使用任何可以帮助您解码数据的AI工具?如果提供足够数量的数据,你认为AI实际上可以帮助生成可信的动画吗?

    在这种情况下,AI通常用于指代深度卷积神经网络(CNN)和类似的算法,这些算法已在许多领域证明是成功的。适用于面部的一个很好的例子是Digital Domain的Digital Doug工作。

    这种算法只是解决机器学习问题的众多方法之一。我们在跟踪器和求解器中使用一系列机器学习方法,具体取决于可用的训练示例的数量和数据的复杂性。这些算法中的一些在处理稀疏训练数据方面要好得多,并且比CNN更不容易受到过度训练,尽管深度学习方法非常适合于高度非线性问题,其中大量训练和测试数据可用或者可以综合生成。我们还尝试利用先前的知识,使用统计模型和物理约束来尽可能简化学习问题,以最大限度地减少所需的培训数据量。

    所以我们真的一直在使用AI /机器学习来生成可信的面部动画多年。

    分配

    80lv:用户如何掌握你的求解器?您是否计划发布它并使其更广泛可用?

    这是我们的支持团队作为Persona的一部分提供的,确保快速周转和高水平的跟踪和动画质量。未来的版本将允许用户更多地控制操作和设置求解器。


      直线网公众号,第一时间学习最新教程,看最新行业动态!!



  •  3
  • 标签: 实时  捕捉  动画    未来  
  • 文章链接:http://www.linecg.com/index.php/news_8828.html
  • 相关文章

    1皮克斯动画公司的外包画师,原来是这样创作的
    2感受满屏的荷尔蒙手绘漫彩,让你进入力量的小宇宙
    3ZBrush雕刻马里奥和他的坐骑-从建模到渲染全流程解析
    4网飞高分动画短片【爱,死亡和机器人】
    5英雄联盟--And--打造'最后的立场
    6最新守望先锋动画视频--And--用ZBrush&Painter创建
    7《胡桃夹子和四个王国》从街道建筑到人群的令人震撼的C
    8神还原吉卜力动画《千与千寻Cosplay》「金具屋」真实场
    9​金属反射的GGX,你需要了解下
    10影片《惊奇队长》壮观的外星城市制作解析

    评论

暂无评论,赶快抢沙发吧~
Copyright ©2009-2019 直线教程,All Rights Reserved.     沪ICP备10039589号    沪公网安备 31011402002136号