Jasiri Booker 的跑酷和霹雳舞动作被用来为漫威电影中的主角制作动画 蜘蛛侠:迈尔斯·莫拉莱斯 电子游戏。
“我会贴墙。我会打人。我经常被打,会被电死,还会变得隐形,”这位 26 岁的年轻人说道。
他和其他表演者表演的动作片段让电子游戏栩栩如生。
但本月初,布克与数百名其他电子游戏演员和美国演员工会和电视和广播艺人工会成员一起在加州伯班克的华纳兄弟工作室外举行了抗议活动。他们计划于周四在伯班克的迪士尼角色配音工作室外再次举行抗议活动。
经过 18 个月的合同谈判,他们 从七月底开始停工 反对迪士尼、华纳兄弟游戏、微软动视和艺电等视频游戏公司。工会成员暂停了为视频游戏配音、特技表演和其他工作。
YouTube
谈判因有关在视频游戏制作中保护使用人工智能的措辞而陷入僵局。布克说,他并不完全反对使用人工智能,但“我们至少要说,请通知我们,并允许我们同意你用我们的人工智能替身进行的表演。”他和美国演员工会和电视和广播艺人工会的其他成员对视频游戏公司最终可能会取代他的想法感到不安,现在他们可能会将他非常人性化的特技视为动画的数字参考点。
两家公司的发言人奥黛丽·库林 (Audrey Cooling) 在一份声明中写道:“根据我们的人工智能提案,如果我们想使用演员的数字复制品在游戏中重新表演,我们必须征得他们的同意,并公平地支付报酬。这些都是强有力的保护措施,与工会签署的其他娱乐业协议完全一致,甚至更好。”
但电子游戏替身演员表示,这些保护措施并未覆盖到所有人,这也是他们罢工的原因之一。
工会谈判小组的表演者安迪诺里斯 (Andi Norris) 表示,根据游戏公司的提议,为视频游戏捕捉肢体动作的表演者不会获得与为游戏捕捉面部和声音的表演者相同的人工智能保护。
诺里斯说,这些公司正试图避免向肢体动作表演者支付与其他人相同的报酬,“因为从本质上讲,他们只是将我们视为数据。”她说,“我可以像某某生物一样在地板上和墙上爬来爬去,他们会辩称这不是表演,因此不受他们的人工智能保护。”
这是一个细微的区别:这些公司在其提案中加入了“表演捕捉”,包括表演者的声音和面部记录,但不包括用于呈现动作的替身和其他动作表演者的幕后“动作捕捉”工作。
但诺里斯和其他像她一样的人认为自己是“表演捕捉艺术家”——“因为如果你捕捉的只是动作,那为什么还要雇佣表演者呢?”
动作捕捉的工作原理
另一位蜘蛛侠替身赛斯·艾琳·奥斯汀 (Seth Allyn Austin) 表示,视频游戏表演艺术家在工作室空间中工作,这些空间被称为“volumes”,周围都是数码相机。他们穿着全身套装——有点像潜水服——上面布满了摄像头捕捉的反射传感器,“这样电脑就可以拥有我们的骨骼,并且可以在我们身上放置任何他们想要的东西。”
NPCx 联合创始人、机械工程师 Alberto Menache 表示,这些数字化的移动骨骼被输入视频软件,然后渲染成动画视频游戏角色。NPCx 开发人工智能工具,用于捕捉视频游戏和电影的人体运动数据。 “动作捕捉,”他说,“他们简称它为 mocap。”
梅纳奇是该领域的先驱,曾为多部电影提供视觉效果咨询或监督,包括 极地特快, 蜘蛛侠、超人回归, 和 《降世神通:水之道》。他还曾在 PDI(后来成为梦工厂动画公司,后关闭)、索尼影业、微软、卢卡斯影业和电子艺界工作过。(电子艺界和微软旗下的动视暴雪都在与美国演员工会和电视和广播艺人工会进行谈判,目前正参与停工。)
他说,需要一整支数字艺术家团队才能将人类演员创造的动作制作成动画。“你需要一个建模师来塑造角色,然后你需要一个人做纹理贴图,也就是画身体或画蜘蛛侠套装,”他说。“然后你需要一个索具工,也就是画骨架的人,然后你需要一个动画师来移动骨架。然后你需要一个人来给角色打光。”
从手绘动画到动作捕捉
在一个多世纪前的默片时代,手绘动画师开始使用真人镜头。他们通过逐帧描画投影图像来创建序列——这是一个耗时的过程,被称为“转描”。电影制作人马克斯·弗莱舍于 1915 年申请了第一台转描机的专利,他通过手绘他哥哥扮演小丑科科的手摇镜头来制作短片。根据弗莱舍工作室的说法,一分钟的电影时间最初需要近 2,500 张单独的绘图。弗莱舍继续以这种方式制作了大力水手和贝蒂娃娃,以及 《格列佛游记》、《虫虫先生进城》、《超人》 和他的版本 白雪公主。
后来,沃尔特 迪士尼动画师从 1937 年的电影开始使用转描技术 白雪公主和七个小矮人。
到了 20 世纪 80 年代,动画技术随着计算机生成的图像而进步。在 1985 年的超级碗比赛中,观众们观看了 创新的 30 秒广告 由视觉效果先驱罗伯特·阿贝尔 (Robert Abel) 及其团队制作。为了制作罐头食品信息委员会的广告,他们在一位真正的女演员身上画上圆点,以此为基础制作一个“性感”机器人角色,然后在计算机上渲染。
梅纳奇说,军方曾使用类似技术来跟踪飞机,医疗领域也曾使用类似技术来诊断脑瘫等疾病。20 世纪 90 年代初,他通过为街机视频游戏《Soul Edge》开发动画软件,对这项技术进行了创新。
“这是一款日本忍者格斗游戏。他们从日本引进了一位忍者,”他说。 “我们在忍者身上做了标记,而且我们只有四台摄像机,所以忍者只能在一个七乘七英尺的区域内活动。所以忍者可能花了两周的时间在这个小方块内做动作。这真是太神奇了。然后我们花了大概一个月的时间来处理所有的数据。”
未来还需要人类表演者吗?
除了蜘蛛侠之外,Seth Allyn Austin 还在以下游戏中扮演过英雄、恶棍和生物: 最后生还者 和 星球大战绝地:陨落的武士团。 他说,自从十年前开始从事这项技术以来,它一直在不断发展。他记得自己曾穿着一套由电池组供电的 LED 灯套装。“每当我翻个身,电池组就会飞出去,”他回忆道。“我曾让工程师在我穿着套装的时候尝试将电线焊接回去,因为这样可以节省时间。幸运的是,我们已经放弃了那项技术。”
他说,如今一些新技术可以让表演者看到自己在屏幕上以 3D 动画角色的身份进行表演,并对动画场景和其他角色做出反应。
“我们可以实时调整我们的表现,让它看起来更恐怖、更酷、更真实、更英勇,”他说。“这就是人工智能的魅力所在,这个工具很酷。这个工具能帮我们很多。但如果这个工具是用来取代我们的,那么问题就不在于工具本身,而在于谁在使用它。”
梅纳奇表示,短期内不太可能取代电子游戏或电影中的人类演员。
“如果你想让它看起来真实,你就不能制作动画,”他说。“有很多非常优秀的动画师,但他们的专长主要是风格化的动作。但真正的人类动作:有些人很接近,但你越接近那个样子,它看起来就越奇怪。你的大脑知道。”
他将其比作恐怖谷现象——正如他所描述的那样,“缺失的那百分之一告诉你的大脑出了问题,”他说。
人工智能如何改变视频游戏开发
梅纳奇目前正在开发一种不需要人们佩戴传感器或标记的人工智能技术。“要训练人工智能,你需要来自人们的数据,”他说。“我们不会仅仅捕捉人们的动作,我们还会征得他们的同意。”
例如,他说他可以像 1990 年代那样,雇佣洛杉矶银河队的球员并拍摄他们。他们的动作可以存储起来,用于训练 AI 模型开发新的足球视频游戏。“有了我们的新系统,”他说,“他们甚至不需要去工作室……你只需要镜头。角度越多越好。”
梅纳奇还开发了面部跟踪和“减龄”演员的技术,并创建了可以扫描和修改演员面部的“深度伪造”技术。他说,所有这些仍然需要人类演员的同意。
梅纳奇说,即使是人工智能仍然需要人类来训练模型。 “我建立了一个面部跟踪系统,并用大约 2,000 小时的不同面部镜头对它进行训练。现在它不再需要训练了。但面部比全身简单得多,”他说,并补充说,这需要“数千小时不同比例的人的镜头”。
“也许你不再需要人们这样做了,”他说,“但那些曾经训练过它的人应该得到他们应得的一份,无论这有什么用。这就是罢工的目的。我同意这一点。我们不会使用任何未经表演者许可的数据。”
编者注:许多 Tuugo.hk 员工都是美国演员工会(SAG-AFTRA)的成员,但他们签订了不同的合同,因此并未罢工。