索尔·莱万特(Sol Levante):他们如何为Netflix制作4K和HDR动画



动漫,经常被拒绝作为卡通,是各种各样的童话,活泼的风格和精美的图形。在过去的五十年中,这是一种艺术形式,其普及性,多样性和复杂性不断发展。它可能始于20世纪初的彩绘灯,然后在1970年代在日本广受欢迎。如今,观众可以从世界各地观看数百部具有动画风格的电视节目和故事片。

我们的Creative Technologies小组希望提高动漫图片的技术质量,找出可以给人们带来新的创作可能性,以及将动漫的分辨率从HD提升到4K以及将HDR的更广泛的调色板输入到艺术家的工具包中需要采取什么措施(高动态范围)。当谈到4K时,大多数日本动画师都要求相同的内容:更大的纸张!但是,Production IG的艺术家认为,未来在于数字技术。这就是大型和丰富多彩的合作的诞生方式-最终的Sol Levante短片可以在Netflix上以4K Dolby Vision和Atmos观看!

Netflix的Creative Technologies团队正在尝试找出如何改进面向未来的内容创作,并与各种研究和开发合作伙伴合作,以在实际工作流程中将这些改进提供给艺术家。我们的中心任务是将高质量和耐用性与演示的可靠性相结合,并为创造创造空间。随着具有4K HDR显示功能的消费类设备的迅速普及,很难想象这种质量将在五年内成为标准。

在过去的几年中,我们成功地重制了《 Sidonia骑士》,《青春的味道》和《哥斯拉》等作品,从而将SDR的质量提升为HDR。但是,如果您立即提高工作分辨率并最初着眼于HDR来创建动画该怎么办?这将如何影响创意决策?会出现什么具有创造性和技术性的问题?预算和条款将如何变化?这可以带来什么新的创意可能性?



总部位于东京的Production IG已在Kill Bill中成为Ghost in Shell级别的项目和动画,并组建了一支经验丰富的团队,该团队完全“数字化”地掌握了工作,并希望回答这些问题。由于我们的共同好奇心,我们在4K HDR沉浸式音频中创建了一个实验性的短动画,称为Sol Levante。为了帮助业界应对动漫中的4K HDR和沉浸式音频技术,我们发布了所有资料供免费访问,下载和实验。


导演斋藤彰(Akira Saito)在After Effects


效力

当前动漫状态:业务


尽管现代动漫的奇妙故事永无止境,但诞生于日本的工作流程本身多年未变。要了解我们实验的必要性,重要的是要了解日本实际上是如何制作动漫的。

自本世纪初以来,动漫产业已经摆脱了传统体制,当时动漫工作室拥有大部分知识产权,并已成为“制作委员会”的现代商业模式。尽管由于有了财务支持,工作室制作内容变得更加容易,但是增加参与者的数量会使过程变得复杂。



部分或完全将生产分包给数家公司或自由职业者,这可能会在多个级别发生。如此众多的分包商,很难向所有人介绍技术的变化和新的创造机会。在不同的项目中,自由职业者的数量有所不同,但是,大多数自由职业者在家工作,其设备质量也比工作室所能承受的低。



当前动漫状态:制作中


除了工作室系统的复杂性之外,在尝试创新动画制作工作流程时还会出现其他困难。虽然3D CG越来越流行-圣斗士星矢和奥特曼之类的节目完全是由3D艺术家制作的计算机,但大多数动画仍然是手绘的。一些艺术家更喜欢纸质的感觉,或者他们没有时间和金钱来购买可以尝试数字艺术的设备。绘制后的工作流程已经是数字化的,但是,为了支持更大的分辨率,需要对设备进行认真的更新。缺少具有丰富经验和工具的教师,使他们能够教育新一代的数字动画师。因此缺少人员有能力并愿意在图纸阶段使用一些数字。

要播放,动画通常以1280x720的分辨率或“半高清”完成。 1080 HD仅显示最重要的节目。要切换到4K,必须切换到数字,因为需要扫描图片。但是,如果仅通过增加DPI来简单扫描常规尺寸的纸张,则不必要的细节将以铅笔笔划的形式出现。因此,手绘动画需要更大的纸张。

同样,在动画渲染过程中,很少使用颜色管理-该过程有助于在制作的每个步骤和后期制作中获得可预测且一致的图形颜色。除少数例外,所有内容均在sRGB颜色空间中创建-sRGB颜色空间是计算机图形学中使用最广泛的光谱。在故事片中,动画师通常使用sRGB进行绘制,在后期制作中,他们会添加3D LUT将其转换为P3,从而在P3色彩空间中保留sRGB的外观。

您可能还会对日本广播公司将色温设置为9300 K的事实感到惊讶,该温度比世界其他地区的6500 K的温度要蓝得多。 Netflix许可的许多动漫在后期制作结束时便转换为D65 BT.1886,以满足我们的规范并根据其创作者的意图正确使用我们的流媒体服务。

了解了将动画从纸张转移到完全数字化工作流程时遇到的所有困难,Creative Technologies与Production IG密切合作以尝试预测一些问题。但是,只有当团队开始真正使用数字笔和平板电脑时,这些发现才开始以清晰的形式出现。



索尔·莱万特(Sol Levante):后期制作中的发现


在当前的动画制作过程中,从编写脚本到完成该系列的12集季节的工作通常需要一年半到两年的时间。就我们三分钟的Sol Levante短片而言,导演Akira Saito参与了一个故事板两个星期。她尝试将许多不同的照明选项结合到影片中,因场景而异。故事从黎明开始,在阴暗的日子里发展,然后在夜晚继续,直到日出。晃说她对工作非常感兴趣,并且她热衷于动画制作,并不怀疑自己的作品会出现什么问题。


故事板的一个例子

当Akira考虑切换到4K并提高分辨率时,她在具有简单图纸的框架和具有许多细节的框架之间取得了很好的平衡。在许多帧中,她创造了一个密度足以吸引观众的世界,同时它的细节很小,可以在放大图片后看到。



图片

在角色开发阶段,由于动态范围的扩大,动画师久志久(Esashi Ezura)花了很多时间来微调线条的粗细。角色轮廓-这是动漫特有的现象,但是如果使用通常的线条粗细,则它们在SDR中看起来会太锐利,而在HDR中看起来会太不自然。他将触控笔设置为在画布上的“较软”的水龙头,以更改线条的外观。


测试选择轮廓的厚度

在色彩开发阶段,团队最初认为300尼特的亮度足以进行预生产。但是,看到Eizo CG3145显示器上有1000尼特的印象时,他们觉得差距太大,而300尼特将使设计者无法使用整个调色板。由于动漫的色彩决定是在预生产阶段做出的,因此对于Production IG的色彩设计师田中美穗(Miho Tanaka)来说,在母版显示器上查看1000尼特的亮度是非常重要的。

选择肤色也很困难。特殊而彻底的调整需要阴影的颜色,因为它会极大地影响面部和整个角色的整体感觉。 Miho花了很多时间使角色在一天中的任何时候看起来都很漂亮。 HDR使得为黑暗场景选择颜色更加容易,因为在这种模式下,图片看起来不会显得“脏”,并且线条仍然清晰。如果没有合适的动态范围,则很难保持诸如睫毛之类的细线的清晰度。 HDR使您可以清楚地将颜色彼此分开,以免它们以不希望的方式混合。



在外观研究过程中,出现了其他问题以及机会。多亏了HDR,可以用另一种使用颜色的方法来代替典型的视觉效果。如果在嘴唇上添加亮线,则它们看起来会发亮。结果,导演处理了所有反馈,并相应地调整了她的设计和颜色。


左侧-测试版本,右侧-最终版本

在预生产期间,HDR最困难的问题之一是与设计和绘图工具相关的限制。图形程序的界面太亮,无法在1000尼特的亮度下持续观察它,并且在HDR监视器上进行预览时,背景必须从白色(255)变为灰色(180)。许多图形工具仍然不支持对HDR至关重要的完整16位输出。而且,颜色选择器在SDR监视器和HDR监视器上看起来有所不同,这使得难以准确选择颜色。

同样在此阶段,发现4K分辨率存在问题。在绘制线条时,由于屏幕或平板电脑的分辨率受到限制,艺术家不断进行放大图纸和检查工作结果的过程。查看整个图片时,线条变得太细,无法考虑图像的所有细节。

索尔·莱万特(Sol Levante):生产阶段的发现


在与Production IG合作的生产前阶段,真正的困难开始出现在生产阶段。

首先,该团队必须进行许多实验,以便正确配置信息传输系统并选择适当的颜色配置文件,并根据特定程序在每个监视器上正确显示颜色。每个艺术家团队都需要几个监视器,以便在SDR和HDR模式下查看图片,并继续支持他们已经在SDR模式下进行的项目。动画中的色彩管理问题会影响制作的许多阶段。这个项目特别复杂,但是Junichiro Aki和Katsushi Eda与色彩管理专家Masakazu Morinaka一起创建了一个工作系统。

对于Sol Levante而言,绝对所有事情都是以数字形式完成的。除了在iPad Pro的预制作和构思中使用Procreate应用程序外,Production IG还使用ClipStudio生成中间图像,使用Vue绘制背景和选定的元素,使用Retas Stylus处理颜色,Photoshop和After Effects。动画师对Toon Boom Harmony进行了实验,该动画支持日本以外非常流行的“剪裁动画”技术。


Sol Levante工作流程图

团队立即意识到,他们多年来依赖的某些动漫技术无法在增加亮度和扩展频谱方面发挥作用。例如,动画中的典型效果是平滑过渡到100%白色,这被用作叙述方法之一。但是,HDR中的白色原来太亮了,因此艺术家决定改为在顶部覆盖白色层。而且,每当某项工作未能按预期进行时,他们就会找到一种实现相同结果的新方法。

当生成最终构图时,4K分辨率对工作流程的影响最大,该构图由远远大于4K的图像组成-平移是必需的。事实证明,这是一个严重的障碍,整个项目被拖延了几个月。导致此问题的一些问题是由于设备需要配置为可以在4K下工作而出现的;其他人则介绍了该软件如何工作以及如何使用系统资源。对于软件制造商而言,主要问题仍然是改进资源工作的需求。

当用数字创建图案时,可以节省细线,因为您无需扫描纸张即可进行数字化。与纸上绘画相比,动画师不再担心画布的尺寸。他还创建了一个“设置表”,该表在某些条件下限制了字符及其附件的详细程度。细节量取决于屏幕上字符的大小。在这里,您需要决定添加哪些细节以实现4K分辨率,而哪些细节不应浪费,因为它们将不可见。


生产IG设置表

Production IG团队继续从事Sol Levante的工作,决定外包部分中间渲染(在两个主图像之间创建中间帧)。在动漫制作中,将类似的工作外包给其他公司是常见的做法。这是非常困难的,因为分包商通常拒绝诸如数字工作流程之类的新想法-为了适应这些新工具,需要在设备上进行投资以及对人员进行再培训。此外,Production IG决定要正确选择颜色,线条和建筑构图,绝对有必要在亮度为1000尼特的HDR显示器上持续工作。但是在后期制作市场中,HDR监视器一直短缺,尤其是以可承受的价格。从一开始就极大地影响使用此类显示器的决定。

结果,Production IG仍然设法找到了具有完全数字化技术流程的足够多的分包商,但有一个例外:按时间或按时间划分的帧细分,用于将时间安排在图纸上并标记用于中间渲染,摄像机移动和其他技术信息的位置。 Timeshield是整个Sol Levante制造过程中唯一的纸质文件。



通常,动漫在制作的最后阶段不使用颜色分级,但是在制作Sol Levante时,动画师使用的图像容器(PQ)的亮度为10,000尼特,并在1000尼特的显示器上显示,因此有必要进行常规遍历以对齐可见光颜色光谱和图片的一般外观。在校准过程中,配色师和导演一起发现了几种改善最终图像的可能性-为此,有必要更改一些最初选择的颜色,并使图像的某些部分在背景下突出。例如,一名调色师在其中一个帧中调整了闪电的颜色,以使其在火山喷发期间更加突出并增加了粒度,以突出显示图像的纹理。

由于整个PQ光谱都用于生产,因此调色师具有更大的创作自由度和毕业期间调整色彩的能力,此外,将来完成的项目将更易于重新制作。通常习惯于依赖原始颜色,但是这种经验表明Production IG团队可以在数字技术流程中做出更具创造性的决策。

在整个制作过程中,对导演来说最有价值的一课是,工作室的管理过程应该真正地管理发生的一切,并迫使分包商使用特定的技术流程和某些工具,而不是无限的可能性。但是,只有大型工作室与设备制造商联合起来并向数字化过渡之前,几乎没有什么改变。

动漫声音:沉浸式声音


动漫的声音环境不同于所有其他类型的媒体。音乐和声音是讲故事的关键方面,Sol Levante是在4K和HDR中一起展示沉浸式声音和实验图片的绝佳机会。我们的团队认为,沉浸式声音是音频发展的自然下一步,因为它可以提高讲故事的质量和创造可能性。4K,HDR和沉浸式声音的结合为Akira的世界注入了生命。使用调音台已经使用过的相同工具,所有这些都是可能的。



Mixer Will Files和声音设计师Matt Yokum与Akira一起以杜比全景声(Dolby Atmos)标准表达了她的世界。 Haruka在绘画仍在进行的早期阶段就参与了这一过程,并帮助Akira的思想从日语转换为英语,同时保留了创意的细微差别和意义。

在一种情况下,马特在数百只鸟飞起来的场景中加了一只乌鸦的叫声,结果晃晃让他找到了在日本会发现的鸟的声音。马特基于一只本地鸟的叫声创造了一种全新的声音,通过这种方式,获得了没有普遍合作就不会存在的效果。



通过在Pro Tools中使用Atmos,Will获得了对比鲜明的声音图像,并成功地将作曲家Emily Rice音乐的管弦乐队录音编织到了唱片中,并在配音过程中将其录制在Schoeps ORTF 3D麦克风上。在观看视频时,声音在房间中移动,飞到天花板上,掉到地板上,然后再次起飞,从而讲述了Sol Levante的戏剧性故事,而没有对话。

混合沉浸式声音是许多混合器的新概念,包括日本在内,那里仍然没有很多电影院可以播放这种声音。但是,在杜比全景声(Dolby Atmos)中进行混音可以使创意团队创建一个混音,然后可以使用该混音来获得从7.1和5.1到立体声的所有其他选项。这种格式非常适合存档,并且可以为动画带来新的维度。


声音主管和录音混音器Wil Files与Dolby Atmos配合使用

动漫制作的未来:下一步是什么?


Sol Levante令人愉悦的世界是艺术,技术和好奇心的结晶。考虑到我们在与Production IG合作的两年中学到的一切,我们希望为动画师和创意团队提供技术开发,与设备制造商合作以更好地支持动漫产业,并与动漫工作室合作将我们的经验应用于他们产品。为了帮助业界更好地理解动漫中的4K HDR和沉浸式声音,我们上传了 Sol Levante中使用的所有工作材料,因此您可以下载并进行实验。今天的订阅者可以在Netflix上观看Sol Levante。在配置了HDR且具有高级订阅的设备上,可以欣赏到最佳电影。


从左到右:葛饰喜,田中美穗,斋藤晃,埃祖拉久,森中雅和。

导演斋藤晃告诉我们:“据称4K HDR给了我们翅膀和动力,以便我们可以看到新的视野和新时代的到来。 “我们将继续为自己设定具有挑战性的目标,并为未来进行创新。”在这个项目中,我们遇到了许多困难,但是Akira认为,对于4K HDR工作室而言,这是保持内容创作前沿的唯一途径。

但是,目前的状况使得从高清到4K过渡的技术难题没有消失。我们鼓励有创造力的人讲故事,超越允许的范围。我们希望以一种观众可以使用的格式来创建内容,并且希望其尽可能长时间地保持良好的外观。但是,我们不能忽视这样一个事实,就动画而言,工具和设备仍无法轻松组织4K图像创建的技术过程。还有许多工作要做和研究,Creative Technologies团队正在与软件和硬件制造商密切合作,以分享他们的知识,并试图加快行业的进步。

HDR的调整要简单得多,因为这里的问题不那么复杂。由于我们在Sol Levante生产中遇到的问题-例如颜色选择器在不同的显示器上的不同显示以及令人眼花interface乱的问题,已经有软件制造商对其程序进行了更改。整个行业最大的障碍仍然是缺乏负担得起的HDR监视器。最后,即使使用了正确的工具,也要在HDR中选择一种颜色,您将需要一台监视器,您可以在该监视器上看到所选的颜色。一旦有更多的人,HDR在动漫中的广泛使用将只是时间问题。



“谁不想住在更大的房子里?” -动画师久志久(Esura Ezura)告诉我们有关HDR的工作,这种比喻让遥遥发笑,因为每个人都知道日本人躲在哪套小公寓里,并一直梦想着建造一栋大房子。但是这个梦想仍然是一个梦想。他的梦想实现了。现在,HDR使他能够使用所有这些新功能,因此他将永远不会回来。

在意大利语中,Sol Levante的意思是“东方的太阳升起”,隐喻地是日本。Akira之所以选择这个名称,是因为对于她来说,整个项目都致力于开始-日本动画师的新事物的开始。电影的最后一帧是曙光,因为电影本身就是动漫新技术时代的曙光!

All Articles