👈🏼 👳🏿 🕯️ Sol Levante: como eles fizeram anime em 4K e HDR para Netflix 🖐🏾 👨‍🌾 ♦️

O anime, muitas vezes rejeitado como apenas desenhos animados, é uma variedade de contos de fadas, estilo animado e gráficos elegantes. Esta é uma forma de arte que nos últimos cinquenta anos se desenvolveu e cresceu em popularidade, diversidade e complexidade. Provavelmente começou com lâmpadas pintadas no início do século XX, e na década de 1970 ganhou grande popularidade no Japão. Hoje, os telespectadores podem escolher entre centenas de programas de TV e filmes em estilo anime de todo o mundo.

Nossa equipe de Tecnologias Criativas queria melhorar a qualidade técnica da imagem do anime, descobrir quais novas possibilidades criativas isso pode oferecer às pessoas e o que é necessário para aumentar a resolução do anime de HD para 4K e inserir uma paleta de cores mais ampla em HDR no kit de ferramentas dos artistas.(dinâmica de alto alcance). Quando se tratava de 4K, a maioria dos animadores japoneses pedia a mesma coisa: papel maior! No entanto, os artistas da Production IG acreditam que o futuro está na tecnologia digital. Foi assim que nasceu uma colaboração ampla e colorida - e o curta-metragem Sol Levante resultante está disponível para visualização na Netflix em 4K Dolby Vision e Atmos!

A equipe de Tecnologias Criativas da Netflix está tentando descobrir como melhorar a criação de conteúdo à prova de futuro e está trabalhando com vários parceiros de pesquisa e desenvolvimento para tornar essas melhorias disponíveis para artistas em fluxos de trabalho do mundo real. Nossas tarefas centrais combinam alta qualidade e durabilidade com confiabilidade da apresentação e criam um espaço para a criatividade. Dada a rápida proliferação de dispositivos de consumo com recursos de exibição 4K HDR, é fácil imaginar que em cinco anos essa qualidade se tornará o padrão.

Nos últimos anos, remasterizamos com sucesso trabalhos como Cavaleiros de Sidonia, Sabores da Juventude e Godzilla, aumentando a qualidade de SDR para HDR. Mas e se você aumentar imediatamente a resolução de trabalho e criar um anime inicialmente de olho no HDR? Como isso afetará as decisões criativas? Que problemas surgirão, de natureza criativa e técnica? Como o orçamento e os termos mudarão? Que novas possibilidades criativas isso pode oferecer?

A Production IG, com sede em Tóquio, que se estabeleceu como projetos e animação Ghost In the Shell em Kill Bill, reuniu uma equipe experiente que dominou o trabalho completamente “em digital” e também queria responder a essas perguntas. Nossa curiosidade comum levou à criação de um anime experimental de curta duração em 4K HDR Immersive Audio chamado Sol Levante. E para ajudar a indústria a lidar com o 4K HDR e as tecnologias de áudio imersivas no anime, lançamos todos os materiais para acesso gratuito , para download e experimentação.

Diretor Akira Saito trabalha no After Effects

Akira e Haruka trabalham juntos

Status atual do anime: Negócios

Embora as histórias incríveis do anime moderno nunca envelhecam, o próprio fluxo de trabalho, nascido no Japão, não mudou por muitos anos. Para entender a necessidade de nosso experimento, é importante entender como o anime é realmente criado no Japão.

Desde o início do século, a indústria do anime se afastou do sistema tradicional, quando o estúdio possui a maior parte da propriedade intelectual e chegou ao modelo de negócios moderno do "comitê de produção". Embora tenha se tornado mais fácil para os estúdios criar conteúdo graças ao apoio financeiro, aumentar o número de participantes complica o processo.

Parcial ou completamente, a produção é subcontratada para várias empresas ou freelancers, e isso pode acontecer em vários níveis. Com um número tão grande de subcontratados, é bastante difícil apresentar a todos as mudanças na tecnologia e novas oportunidades criativas. Em projetos diferentes, o número de freelancers é diferente, no entanto, a maioria deles trabalha em casa, e seus equipamentos são de qualidade inferior ao que o estúdio pode pagar.

Status atual do anime: Produção

Além das complexidades do sistema de estúdio, surgem dificuldades adicionais ao tentar inovar o fluxo de trabalho da criação de anime. E enquanto o 3D CG está ganhando popularidade - programas como Saint Seiya e Ultraman são inteiramente gerados por computador por artistas em 3D - a maior parte do anime ainda é desenhada à mão. Alguns artistas preferem o sentimento do papel ou não têm tempo e dinheiro para investir em equipamentos que lhes permitam experimentar a arte digital. O fluxo de trabalho após o desenho já é digital, no entanto, para suportar uma resolução maior, o equipamento precisa ser seriamente atualizado. Também faltam professores com experiência e ferramentas que lhes permitam educar uma nova geração de animadores digitais. Daí a falta de pessoalcapaz e disposto a trabalhar com um número já na fase de desenho.

Para ir ao ar, o anime geralmente é feito na resolução de 1280x720, ou "Half HD". Somente os programas mais significativos são exibidos em 1080 HD. Para mudar para 4K, é necessário mudar para um número, porque as imagens precisam ser digitalizadas. Porém, se uma folha de papel de tamanho normal for simplesmente digitalizada aumentando o DPI, detalhes desnecessários aparecerão em traços de lápis. Portanto, o anime desenhado à mão requer papel maior.

Também no processo de renderização de anime, o gerenciamento de cores é raramente usado - um processo que ajuda a obter uma cor previsível e consistente dos desenhos em cada etapa da produção e pós-produção. Com algumas exceções, tudo é criado no espaço de cores sRGB - o espectro mais popular usado em computação gráfica. Nos filmes, os animadores geralmente pintam em sRGB e, na pós-produção, adicionam 3D LUT para transformá-lo em P3, o que preserva a aparência de sRGB no espaço de cores P3.

Você também pode se surpreender com o fato de as emissoras japonesas definirem a temperatura da cor em 9300 K, muito mais azul que a temperatura de 6500 K, que domina o resto do mundo. Muitos dos animes licenciados para Netflix foram convertidos para D65 BT.1886 no final da pós-produção para atender às nossas especificações e parecer bem em nosso serviço de streaming - conforme planejado por seus criadores.

Compreendendo todas as dificuldades envolvidas na transferência de anime de folhas de papel para um fluxo de trabalho totalmente digital, a Creative Technologies trabalhou em estreita colaboração com o Production IG para tentar prever alguns dos problemas. No entanto, somente quando a equipe começou a realmente usar canetas e tablets digitais, essas descobertas começaram a assumir uma forma clara.

Sol Levante: descobertas durante a pós-produção

No processo atual de criação de anime, normalmente leva de um ano e meio a dois anos desde a escrita do roteiro até a conclusão do trabalho na temporada de 12 episódios da série. No caso de nosso curta de três minutos de Sol Levante, a diretora Akira Saito esteve envolvida em um storyboard por duas semanas. Ela tentou incorporar muitas opções de iluminação diferentes no filme, variando de cena para cena. A história começa ao amanhecer, se desenvolve durante um dia sombrio, depois continua à noite e termina com o nascer do sol. Akira disse que estava muito interessada em trabalhar e que estava entusiasticamente envolvida em animação, sem suspeitar de quais problemas apareceriam em sua produção.

Um exemplo de um storyboard

Quando Akira pensou em mudar para 4K e aumentar a resolução, ela alcançou um bom equilíbrio entre quadros com desenhos simples e quadros com muitos detalhes. Em muitos quadros, ela criou um mundo cuja densidade é alta o suficiente para impressionar o público e, ao mesmo tempo, possui pequenos detalhes que podem ser vistos após a ampliação da imagem.

Durante a fase de desenvolvimento do personagem, o animador Hisashi Ezura passou muito tempo ajustando a espessura das linhas devido à expansão do alcance dinâmico. Contornos dos personagens - um fenômeno exclusivo do anime, mas se você usar a espessura usual das linhas, elas parecerão muito nítidas no SDR e muito antinaturais no HDR. Ele definiu a caneta para um toque "mais suave" na tela para alterar a aparência das linhas.

Teste para selecionar a espessura dos contornos

Na fase de desenvolvimento das cores, a equipe decidiu inicialmente que um brilho de 300 nits seria suficiente para a pré-produção. No entanto, vendo a impressão que 1000 nits causam no monitor Eizo CG3145, eles sentiram que a diferença era muito grande e 300 nits não permitiriam que o designer usasse a paleta inteira. Como no anime as decisões de cores são tomadas na fase de pré-produção, era muito importante para Miho Tanaka, designer de cores do Production IG, ver como o brilho de 1000 lêndeas se comporta no monitor de masterização.

Também foi bastante difícil escolher um tom de pele. Um ajuste especial e completo requer a cor da sombra, pois pode afetar bastante a percepção geral do rosto e do personagem como um todo. Miho passou muito tempo fazendo os personagens ficarem lindos a qualquer hora do dia. O HDR facilitou a escolha de cores para cenas escuras, porque nesse modo a imagem não começa a parecer “suja” e as linhas permanecem nítidas. Sem uma faixa dinâmica decente, é difícil manter a clareza de linhas finas, como cílios. O HDR permite separar claramente as cores umas das outras, para que não se misturem de maneira indesejável.

Durante o estudo da aparência, outros problemas apareceram, além de oportunidades. Graças ao HDR, o efeito visual típico do brilho dos olhos pode ser substituído por outro método de uso de cores. Se você adicionar linhas brilhantes aos lábios, elas parecerão brilhantes. Como resultado, a diretora processou todo o feedback e, consequentemente, ajustou seu design e cores.

À esquerda - a versão de teste, à direita - a final

Um dos problemas mais difíceis com HDR durante a pré-produção foram as limitações associadas às ferramentas de design e desenho. A interface dos programas gráficos era brilhante demais para ser constantemente visualizada com um brilho de 1000 nits, e o fundo teve que ser alterado para cinza (180) e branco (255) durante a visualização em um monitor HDR. Muitas ferramentas gráficas ainda não suportam a saída completa de 16 bits crítica para o HDR. E o seletor de cores parece diferente nos monitores SDR e HDR, o que dificulta a seleção precisa das cores.

Também nesta fase, foram encontrados problemas com uma resolução de 4K. Ao desenhar linhas, os artistas passaram constantemente pelo processo de ampliar o desenho e verificar o resultado de seu trabalho devido a restrições na resolução de sua tela ou tablet. Ao visualizar a imagem inteira, as linhas ficaram muito finas para considerar todos os detalhes da imagem.

Sol Levante: descobertas na fase de produção

No estágio de pré-produção em nossa colaboração com o Production IG, as dificuldades reais começaram a aparecer na fase de produção.

Para começar, a equipe teve que realizar muitas experiências para configurar corretamente o sistema de transferência de informações e selecionar os perfis de cores apropriados, além de mostrar corretamente as cores em cada monitor, além disso, dependendo do programa específico. Cada equipe de artistas precisava de vários monitores para ver a imagem nos modos SDR e HDR e continuar apoiando os projetos nos quais eles já estavam trabalhando no modo SDR. O problema do gerenciamento de cores na animação afeta muitos estágios de produção. Esse projeto foi especialmente complexo, mas Junichiro Aki e Katsushi Eda, juntamente com o especialista em gerenciamento de cores Masakazu Morinaka, criaram um sistema de trabalho.

Para Sol Levante, absolutamente tudo foi feito em digital. Além de usar o aplicativo Procreate para iPad no processo de pré-produção e geração de idéias, o Production IG também usou o ClipStudio para criar imagens intermediárias, o Vue para desenhar fundo e elementos selecionados, o Retas Stylus para trabalhar com cores, Photoshop e After Effects. Os animadores experimentaram o Toon Boom Harmony, que suporta a extremamente popular tecnologia de "animação de recortes" fora do Japão.

Diagrama do fluxo de trabalho de Sol Levante

A equipe imediatamente percebeu que algumas das técnicas de anime em que eles confiavam há anos não funcionariam com o aumento do brilho e a expansão do espectro. Por exemplo, um efeito típico no anime é uma transição suave para 100% de branco, que é usado como um dos métodos de narração. No entanto, o branco no HDR ficou muito claro, então os artistas decidiram sobrepor uma camada branca no topo. E sempre que algo não funcionava conforme o esperado, eles encontravam uma nova maneira de obter o mesmo resultado.

A resolução 4K teve o maior impacto no fluxo de trabalho ao gerar os quadros finais com composições compostas por imagens muito maiores que 4K em tamanho - elas eram necessárias para o pan. E isso acabou sendo um obstáculo tão sério que todo o projeto ficou lento por vários meses. Alguns dos problemas que o causaram apareceram devido ao fato de que o equipamento precisava ser configurado para funcionar com 4K; outros estão na maneira como o software funciona e como ele usa os recursos do sistema. Para os fabricantes de software, o principal problema continua sendo a necessidade de melhorar o trabalho com recursos.

Ao criar padrões em números, você pode salvar linhas finas, porque não precisa digitalizar papel para digitalizar. Comparado ao desenho no papel, o animador não estava mais tão preocupado com o tamanho da tela. Ele também criou uma "tabela de configurações" que limita o nível de detalhe dos personagens e seus acessórios sob certas condições. A quantidade de detalhes depende do tamanho do personagem na tela. Aqui você precisa decidir quais detalhes adicionar à resolução em 4K e quais não devem ser desperdiçados porque não serão visíveis.

Tabela de configurações de IG de produção

Continuando a trabalhar em Sol Levante, a equipe de Produção IG decidiu terceirizar parte da renderização intermediária (criando quadros intermediários entre as duas imagens principais). Terceirizar trabalho semelhante a outras empresas é uma prática comum na produção de anime. Isso foi bastante difícil, uma vez que os subcontratados geralmente rejeitam idéias novas como o fluxo de trabalho digital - para se adaptar a essas novas ferramentas, são necessários investimentos em equipamentos e reciclagem de pessoal. Além disso, a Production IG decidiu que, para a escolha correta de cores, desenhar linhas e composições de construção, era absolutamente necessário trabalhar constantemente em um monitor HDR com um brilho de 1000 nits. Porém, no mercado de pós-produção, há uma escassez constante de monitores HDR, especialmente a preços acessíveis.que, desde o início, afeta muito a decisão de trabalhar com esses monitores.

Como resultado, o Production IG, no entanto, conseguiu encontrar um número suficiente de subcontratados com um processo tecnológico totalmente digital, com uma exceção: uma quebra de quadros por tempo ou tempo, que é usado para organizar desenhos em uma linha do tempo e marcar locais para renderização intermediária, movimentos de câmera e outras informações técnicas. Timeshield foi o único documento em papel em todo o processo de fabricação da Sol Levante.

Normalmente, o anime não usa classificação de cores nos últimos estágios de produção, mas enquanto trabalhava em Sol Levante, os animadores trabalhavam com um contêiner de imagem (PQ) com um brilho de 10.000 nits e era exibido em um monitor com 1000 nits, por isso era necessário fazer um passe geral para alinhar o visível espectro de cores e aparência geral da imagem. Durante a calibração, o colorista com o diretor descobriu várias possibilidades para melhorar a imagem final - para isso, foi necessário alterar algumas das cores selecionadas inicialmente e permitir que certas partes da imagem se destacassem no fundo. Por exemplo, um colorista alterou a cor do raio em um dos quadros para que ele se destacasse mais e aumentasse a granularidade durante a erupção do vulcão para destacar a textura da imagem.

Como todo o espectro de QP foi usado na produção, o colorista teve mais liberdade criativa e a capacidade de ajustar cores durante a graduação e, além disso, o projeto final será mais fácil de remasterizar no futuro. Geralmente, é costume confiar na cor original, mas essa experiência mostrou à equipe de IG de produção que decisões mais criativas podem ser tomadas no processo técnico digital.

De toda a produção, uma das lições mais valiosas para o diretor foi que o processo de gerenciamento do estúdio deve realmente gerenciar tudo o que acontece e, em vez de uma variedade infinita de possibilidades, forçar os subcontratados a usar um processo técnico específico e certas ferramentas. No entanto, pouco pode mudar até que os grandes estúdios se unam aos fabricantes de equipamentos e façam uma transição em larga escala para o digital.

Som Anime: Som Imersivo

O cenário sonoro do anime é diferente de todos os outros tipos de mídia. Música e som são aspectos críticos da narrativa, e Sol Levante foi a oportunidade perfeita para mostrar como o som envolvente e as imagens experimentais funcionam juntos em 4K e HDR. Nossa equipe acredita que o som envolvente é o próximo passo natural na evolução do áudio, pois aprimora a qualidade e as possibilidades criativas de contar histórias. A combinação de 4K, HDR e som envolvente permitiu dar vida ao mundo de Akira. E tudo isso é possível com as mesmas ferramentas que os misturadores já estão acostumados a usar.

Mixer Will Files e o designer de som Matt Yokum, junto com Akira, expressaram seu mundo no padrão Dolby Atmos. Haruka se envolveu nesse processo em um estágio inicial, quando o desenho ainda estava ocorrendo, e ajudou a transferir as idéias de Akira do japonês para o inglês, preservando as nuances e o significado criativos.

Em um caso, Matt adicionou um corvo coaxando em uma cena em que centenas de pássaros voam e, como resultado, Akira pediu que ele encontrasse o som de um pássaro que seria encontrado no Japão. Matt criou um som completamente novo baseado no choro de um pássaro local e, assim, foi obtido um efeito que não existiria sem a colaboração universal.

Usando o Atmos no Pro Tools, Will conseguiu uma imagem sonora contrastante e conseguiu tecer uma gravação orquestral da música da compositora Emily Rice, gravada em um microfone Schoeps ORTF 3D durante a dublagem. Enquanto assiste a um vídeo, o som se move pela sala, voa até o teto, cai no chão e decola novamente, e assim conta a dramática história de Sol Levante sem diálogo.

A mistura de som imersivo é um novo conceito para muitos mixers, incluindo o Japão, onde ainda não existem muitos cinemas que possam reproduzir esse som. No entanto, a mixagem no Dolby Atmos permite que a equipe criativa crie uma única mixagem, que pode ser usada para obter todas as outras opções, de 7.1 e 5.1 para estéreo. Este formato é ideal para o arquivo e é capaz de trazer uma nova dimensão ao anime.

Supervisor de som e misturador de arquivos Wil Files trabalha com Dolby Atmos

O futuro da produção de anime: o que vem a seguir?

O mundo encantador de Sol Levante é o culminar de arte, tecnologia e curiosidade. Considerando tudo o que aprendemos durante esses dois anos de trabalho com o Production IG, queremos oferecer desenvolvimento de tecnologia a animadores e equipes criativas, trabalhar em conjunto com fabricantes de equipamentos para apoiar melhor a indústria de anime e trabalhar com estúdios de anime para aplicar nossa experiência a seus produtos. Para ajudar a indústria a lidar melhor com 4K HDR e som envolvente no anime, publicamos todos os materiais de trabalho usados em Sol Levante para que você possa fazer o download e experimentar com eles. Hoje, os assinantes podem assistir a Sol Levante na Netflix. O melhor filme será percebido em um dispositivo configurado para HDR com uma assinatura premium.

Da esquerda para a direita: Katsushi Ed, Miho Tanaka, Akira Saito, Hisashi Ezura, Masakazu Morinaka.

A diretora Akira Saito nos disse que “4K HDR supostamente nos deu asas e um motor para que possamos ver novos horizontes e o advento de uma nova era. "Continuamos a estabelecer metas desafiadoras e inovar para o futuro." Neste projeto, encontramos muitas dificuldades, mas Akira acredita que, para o estúdio HDR 4K, é a única maneira de permanecer na vanguarda da criação de conteúdo.

No entanto, a situação atual é tal que as dificuldades técnicas na transição de HD para 4K não desaparecem. Incentivamos as pessoas criativas a irem além dos limites da permissão, contando sua história. Queremos criar conteúdo em um formato no qual nossos espectadores o consumam, e queremos que ele mantenha uma excelente aparência pelo maior tempo possível. No entanto, não podemos ignorar o fato de que, no caso de anime, as ferramentas e os equipamentos ainda não foram projetados para organizar facilmente o processo técnico de criação de imagens em 4K. Ainda há muito a ser feito e estudado, e a equipe da Creative Technologies está trabalhando em estreita colaboração com os fabricantes de software e hardware para compartilhar seus conhecimentos e tentar acelerar as melhorias no setor.

O ajuste para HDR é muito mais simples, porque aqui os problemas são menos complicados. Já existem fornecedores de software fazendo alterações em seus programas devido aos problemas que encontramos na produção de Sol Levante - como diferentes exibições do seletor de cores em diferentes monitores e uma interface deslumbrante. O maior obstáculo para toda a indústria continua sendo a falta de monitores HDR acessíveis. No final, mesmo com uma ferramenta funcionando corretamente, para selecionar uma cor no HDR, você precisará de um monitor no qual poderá ver a cor que escolher. Assim que houver mais deles, o uso generalizado de HDR no anime se tornará apenas uma questão de tempo.

"Quem não gostaria de morar em uma casa maior?" - então o animador Hisashi Ezura nos contou sobre o trabalho com HDR, e essa analogia fez Haruka rir, já que todo mundo sabe em quais pequenos apartamentos os japoneses estão escondidos, sonhando constantemente com uma casa maior. Mas esse sonho continua sendo um sonho. E seu sonho se tornou realidade. E agora que o HDR lhe deu acesso a todos esses novos recursos, ele nunca mais voltará.

Em italiano, Sol Levante significa "o sol nascendo no leste", que metaforicamente significa o Japão. Akira escolheu esse nome porque, para ela, todo o projeto foi dedicado ao começo - o começo de algo novo para os animadores japoneses. E o último quadro do filme é o amanhecer, porque o próprio filme é o início de uma nova era tecnológica para o anime!