A tecnologia de sincronização labial da Ubisoft poderia ter aplicações além do jogo
NotíciaTemos certeza de que não estamos sozinhos quando dizemos que quando alguém menciona IA em jogos, nossas mentes pulam imediatamente para NPCs e inimigos; seus movimentos, suas reações, suas, bem, inteligência. Tudo isso faz parte da IA de um jogo.
Mas, como se vê, AI é muito mais do que isso em jogos. Depois de uma conversa com Yves Jacques, chefe do projeto de pesquisa de tecnologia La Forge da Ubisoft, obtivemos uma ideia muito melhor de como a IA está sendo usada para tornar o desenvolvimento de jogos mais rápido e acessível, bem como melhorar a qualidade imersiva dos jogos que jogamos.
Pedimos a Jacquier para nos contar sobre alguns dos protótipos que estão sendo desenvolvidos e usados pela Ubisoft e La Forge no momento. Um projeto que ele estava particularmente animado para discutir foi o Sound Matching. Isso, ele nos diz, ”pega o arquivo wav diretamente dos atores gravados e conduz a animação facial” de personagens no jogo.
Melhorando a animação facial
Sem AI, existem algumas maneiras de fazer animação facial, explica Jacquier. Uma maneira é manual, cujo processo também pode ser acelerado usando captura de movimento, e outra é decompor o texto em fonemas ou unidades distintas de som. Usando estes você pode formar diferentes movimentos labiais, gravar vozes de atores falando, e então mapear a voz com o fonema e as diferentes poses da animação.
Além de soar totalmente exaustivo, Jacquier nos diz que um grande problema em usar o último método é que ele é principalmente útil apenas para o inglês. “você tem que ter bancos de dados enormes para transformar texto em fonemas e nem todos eles são confiáveis”. Ainda mais que isso, ”você não é capaz de transformar coisas como latidos e tosses, coisas assim”.
“Aumentamos a qualidade, aumentamos a sensação de imersão para o jogador e diminuímos os custos de animação localizados em cerca de 30%“
Yves Jacquier
Essa limitação cria alguns problemas ao tentar localizar jogos em outros idiomas além do inglês: “nós tínhamos muito trabalho a fazer quando queríamos localizar nossos jogos porque estamos gravando nossa linha de base em inglês, então estamos gravando todas as outras línguas e então temos que sincronizar labial para sincronizar cada sentença através da animação em inglês.”.
Não só isso “crie uma experiência de qualidade inferior, uma sensação mais baixa de imersão se estiver jogando em outro idioma que não o inglês”, também custa muito desde que você é “pedindo às pessoas que passem muito tempo manualmente alinhando e sincronizando sentenças estrangeiras com animação em inglês”.
Quando ouvimos sobre a quantidade de trabalho que tem que ser em algo aparentemente tão simples quanto o movimento dos lábios de um avatar, não estamos surpresos que Jacquier esteja tão entusiasmado com as capacidades de sua IA de Som e Harmonia..
Menor custo, maior qualidade
“Funciona com ondas sonoras,” ele diz, o que significa “funciona em qualquer idioma e cria a animação labial diretamente”. O que isso resulta é “um aumento da qualidade, um aumento da sensação de imersão para o jogador, e diminuiu os custos de animação localizados esperados em cerca de 30%”.
Quando a inteligência artificial está permitindo que você faça economias tão significativas em tempo e dinheiro durante o processo de desenvolvimento, isso significa, Jacquier diz, “podemos colocar [esses esforços] em outro lugar para melhorar a qualidade do jogo”.
O que temos, então, são movimentos faciais muito mais precisos quando os personagens do jogo estão falando. Todos nós percebemos, ao jogar, que há momentos em que o que um personagem está dizendo não combina com seus movimentos labiais. Não está arruinando o jogo de jeito nenhum, e é apenas irritante do jeito que uma pintura um pouco fora do centro poderia ser. Mas isso tem um impacto na imersão que a Ubisoft gostaria de evitar.
Ramificando para outros campos
O que é realmente interessante é que o trabalho que a Ubisoft está fazendo com este protótipo também está sendo usado por outros pesquisadores em outras áreas, como a medicina, porque eles descobriram que eles compartilham os mesmos desafios..
“Eu não sabia,” Jacquier continua, “mas na medicina eles estão usando avatares para tratar pacientes com esquizofrenia ou ansiedade”. Jacquier foi rápido em nos dizer que ele não é de forma alguma um especialista na área, mas é seu entendimento que os avatares de videogames estão sendo usados para “Ajudar os pacientes a confrontar suas próprias vozes na esquizofrenia ou o medo de ansiedade”.
Onde os campos da medicina e do jogo passam por aqui, então, é necessário que os avatares tenham uma animação facial crível.. “Se você começar a não acreditar em uma situação começar a não acreditar em que você está realmente falando com o avatar como algo real, o tratamento irá falhar,” Jacquier acrescenta.
”Se você começar a não acreditar em uma situação começar a não acreditar em que você está realmente falando com o avatar como algo real, o tratamento irá falhar”
Yves Jacquier
Uma grande parte do tratamento gira em torno de conversar com um avatar, o que significa que os pacientes estarão se concentrando no movimento dos lábios, então os pesquisadores médicos estão procurando que essa parte do rosto, em particular, seja precisa.
“Quando falamos com alguém, muita da nossa atenção vai para a boca, especialmente quando há barulho ou você está tentando se concentrar,” diz Jacquier. ”Então, se o movimento dos lábios diz algo diferente do que você está ouvindo, então você perde a pessoa.”
Ele nos diz que aqueles que trabalham em planos de tratamento como este expressaram muito interesse na IA que a Ubisoft está trabalhando., “especialmente Stephane Guay, que está liderando pesquisas no Instituto de Saúde Mental que está tentando incluir mais tecnologia para ajudar os pacientes, não apenas remédios e tratamentos regulares que existem.“.
No momento, Jacquier e sua equipe ainda estão tentando descobrir exatamente como eles vão colaborar, mas há uma esperança de que qualquer rota que eles sigam “melhorar nossos jogos e seu tratamento”.
- A E3 é a maior exposição do mundo para a indústria de jogos, recheada dos mais recentes e melhores jogos, consoles e hardware de jogos. A TechRadar está transmitindo ao vivo de Los Angeles durante toda a semana para trazer até você o mais recente do pavilhão da feira. Dirija-se ao nosso dedicado hub E3 2018 para ver todos os novos lançamentos, juntamente com a análise de classe mundial da TechRadar e os conselhos de compra sobre o próximo ano em jogos.