Impressionante programa de Inteligência Artificial que recria rostos de áudios

A tecnologia continua a crescer aos trancos e barrancos, aproveitando várias áreas para explorar novos recursos e funções. Uma delas é ser capaz de “reconstruir” o rosto de uma pessoa através de um fragmento de voz.

O estudo Speech2Face apresentado em 2019 em uma conferência Vision and Recognition Patterns mostrou que uma Inteligência Artificial (IA) pode decifrar a aparência de uma pessoa por meio de segmentos curtos de áudio.

O artigo explica que o objetivo dos pesquisadores Tae-Hyun On, Tali Dekel, Changil Kim, Inbar Mosseri, William T. Freeman e Michael Rubinstein do Programa de Pesquisa e Ciência do MIT não é reconstruir o rosto das pessoas de forma idêntica, mas fazer uma imagem com as características físicas que estão relacionadas com o áudio analisado.

Para conseguir isso, eles usaram, projetaram e treinaram uma rede neural profunda que analisou milhões de vídeos tirados do YouTube onde as pessoas estão conversando. Durante o treinamento, o modelo aprendeu a correlacionar vozes com rostos, permitindo produzir imagens com atributos físicos semelhantes aos falantes, incluindo idade, gênero e etnia.

O treinamento foi realizado sob supervisão e utilizando a concordância dos rostos e vozes dos vídeos da Internet, sem a necessidade de modelar características físicas detalhadas do rosto.

Eles detalharam que, como este estudo pode ter aspectos sensíveis à etnia, bem como à privacidade, é que nenhum aspecto físico específico foi adicionado à recriação de rostos e garantem que, como qualquer outro sistema de aprendizado de máquina, melhora com o tempo, pois em cada uso aumenta sua biblioteca de conhecimento.

Embora os testes mostrados mostrem que o Speech2Face tem um alto número de coincidências entre rostos e vozes, ele também apresentou algumas falhas, onde etnia, idade ou sexo não correspondiam à amostra de voz usada.

O modelo é projetado para apresentar correlações estatísticas que existem entre as características faciais com a voz. Deve-se lembrar que a IA aprendeu por meio de vídeos do YouTube, que não representam uma amostra real da população no mundo, por exemplo, em alguns idiomas mostra discrepâncias com os dados de treinamento.

Nesse sentido, o próprio estudo recomenda, ao final de seus resultados, que aqueles que decidem explorar e modernizar o sistema considerem uma amostra mais ampla de pessoas e vozes para que o aprendizado de máquina tenha um repertório mais amplo de correspondência e recriação de rostos.

O programa também foi capaz de recriar a voz em desenhos animados, que também têm uma semelhança incrível com as vozes dos áudios analisados.

Como essa tecnologia também poderia ser usada para fins maliciosos, a recriação do rosto só permanece o mais próximo da pessoa e não dá rostos completos, pois isso pode ser um problema para a privacidade das pessoas. Ainda assim, tem sido surpreendente o que a tecnologia pode fazer a partir de amostras de áudio.

CONTINUE LENDO: