Impressionante programma di intelligenza artificiale che ricrea i volti dagli audio

La tecnologia continua a crescere a passi da gigante, attingendo a diverse aree per esplorare nuove capacità e funzioni. Uno di questi è riuscire a «ricostruire» il volto di una persona attraverso un frammento di voce.

Lo studio Speech2Face presentato nel 2019 in una conferenza sui modelli di visione e riconoscimento ha dimostrato che un'intelligenza artificiale (AI) può decifrare l'aspetto di una persona attraverso brevi segmenti audio.

L'articolo spiega che l'obiettivo dei ricercatori Tae-Hyun On, Tali Dekel, Changil Kim, Inbar Mosseri, William T. Freeman e Michael Rubinstein del MIT Research and Science Program non è quello di ricostruire i volti delle persone in modo identico, ma di creare un'immagine con le caratteristiche fisiche che sono correlate con il audio analizzato.

Per raggiungere questo obiettivo, hanno utilizzato, progettato e addestrato una rete neurale profonda che ha analizzato milioni di video presi da YouTube in cui le persone parlano. Durante la formazione, il modello ha imparato a correlare le voci con i volti, permettendogli di produrre immagini con attributi fisici simili a quelli dei parlanti, tra cui età, sesso ed etnia.

La formazione è stata condotta sotto supervisione e utilizzando la concomitanza dei volti e delle voci dei video su Internet, senza la necessità di modellare le caratteristiche fisiche dettagliate del viso.

Hanno spiegato che, poiché questo studio potrebbe avere aspetti sensibili all'etnia, così come alla privacy, non sono stati aggiunti aspetti fisici specifici alla ricreazione dei volti e assicurano che, come qualsiasi altro sistema di apprendimento automatico, migliora nel tempo, poiché in ogni uso aumenta la sua libreria di conoscenze.

Mentre i test mostrati mostrano che Speech2Face ha un numero elevato di coincidenze tra volti e voci, aveva anche alcuni difetti, dove etnia, età o sesso non corrispondevano al campione vocale utilizzato.

Il modello è progettato per presentare correlazioni statistiche esistenti tra i tratti del viso e la voce. Va ricordato che l'IA ha imparato attraverso i video di YouTube, che non rappresentano un campione reale della popolazione nel mondo, ad esempio, in alcune lingue mostra discrepanze con i dati di formazione.

In questo senso, lo studio stesso raccomanda, alla fine dei suoi risultati, che coloro che decidono di esplorare e modernizzare il sistema, considerino un campione più ampio di persone e voci in modo che l'apprendimento automatico abbia un repertorio più ampio di volti corrispondenti e ricreati.

Il programma è stato anche in grado di ricreare la voce nei cartoni animati, che hanno anche un'incredibile somiglianza con le voci degli audio analizzati.

Poiché questa tecnologia potrebbe essere utilizzata anche per scopi malevoli, la ricreazione del viso rimane solo il più vicino alla persona e non dà facce piene, poiché questo potrebbe essere un problema per la privacy delle persone. Tuttavia, è stato sorprendente ciò che la tecnologia può fare dai campioni audio.

CONTINUA A LEGGERE: