Mejorando los futuros avatares de realidad virtual con datos de videos TikTok

Yasamin Jafarian, una estudiante de doctorado en informática e ingeniería, ha aprovechado durante el último añolos videos para los bloques de construcción cuadro por cuadro que usa para construir avatares 3D realistas de personas reales. 

Al encontrar muchos de los avatares 3D de hoy en día caricaturescos, quiere reemplazarlos utilizando el aprendizaje automático y la inteligencia artificial (IA), para generar avatares más realistas para usar en futuros entornos de realidad virtual. Con ese fin, entrena ordenadores de inteligencia artificial, para comprender datos visuales a través de imágenes y videos.  



Entrenando algoritmos con vídeos de TikTok

La industria del cine produce avatares realistas para películas o videojuegos a través de CGI (imágenes generadas por computadora). Pero la industria puede darse el lujo de tomar miles de fotos de artistas.

“El problema con la tecnología cinematográfica es que no es accesible para todos”, comentó Jafarian, en alusión a los aspectos técnicos relacionados. «Quería generar la misma oportunidad para la persona promedio para que pueda usar la cámara de su teléfono y poder crear un avatar 3D de sí mismos«, dijo también.

Jafarian pretendía diseñar un algoritmo que necesitara solo una foto o video de una persona para generar un avatar realista. Eso requirió un gran conjunto de datos de videos para «entrenar» el algoritmo. Los videos de baile de TikTok, que a menudo presentan a una sola persona, mostrando la longitud total de su cuerpo en múltiples poses, llenaron la factura.

Después de ver unos 1000 videos de TikTok, Jafarian eligió 340 para su conjunto de datos, cada uno de 10 a 15 segundos de duración. A 30 fotogramas por segundo, llegaron a más de 100.000 imágenes de personas bailando.

Hasta ahora, ha utilizado con éxito su algoritmo para generar un avatar 3D de una persona desde la vista frontal. Jafarian planea seguir refinando el algoritmo hasta que pueda generar el cuerpo de una persona completa usando solo unas pocas vistas. Ella espera que personas reales algún día usen la tecnología para interactuar en espacios sociales virtuales en línea, y no solo a través de Zoom.

“Podemos tener entornos virtuales, usando gafas de realidad virtual como Oculus, por ejemplo, donde podemos vernos e interactuar entre nosotros”, comenta la investigadora. “Si podemos hacer que esos avatares digitales sean realistas, esas interacciones serían más profundas e interesantes”, agregó.

La mejora de la tecnología tras los avatares puede tener un alcance transversal, desde las experiencias de realidad aumentada que nos permiten probarnos prendas de vestir sin salir de casa, hasta experiencias de realidad virtual aún más complejas.

Fuente: Link