Phenaki

Phenaki no es solo otro software de síntesis de vídeo. Va más allá, permitiendo a los usuarios generar vídeos realistas a partir de secuencias de texto. Lo hace a través de un modelo causal innovador, que comprime los vídeos en un formato de token discreto, creando vídeos de longitudes variables.

Este software se destaca por superar a las referencias existentes por fotograma en términos de calidad espaciotemporal y número de tokens por vídeo. Pero eso no es todo. Según el sitio web, la formación conjunta en un gran corpus de pares de imágenes y texto y un menor número de ejemplos de texto de vídeo puede ayudar a Phenaki a generalizar más allá de los conjuntos de datos de vídeo existentes.

Los usuarios encontrarán útil esta característica para generar rápidamente vídeos para diferentes casos de uso, desde la creación de informes de noticias hasta el desarrollo de videojuegos o las campañas de marketing.

Lo que realmente diferencia a Phenaki de competidores de software similares es su uso de un transformador enmascarado bidireccional condicionado en tokens de texto precalculados para la tokenización de vídeo. Esto es un cambio de juego en el campo de la síntesis de videos.