Estás leyendo la publicación: Music-to-Dance: EDGE AI genera una cantidad infinita de ideas de baile para TikTok basadas en la entrada de audio
La Universidad de Stanford tiene Anunciado una poderosa IA de música para bailar que genera baile a partir de una entrada de audio llamada EDGE. EDGE es un método potente para la creación de baile personalizable que puede producir bailes realistas y físicamente creíbles mientras se adhiere a cualquier música suministrada. Con la ayuda de Jukebox, un potente extractor de características musicales y un modelo de difusión basado en transformadores, EDGE ofrece poderosas capacidades de edición que son ideales para la danza, como el acondicionamiento de las articulaciones, el movimiento intermedio y la continuación de la danza. Descubre que los evaluadores humanos prefieren en gran medida los bailes generados por EDGE en comparación con enfoques recientes como Bailando y HECHO.
De la música a la coreografía: cómo EDGE genera sus danzas
Incluso para muestras de música que se encuentran en la naturaleza, EDGE puede producir bailes de alta calidad utilizando incrustaciones de música del robusto modelo Jukebox. EDGE utiliza un modelo congelado de Jukebox para incorporar música de entrada. Se utiliza una serie de clips de baile de cinco segundos para enseñar a un modelo de difusión condicional cómo mapear la música incrustada en los clips. Antes de unir lotes de varios clips para crear un video completo de longitud arbitraria, se aplican restricciones temporales para garantizar la coherencia temporal.
EDGE está entrenado en clips de baile de 5 segundos, pero al colocar restricciones temporales en lotes de secuencias, es capaz de crear bailes de cualquier duración. En la ilustración, EDGE obliga a que la primera mitad de cada secuencia coincida con la segunda mitad de la anterior.Salidas de música para bailar recién generadas
EDGE admite limitaciones temporales y espaciales arbitrarias. Hay numerosas aplicaciones de usuario final que pueden ser compatibles con esto, que incluyen:
- Al requerir continuidad temporal a través de lotes de numerosas secuencias, se pueden producir bailes de duración arbitraria.
- Bailes que incluyen restricciones articulares, como el movimiento de la parte inferior del cuerpo que genera la generación de la parte superior del cuerpo, o lo contrario.
- Bailes con movimientos iniciales y finales predeterminados.
- Los bailes que comienzan con un movimiento predeterminado se conocen como continuaciones de baile.
El contacto complejo, deliberado y deslizante entre los pies y el suelo prevalece en la danza. La nueva pérdida de consistencia de contacto, que mejora significativamente el realismo físico mientras mantiene el deslizamiento, permite que EDGE aprenda cuándo los pies deben y no deben deslizarse.Los investigadores descubrieron que los observadores humanos preferían abrumadoramente los bailes generados por el algoritmo EDGE a los generados por otros algoritmos. Los autores del estudio dicen que el algoritmo EDGE representa un gran avance en el campo de la danza generada por computadora. Creen que el algoritmo podría usarse para crear bailes para eventos virtuales y del mundo real, como tendencias sociales y TikTok, bodas, fiestas o funciones corporativas.
Lea más sobre la IA:
