Estás leyendo la publicación: Los investigadores de Deepmind presentan ‘Transframer’: un marco de trabajo de inteligencia artificial de uso general para el modelado de imágenes y tareas de visión artificial basado en la predicción probabilística de cuadros
Transframer es un nuevo marco de trabajo de uso general para modelado de imágenes y aplicaciones de visión basado en la predicción de cuadros probabilísticos lanzado por los investigadores de Deepmind. Este nuevo paradigma integra varias tareas, como la interpolación de video, la síntesis de vista y la segmentación de imágenes.
El marco más reciente genera secuencias de características de imágenes comprimidas dispersas basadas en marcos de contexto anotados utilizando componentes U-Net y Transformer.
Transframer, una herramienta creada por Deepmind, combina una variedad de tareas de visión y modelado de imágenes y puede producir películas o características de imágenes a partir de una sola imagen con uno o más marcos de contexto.
Transframer admite una variedad de puntos de referencia de generación de video. El equipo de estudio afirma que su modelo de vanguardia puede crear películas coherentes de 30 segundos a partir de una sola imagen y se prevé que sea el más sólido y competitivo en la síntesis de vista de pocas tomas.
Sin componentes arquitectónicos específicos de tareas, el modelo sugerido demostró un rendimiento alentador en ocho tareas, incluida la segmentación semántica, la clasificación de imágenes y la predicción de flujo óptico.
Transframer podrá pronosticar y producir modelos de video, nueva síntesis de vista y visión multitarea. Se puede utilizar en varias aplicaciones que requieren el aprendizaje de estructuras condicionales a partir de texto o una sola imagen.
Deepmind ha estado trabajando en la creación de modelos informáticos que puedan abordar de manera proactiva los desafíos relacionados con la generación y la construcción desde 2010.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘Transframer: predicción de fotogramas arbitrarios con modelos generativos‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
