Google AI presenta ‘Mood Board Search’: una herramienta basada en la web que le permite entrenar a una computadora para que reconozca conceptos visuales usando Mood Boards y Machine…

Estás leyendo la publicación: Google AI presenta ‘Mood Board Search’: una herramienta basada en la web que le permite entrenar a una computadora para que reconozca conceptos visuales usando Mood Boards y Machine…

En los sitios web de libre acceso y búsqueda, hay una gran cantidad de datos visuales disponibles. Gracias a los desarrollos recientes en la visión por computadora y el procesamiento del lenguaje natural, los usuarios ahora pueden buscar estas fotos simultáneamente usando una cámara, voz, texto, imagen o muchas modalidades. Sin embargo, todavía es difícil investigar estas imágenes usando ideas puramente subjetivas como tonos visuales o estados de ánimo. En esta dirección, los investigadores de Google han trabajado con artistas, fotógrafos e investigadores de imágenes para estudiar cómo el aprendizaje automático ML puede ayudar a las personas a utilizar búsquedas expresivas para examinar conjuntos de datos visualmente. Google lanzó recientemente un resultado de esta asociación, Mood Board Search, una nueva herramienta de investigación impulsada por ML que aprovecha los paneles de estado de ánimo como una consulta sobre las colecciones de imágenes. Con la ayuda de esta herramienta, los usuarios pueden definir y evocar nociones visuales de forma independiente. Se puede utilizar una búsqueda en el moodboard para consultas ambiguas, como “pacífico”, o para palabras e imágenes específicas que pueden no ser lo suficientemente exactas como para generar resultados beneficiosos en una búsqueda normal. Estas preguntas subjetivas se refieren principalmente a información abstracta que con frecuencia se ignora en las imágenes. El equipo aún se encuentra en la fase de desarrollo de la herramienta de investigación.

Fuente: https://github.com/google-research/mood-board-search

El equipo de investigación tuvo como objetivo crear una interfaz flexible y accesible para personas sin experiencia en ML para entrenar una computadora para reconocer una noción visual tal como la ven. Como resultado, se creó Mood Board Search. La interfaz de usuario de la herramienta estuvo muy influenciada por los paneles de inspiración, que los profesionales de las industrias creativas utilizan con frecuencia para transmitir la esencia de un concepto a través de una selección de ayudas visuales. Las búsquedas en tableros de humor producen los resultados más notables cuando las imágenes tienen un estilo visual similar. Es más probable que estos resultados sean pertinentes para los moodboards con similitudes visuales en color, patrón, textura o composición. Otra característica permite a los usuarios indicar qué imágenes son más cruciales para un concepto visual dándoles más o menos peso o agregando imágenes que lo contradigan. Esto permite a los consumidores examinar y estudiar los resultados de la búsqueda para elegir qué imagen se parece más al concepto visual. Mood Board Search utiliza modelos de visión por computadora preentrenados existentes como GoogLeNet y MobileNet y una técnica de aprendizaje automático conocida como vectores de activación de conceptos (CAV). En el espacio de incrustación de una red neuronal, los CAV permiten que las máquinas representen imágenes usando números o direcciones. Los CAV y las pruebas con CAV (TCAV) miden la importancia de un concepto definido por el usuario para el resultado de una categorización. Google puso inicialmente a disposición del público esta metodología de estudio y, posteriormente, se ha utilizado ampliamente en aplicaciones médicas y científicas para crear software que pueda explicar mejor lo que ven las máquinas.

Cada panel de estado de ánimo genera un CAV, que es esencialmente una dirección espacial incrustada. Los CAV se utilizan en Mood Board Search para determinar la capacidad de respuesta de un modelo a un moodboard creado por el usuario. Luego, la herramienta busca un conjunto de datos de imágenes y muestra las imágenes que más se ajustan al CAV. Una de sus características únicas es la capacidad de la herramienta para segmentar cada imagen en el conjunto de datos de 15 maneras para encontrar las composiciones más pertinentes. Con tres diseños gráficos creados en colaboración y una biblioteca Python de Mood Board Search, Google ha hecho que Mood Board Search sea de código abierto. Aunque estas herramientas aún se encuentran en la etapa de prototipo, los investigadores creen que tienen una amplia gama de usos, desde examinar colecciones de imágenes desorganizadas hasta externalizar modos de percepción en objetos compartidos y colaborativos. El trabajo futuro expandirá los modelos y las entradas de ML para permitir hallazgos subjetivos aún más profundos, independientemente del medio, y aprender sobre nuevos tipos de colaboración hombre-máquina utilizando la búsqueda de tableros de humor.

Este artículo está escrito como un artículo de resumen por el personal de Marktechpost basado en el artículo de investigación ‘Habilitación de la expresión creativa con vectores de activación de conceptos‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la código y herramienta.

Por favor no olvides unirte Nuestro subreddit de ML

Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools