Shimon é um robô de canto e composição

Pesquisadores da Georgia Tech criaram um robô chamado Shimon que pode escrever músicas, tocar e cantar. O robô que toca marimba está em turnê para apoiar um novo álbum que ele compôs e canta. O álbum terá oito a dez músicas, e Shimon as escreveu em colaboração com seres humanos. A colaboração humana começa com o humano dando ao robô um tema, como o espaço, e Shimon escreverá letras ao redor do tema.

O robô também é capaz de gerar algumas melodias para o pesquisador Gil Weinberg usar ao compor uma música. Uma banda humana tocará as músicas com Shimon enquanto o robô canta as músicas. Os pesquisadores que trabalham no projeto treinaram o robô usando conjuntos de dados de 50.000 letras de músicas de jazz, prong rock e gêneros de hip-hop. O robô usa aprendizado profundo para gerar palavras para combinar com os temas fornecidos no conjunto de dados.

A aprendizagem profunda é combinada com o conhecimento semântico, uma vez que é necessária rima e ritmo. Os colaboradores criaram a voz com a qual o robô canta na Universidade Pompeu Fabra, em Barcelona. O aprendizado de máquina foi usado para desenvolver a voz e foi treinado em centenas de músicas.

Outras mudanças no Shimon incluem novo hardware para melhorar a maneira como ele toca e se move no palco. O robô é principalmente estacionário, mas possui uma nova boca, sobrancelhas e movimentos da cabeça para transmitir emoção e interagir com os companheiros de banda humanos. O hardware atualizado permite que o robô toque muito mais rápido do que antes, na faixa de 25 a 30 hertz. Também pode reproduzir faixa dinâmica suave e faixa dinâmica forte.

Shimon agora pode contar no início de uma música para deixar a banda e, às vezes, ele balança seus marretas a tempo de ouvir a música. Os motores sem escovas dão ao robô uma maior amplitude de movimento e controle desse movimento.