Hermeto

Arquitetura Geral

Projeto de Tenori-on multi-usuário projetado para o ADK Chalenge e será apresentado no GDD Brasil 2011.

Source no gitHub: https://github.com/thiagoalz/Hermeto

Status

Início: 19/07/2011 Status: Andamento Participantes: Lechuga, GutoMaia, Klaus, Habib, Roberto.

Introdução

O que poderia ser mais divertido do que interagir com a festa? Mais legal do que influenciar, e deixar sua marca no som que está rolando? É com essa ideia em mente que surge o projeto Hermeto. Em meados de 2005, o artista japonês Toshio Iwai criou um instrumento musical eletrônico denominado Tenori-on, que prontamente foi reproduzido por outros grupos, inclusive em versões livres, como seu “primo” Monome. O instrumento consiste em uma tela com uma matriz de botões, geralmente de 16x16, de forma que cada um pode ser ativado criando inúmeros sons de forma criativa (fonte: Wikipedia). O instrumento pode ser visto em funcionamento nas referências [1] e [2]. Então, por que não criar um Tenori-on gigante e colaborativo?

Objetivo

O objetivo desse projeto, portanto, é utilizar um tablet Xoom, em conjunto com um kit ADK , para criar um Tenori-on (16x16) tamanho família, que utilizará também sons tipicamente brasileiros, para que qualquer participante possa interagir mixando-os na sonzeira rolando.

Descrição Técnica e Funcionalidades

O instrumento desenvolvido conterá, inicialmente, apenas as funcionalidades principais do original. Uma faixa vertical percorrendo e tocando a matriz de sons, de maneira similar ao exemplo de código demonstrado em [2]. Contudo, já na versão inicial o usuário também poderá variar a velocidade (BPM) da faixa e selecionar batidas padrão ou músicas como base da mixagem. Outra diferença será a utilização de sons tipicamente brasileiros, como percussão, berimbau e pandeiro, em conjunto com os sons puramente eletrônicos. O usuário poderá interagir com o instrumento diretamente através do tablet e também através de controles, que estarão ligados à placa ADK. Serão utilizados 2 tipos de controle, um de atari (Utilizando o método descrito em [3]) e um montado especialmente para o projeto, contendo 2 reguladores de volume e um botão, tudo em tamanho família. Os reguladores poderão modificar linha e coluna, e o botão irá confirmar a seleção no Tenori-on. As seguintes funcionalidades serão implementadas dependendo de disponibilidade de materiais e tempo hábil para desenvolvimento: (a) Interação com o Tenori-on através de película touchscreen ligada à placa ADK, (b) Implementação de aplicação cliente para interação com o Tenori-on através de outros aparelhos android utilizando mesma rede wi-fi.

A figura ao lado demonstra a arquitetura final da solução. Temos: (a) Xoom rodando aplicação com simulação de Tenori-on; (b) Projetor, ou TV, conectado à sadia HDMI do Xoom; (c) Controle de Atari conectado à placa ADK; (d) Controle artesanal conectado à placa ADK. (e) Placa ADK conectada ao Xoom; (f) Roteador Wi-fi; (g) Telefones Android com aplicação cliente instalada.

Andamento

Hardware

Pegando como idéia o funcionamento do controle de atari [3], atestei que é possível detectar o pressionar de um botão simplesmente o aterrando (Código de exemplo: https://gist.github.com/1144555). Assim, vamos conectar todos os controles dessa maneira. 5 "botões" (cima, baixo, direita, esquerda, botao) soltos/aterrados. Desse modo, as palancas de fliperama funcionarão de maneira EXATAMENTE igual ao controle de ATARI, e de uma maneira MUITO simples para conectar ao arduino.

Testado com a palanca e o botão que temos, em conjunto com a biblioteca SimpleJoystick (github do projeto) e funcionou perfeitamente! Utilizei um cabo de rede de 3 metros para a conexão :D

Agora só falta soldar e utilizar conectores para facilitar a conexão!

Padrão de cores utilizado no cabo de rede:

• M=GND
• A=Up
• A/B=Down
• V=Left
• V/B=Right
• L=Button

Software

Modelo de Tenori-on: [2]

Identificamos dois projetos para android de software livre (GPL3) que implementam funcionalidades similares e podem ser uteis:

• Androidome: Implementa uma interface (OSC) para se comunicar com um PureData na mesma rede. É mais completo, mas necessita de um PC+PureData+Wi-fi.
• ToneMatrix: Mais simples, mas toca os sons ele mesmo!

Provavelmente usaremos o ToneMatrix como base. Fica mais simples com tudo no celular, com menos pontos de falha e mais facil pra mixar com sons que estao no celular.

GutoMaia subiu um código inicial no gitHub.

Rodar no simulador:

 mvn clean package

Subir para o aparelho

 mvn clean package android:deploy

Source no gitHub: https://github.com/thiagoalz/Hermeto

ADK

Documentação ADK: http://developer.android.com/guide/topics/usb/adk.html

Criei uma biblioteca para controlar os Joysticks na ADK (https://github.com/thiagoalz/Hermeto/tree/master/ADKCode/libraries/SimpleJoystick/). Basta adicionar a pasta "SimpleJoystick" na pasta "libraries" do arduino e rodar o exemplo (Pelo proprio menu da IDE).

A primeira versão do Driver ADK já está no github. Seu código é uma evolução do driver padrão (demokit), portanto a compatibilidade é mantida totalmente. Utilizei os pinos de 22-41 para a conexão de 4 joysticks, cada um com 5 portas (up, down, left, right, button). Como as portas pares e impares não são sequenciais na placa, cada controle utiliza somente um dos tipos para facilitar ligação.

Conexão de Joysticks :

• joystick 0: Up=22, Down=24, Left=26, Right=28, Button=30
• joystick 1: Up=32, Down=34, Left=36, Right=38, Button=40
• -------------------------------------------------------
• joystick 2: Up=23, Down=25, Left=27, Right=29, Button=31
• joystick 3: Up=33, Down=35, Left=37, Right=39, Button=41

Alerta: Os pinos 50 e 51 ficaram completamente loucos com meu código. Não sei se estão com problemas ou se comportam naturalmente de maneira distinta).

Quando alguma ação é executada em alguns dos joysticks uma mensagem é enviada ao celular no seguinte formato:

msg[0] = 0x9; // Código da Mensagem
msg[1] = i;   // Número do Joystick
msg[2] = c;   // Número da ação
acc.write(msg, 3);

O número da ação é representado segundo:

1. Up
2. Down
3. Left
4. Right
5. Button

(Nota-se, que não há suporte para duas ações ao mesmo tempo)

Source no gitHub: https://github.com/thiagoalz/Hermeto

Sons

Usaremos sons não convencionais. Klaus está fazendo esse levantamento.

Referências

1. Tenori-on em execução: http://www.youtube.com/watch?v=_SGwDhKTrwU
2. Exemplo de Tenori-on em flash: http://wonderfl.net/c/qf4b
3. Arduino com controle de Atari: https://sites.google.com/site/joetcochran/joylite-maze/how-to