Hermeto

Arquitetura Geral

Projeto de Tenori-on multi-usuário projetado para o ADK Chalenge e será apresentado no GDD Brasil 2011.

Source no gitHub: https://github.com/thiagoalz/Hermeto

Status

Início: 19/07/2011 Status: Andamento Participantes: Lechuga, GutoMaia, Klaus, Habib, Roberto.

Introdução

O que poderia ser mais divertido do que interagir com a festa? Mais legal do que influenciar, e deixar sua marca no som que está rolando? É com essa ideia em mente que surge o projeto Hermeto. Em meados de 2005, o artista japonês Toshio Iwai criou um instrumento musical eletrônico denominado Tenori-on, que prontamente foi reproduzido por outros grupos, inclusive em versões livres, como seu “primo” Monome. O instrumento consiste em uma tela com uma matriz de botões, geralmente de 16x16, de forma que cada um pode ser ativado criando inúmeros sons de forma criativa (fonte: Wikipedia). O instrumento pode ser visto em funcionamento nas referências [1] e [2]. Então, por que não criar um Tenori-on gigante e colaborativo?

Objetivo

O objetivo desse projeto, portanto, é utilizar um tablet Xoom, em conjunto com um kit ADK , para criar um Tenori-on (16x16) tamanho família, que utilizará também sons tipicamente brasileiros, para que qualquer participante possa interagir mixando-os na sonzeira rolando.

Descrição Técnica e Funcionalidades

O instrumento desenvolvido conterá, inicialmente, apenas as funcionalidades principais do original. Uma faixa vertical percorrendo e tocando a matriz de sons, de maneira similar ao exemplo de código demonstrado em [2]. Contudo, já na versão inicial o usuário também poderá variar a velocidade (BPM) da faixa e selecionar batidas padrão ou músicas como base da mixagem. Outra diferença será a utilização de sons tipicamente brasileiros, como percussão, berimbau e pandeiro, em conjunto com os sons puramente eletrônicos. O usuário poderá interagir com o instrumento diretamente através do tablet e também através de controles, que estarão ligados à placa ADK. Serão utilizados 2 tipos de controle, um de atari (Utilizando o método descrito em [3]) e um montado especialmente para o projeto, contendo 2 reguladores de volume e um botão, tudo em tamanho família. Os reguladores poderão modificar linha e coluna, e o botão irá confirmar a seleção no Tenori-on. As seguintes funcionalidades serão implementadas dependendo de disponibilidade de materiais e tempo hábil para desenvolvimento: (a) Interação com o Tenori-on através de película touchscreen ligada à placa ADK, (b) Implementação de aplicação cliente para interação com o Tenori-on através de outros aparelhos android utilizando mesma rede wi-fi.

A figura ao lado demonstra a arquitetura final da solução. Temos: (a) Xoom rodando aplicação com simulação de Tenori-on; (b) Projetor, ou TV, conectado à sadia HDMI do Xoom; (c) Controle de Atari conectado à placa ADK; (d) Controle artesanal conectado à placa ADK. (e) Placa ADK conectada ao Xoom; (f) Roteador Wi-fi; (g) Telefones Android com aplicação cliente instalada.

Andamento

Hardware

Pegando como idéia o funcionamento do controle de atari [3], atestei que é possível detectar o pressionar de um botão simplesmente o aterrando (Código de exemplo: https://gist.github.com/1144555). Assim, conectamos todos os controles dessa maneira. 5 "botões" (cima, baixo, direita, esquerda, botao) soltos ou aterrados. Desse modo, as palancas de fliperama funcionam de maneira EXATAMENTE igual ao controle de ATARI, e de uma maneira MUITO simples para conectar ao arduino. pinagem do atari

Testado com a palanca e o botão que temos, em conjunto com a biblioteca SimpleJoystick que criamos (github do projeto) e funcionou perfeitamente! Testei também com um cabo de rede de 3 metros para a conexão e funcionou sem problemas :D Já soldei tudo e adicionei conectores. Ficou bem legal!

Padrão de cores utilizado no cabo de rede:

• M=GND
• M/B=GND
• A=Up
• A/B=Down
• V=Left
• V/B=Right
• L=Button

M e M/B estão em curto. Utilizei 2 cabos apenas por comodidade (Só achei conector de 2 entradas). Poderia perfeitamente utilizar apenas 1.

Software

Link para configuração do AVD do Motorola Xoom no Eclipse: http://mobile.tutsplus.com/tutorials/android/android-sdk_tablet_virtual-device-configuration/

GutoMaia subiu um código inicial no gitHub.

Empacotar :

 mvn clean package -Dandroid.sdk.path=(PATH to SDK)

Subir para o aparelho

 mvn clean package android:deploy -Dandroid.sdk.path=(PATH to SDK)

https://github.com/thiagoalz/Hermeto

Principal

Tutorial comunicação acessórios: http://developer.android.com/guide/topics/usb/accessory.html

Modelo de Tenori-on: [2]

Identificamos dois projetos para android de software livre (GPL3) que implementam funcionalidades similares e podem ser uteis:

• Androidome: Implementa uma interface (OSC) para se comunicar com um PureData na mesma rede. É mais completo, mas necessita de um PC+PureData+Wi-fi.
• ToneMatrix: Mais simples, mas toca os sons ele mesmo!

Vamos usar o ToneMatrix como base. Fica mais simples com tudo no celular, com menos pontos de falha e mais facil pra mixar com sons que estao no celular.

Source no gitHub: https://github.com/thiagoalz/Hermeto/tree/master/AndroidApp

Client

Bruno começou o projeto e fez a tela inicial. Paulo, seguindo sugestões de Ugo, implementou a parte de comunicação usando XMPP. Essa Parte esta praticamente concluída :)

Protocolo de comunicação XMPP:

Client: HELLO Nickname
Server: HELLO Nickname ClientID
Client: ClientID Up
Client: ClientID Down
Client: ClientID Left
Client: ClientID Right
Client: ClientID Button

Source no gitHub: https://github.com/thiagoalz/Hermeto/tree/master/ClientAndroidApp

ADK

Documentação ADK: http://developer.android.com/guide/topics/usb/adk.html

Criei uma biblioteca para controlar os Joysticks na ADK (https://github.com/thiagoalz/Hermeto/tree/master/ADKCode/libraries/SimpleJoystick/). Basta adicionar a pasta "SimpleJoystick" na pasta "libraries" do arduino e rodar o exemplo (Pelo proprio menu da IDE).

A primeira versão do Driver ADK já está no github. Seu código é uma evolução do driver padrão (demokit), portanto a compatibilidade é mantida totalmente. Utilizei os pinos de 22-41 para a conexão de 4 joysticks, cada um com 5 portas (up, down, left, right, button). Como as portas pares e impares não são sequenciais na placa, cada controle utiliza somente um dos tipos para facilitar ligação.

Conexão de Joysticks :

Joystick	Up	Down	Left	Right	Button
0	22	24	26	28	30
1	32	34	36	38	30
-	-	-	-	-	-
2	23	25	27	29	31
3	33	35	37	39	41

Alerta: Os pinos 50 e 51 ficaram completamente loucos com meu código. Não sei se estão com problemas ou se comportam naturalmente de maneira distinta).

Quando alguma ação é executada em alguns dos joysticks uma mensagem é enviada ao celular no seguinte formato:

msg[0] = 0x9; // Código da Mensagem
msg[1] = i;   // Número do Joystick
msg[2] = c;   // Número da ação
acc.write(msg, 3);

O número da ação é representado segundo:

1. Up
2. Down
3. Left
4. Right
5. Button

(Nota-se, que não há suporte para duas ações [Up+Right] ao mesmo tempo)

Source no gitHub: https://github.com/thiagoalz/Hermeto

Sons

Usaremos sons não convencionais. Klaus está fazendo esse levantamento.

Referências

1. Tenori-on em execução: http://www.youtube.com/watch?v=_SGwDhKTrwU
2. Exemplo de Tenori-on em flash: http://wonderfl.net/c/qf4b
3. Arduino com controle de Atari: https://sites.google.com/site/joetcochran/joylite-maze/how-to