Hibrida/Simulador de Sinestesia

Link para a página do projeto no site do Hibrida

Pré-Hibrida

Idealizado por Rafael V. Ribeiro (zynphull), o Syn² (antigo nome:Simulador de Sinestesia), em sua gênese, tinha por objetivo utilizar-se de software e hardware aberto para a conversão em tempo real de input visual em output sonoro e input sonoro em input visual, como descrito na proposta em .pdf enviada por Rafael para inscrição do Hibrida. Tendo sido a proposta eleita para participar do projeto, abriram-se as incrições para colaboradores.

Colaboradores

Durante o período de inscrição para colaboradores, uma equipe começou a ser formada, compondo-a Loren Bergantini, Vinicius Franulovic, Alex Tso e Glória Coelho.

Primeiras reuniões 17 e 19 de março

Devido às limitações técnicas e temporais relacionadas ao Projeto Hibrida, que incuba o Simulador, decidimos por delimitar melhor o escopo da proposta, de modo a conseguir criar um protótipo não só funcional, mas também coeso e bem feito até o fim do Projeto Hibrida. Assim sendo, destarte optamos por limitarmo-nos à conversão de imagens visualizadas (do campo de visão do usuário do protótipo) em sons audíveis. Cogitamos por certo tempo a utilização de um dispositivo EyeTracker, que poderia ser utilizado para recortar uma porção campo de visão do usuário em que ele estaria se focando, dando ao protótipo mais informações sobre o que converter. Por ora, tal ideia encontra-se dormente, ainda que a implementação de um EyeTracker, terminado o projeto, não seja tarefa muito difícil.

Após discussões extensas, concordamos em alguns pontos. Na conversão imagem -> som, precisamos saber quais informações conseguimos retirar do ambiente usando uma câmera digital e qual a liberdade de criação que temos em síntese de áudio em tempo real.

Reunião do dia 17 de abril

A dificuldade de lidar com duas linguagens de programação, processing e supercollider, e o tempo curto trouxe um questionamento sobre o projeto. Outras soluções foram propostas: trabalhar com o google streetview e webcam. Ainda não temos um consenso em todo grupo, mas conseguimos avanços no código utilizado. Códigos: [1]. Sir. Jaime Alonso nos sugeriu a usar Logic no Mac e Reason para Windows.

Resolução do software para o Syn²

Ao descobrirmos a biblioteca "The MidiBus"[2] para trabalhar com arquivos MIDI no Processing, abortamos o plano de fazer a conexão com o supercollider. Como forma de documentação, o código desenvolvido previamente para realizar a conexão entre Supercollider e Processing segue a baixo:

s.boot

( SynthDef(\sonido1, {|gate, frec 60, amp 1| var sen, env;

sen = SinOsc.ar(frec.midicps, 0, amp); env = EnvGen.kr(Env.asr(0.1, 1, 0.1), gate, doneAction:2);

Out.ar(0, Pan2.ar(sen*env, 0)) } ).add )

~sinte1=Synth(\sonido1, [\gate, 1]) ~sinte1.set(\gate, 0)

( ~oscmat = OSCresponder(n, "/mat", {|...msg| ~datomat = msg[2][1]; ~sinte1.set(\frec, ~datomat) } ).add;

~oscsat = OSCresponder(n, "/sat", {|...msg| ~datosat = msg[2][1]; //~sinte1.set(\amp, ~datosat) } ).add;

~oscbri= OSCresponder(n, "/bri", {|...msg| ~datobri = msg[2][1]; //~sinte1.set(\amp, ~datobri) } ).add; )

Com o objetivo de intercomunicar a plataforma MIDI utilizada no Processing através da biblioteca "The MidiBus" com o Windows, incluímos o software Loopmidi [3] no projeto, finalizando, dessa forma, um sistema: Processing (varredura da imagem) - Loopmidi(interconecção entre programação midi e PC) - Reason (Sintetizadores controlados pela programação).

Passo a Passo - Como replicar o aka Syn² ou Simulador de Sinestesia (by Rafael Viana)

HIBRIDA - SYNAESTHESIA SYNTH (aka Syn² ou Simulador de Sinestesia)

Para replicar o Syn², em sua acepção atual, são necessários os seguintes equipamentos:

  * Um projetor e um cabo VGA ou HDMI
  * Um computador (de preferência um notebook) com saída VGA/HDMI e OS Windows
  * Um fone de ouvido

Será necessária a instalação, no computador, dos seguintes softwares:

   * Propellerhead Reason [4]
   * loopMIDI  [5]
   * Processing [6] + biblioteca "The Midi Bus" [7]

Por fim, baixe os seguintes arquivos:

   Sketch em .pde [8]
   Synths do Reason [9]

Setup:

1.  Execute o loopMIDI

 1.1 Apague quaisquer conexões já listadas clicando nelas e no botão “-”
 1.2 Adicione novas conexões (digitando o nome e clicando em “+”) com os nomes a seguir:

loopMIDI_gry

loopMIDI_red

loopMIDI_org

loopMIDI_ylw

loopMIDI_blu

loopMIDI_grn

loopMIDI_vlt

2.  Execute a IDE do Processing

  2.1 Instale a library The MidiBus
  2.2 Rode o sinestesia_finalScnShot.pde

3.  Execute o Propellerhead Reason

  3.1 Clique em Edit > Preferences...
  3.2 No drop-down menu selecione Keyboards and Control Surfaces
  3.3 Clique em Add
  3.4 Em Manufacturer, selecione <Other>
  3.5 Em Name, digite midi_gry
  3.6 Em MIDI Input, selecione loopMIDI_gry
  3.7 Clique em OK
  3.8 Repita o processo para cada abreviação do item 1.2 (red, org, blu, etc.)
  3.9 Tome cuidado para que nenhum “teclado” seja um Master Keyboard
  3.10 Abra o synth.rns

4.  O loopMIDI deverá exibir a quantidade e velocidade de dados enviados por cada teclado MIDI virtual (que é cada cor no Processing

e o Reason deverá tocar as notas de acordo com as cores na tela.

5.  Conecte o computador ao projetor, e um fone de ouvido ao computador. Preferivelmente, o teclado do computador deve ficar fora 

de alcance, tendo o usuário disponível para si apenas um mouse.

6.  Acesse o http://maps.google.com, coloque-o em tela cheia (F11) e sugira que as pessoas “passeiem” pelo Google StreetView, 

“ouvindo” as paisagens de seus trajetos.

Proposição de um olhar poético-sinestésico: como elevar a experiência da mirada através do uso do Simulador de Sinestesia.

Por Alex Ka Wei Tso

Ao fazermos a leitura de cores e transformá-las em sinais sonoros, nos resta a pergunta de quantas cores possíveis podemos agrupar em um ato, que sequência de miradas ou em quais campos definidos de cores podemos nos aventurar para experimentar a sinestesia audiovisual de modo singelo, único.

Como deve ser a melodia de um pôr-do-sol? Será que o alaranjado que abre caminho para a negritude trará uma sinfonia lenta, sutil como a passagem do tempo na natureza - devagar, sublime?

Ou diante de uma paisagem vibrante, ao passar de uma chuva passageira, as gotículas de água vibrarão como ruído o caminho da cor das árvores e os olhos, alterando a leitura da cor do pano de fundo funcionando como pequenos cristais refratando as cores materias da paisagem que se admira?

E ao se atenuar a chuva, e por detrás das nuvens o Sol aparecer, um arco-íris surgir na abóbada celeste, será que o Simulador de Sinestesia captará o colorido do céu e nos logrará uma vibrância alegre, uma interrupção vívida de cor/som em um pano de fundo monocromático?

Mas viajemos à urbe, São Paulo, por que não? Qual vai ser a nota musical que definirá o concreto absoluto desta cidade? Não será rica a experiência de estimular-se com os graffitis nas empenas-cegas, nas sombras dos viadutos, no Beco do Batman? Ah, ensurdecedor, sim sim.

Como o movimento se fará presente no Simulador de Sinestesia? Qual a sequência musical de um giro de 360º em torno do meu próprio eixo? Um rodopio que desestabiliza o equilíbrio e mescla todas as cores num espaço de tempo curto. Uma melodia curtíssima.

Ou podemos nos fixar ao lado de uma rodovia, estáticos, a ver os automóveis acelerando em nosso campo visual. Vermelho, prata, preto, branco, preto, azul, branco, preto, vermelho, azul... passam um atrás do outro; sol, ré, dó, fá, dó, mi, fá, dó, sol, mi. O mundo compondo a sua própria música.

Estático também pode ser o ambiente: o branco modernista, uma sala de museu - um samba de uma nota só... mas pode alguma situação ser absolutamente estática? Nosso olhar vai se ater aos cantos sombreados, ou ao brilho das fontes de luz, e logo o samba se desengonça.

Falando em fontes de luz, uma pergunta que não quer calar: a cor material será lida da mesma maneira que uma cor luz? Se nos banhássemos de cor, adentrássemos as obras de James Turrell, o mestre em dar materialidade à luz, importará a natureza da cor? Cor física e cor luminosa?

O espaço que nos rodeia é rugoso, nele existem continuidades e rupturas, cabem padrões dos mais diversos. Ao decodificar um conjunto delimitado pela leitura de uma fachada de edifício, esta criará um padrão de sinais sonoros. Arranha-céus todo envidraçados terão uma aparência sonora diferente de um prédio neo-clássico cheio de frisos, diferente de uma fachada de brise-soleils, diferente de uma parede de tijolinhos aparentes.

Se formos propor um passeio em um ambiente controlado, este deve conter a possibilidade de variação em sua textura, em sua coloração, em seu brilho, em seu tempo de permanência. Paredes não precisam ser lisas, não precisam ser opacas, não precisam sequer ser paredes. Como um labirinto de Oiticica, o percurso deve induzir a exploração de variabilidades distintas que resultarão em disparidades tonais.

Podemos tornar 'impura' a nossa visão das superfícies, e preencher de fumaça o cômodo, à la Olafur Eliasson. Temos que ter domínio do caminho entre nossos olhos e a superfícies, preenchendo este trajeto, esta distância entre os dois pontos, de quantas maneiras for possível - fumaça, chuva, banhos de luz, materiais translúcidos, redes vazadas, cortinas de miçangas, tramas de pequenos espelhos.

O espaço é a essência do Simulador de Sinestesia, nele a cor se imbuirá de qualidades sonoras. Olhar para o exterior ou para o interior trará, cada qual em sua especificidade, melodias únicas. Cabe a nós nos perguntarmos, se é possível constituir memória olfativa associativa, poderemos elevar nossos sentidos de modo a mapear sonoramente o mundo que nos circula? E se sim, não seria interessante notar que poderíamos dar coordenadas sonoras e construir um mapa sonoro?

Por consequência, as estações do ano terão suas próprias músicas de fundo. O sol amarelo esbranquiçado do verão coordenando sonoridades diferentes do sol do outono, com uma diferente tonalidade do amarelo, compondo outra sonoridade geral.

O Simulador de Sinestesia, portanto, traz uma nova leitura do mundo, uma mirada fora do comum, e que portanto tem grande potencial poético. A fruição do que já nos cansamos de ver nos entregando arranjos nunca antes escutados. Fotografias sonoras serão a nova moda; um outro olhar, uma nova melodia.

Lista de Referências

Referências sobre Sinestesia / Percepção / Interação som-imagem

[10] - Texto - "Victorian Occultism and the Art of Synesthesia" de Benjamin Breen.

[11] - Livro - Vehicles: Experiments in Synthetic Psychology - Livro que aborda a comparação entre a visão humana e maquinica.

[12] - Site - Sound-induced Flash Illusion (Exemplo de indução visual pelo som).

[13] - Site - Exemplo 2 de indução visual pelo som.

[14] - Artigo - "‘When Birds of a Feather Flock Together’: Synesthetic Correspondences Modulate Audiovisual Integration in Non-Synesthetes"Parise CV, Spence C (2009)

[15] - Artigo - "Espectros Audível e Visível - proposta de correspondência" por André Rangel Macedo.

[16] - Poster - "Música e cores: a resposta por crianças de 5 e 6 anos à música e sua relação com as cores" por Kamile Levek.

[17] - Dissertação de Mestrado (IME) - "Audible Images: síntese de imagens controladas por áudio" por Mariana Zaparolli Martins.

[18] - Blog - Tudo sobre o google glass.

[19] - Site - "O que é um osciloscópio?" - com tutorial.

[20] - Vídeo - "What Is The Resolution Of The Eye?" por Vsauce

[21] - Texto - "synesthesia and cross modality in contemporary audiovisuals" by Mitchell Whitelaw

[22] - Texto(trecho) - Trechos de texto de Golan Levin sobre Visão Computacional por Marcus Bastos.

[23] - Artigo - Sobre Sinestesia/Percepção/ Interação som-imagem

Referências de trabalhos artísticos

[24] - Código - Trabalho " Wassily Synaesthesia" por Rafael Viana.

[25] - Site - "Doodle" (Livro interativo) por Gianni Cardone, Carla Piazza, Nicola Vittori.

[26] - Site - "RGB Music Lab" by Kenji Kojima.

[27] - Vídeo - Curta "Synesthesia", dirigido por Terri Timley / USA / 2009.

[28] - Vídeo - Instalação interativa "Synesthetic Aspirations" desenvolvido por Roee Kremer, Michal Levy, Michal Rinott.

[29]- Site - "Here's What Wi-Fi Would Look Like If We Could See It" por Nickolay Lamm.

[30] - Site - "RhythmSynthesis – Tangible Visual Music Instrument" por Ryan Raffa.

[31] - Site - "Arcade Fire" (Video interativo on-line) por Vincent Morisset

Informações gerais sobre matriz / imagem / pixel / computação gráfica

[32] - Site - Apostila para o Marginália Lab elaborada por Marcus Bastos.

[33] - Site - Protocolo de cor embutido nas telas de computador.

[34] - site - Proc. de Imagem Colorida Fundamentos

[35] - Site - "Sites e Livros para quem se interessa por Computação Gráfica" por Marcus Bastos

Informações gerais sobre música

[36] - Vídeo - telecurso "Elementos do som: Timbre, intensidade e altura".

[37] - Vídeo - telecurso "O que é melodia?".

[38] - Vídeo - telecurso "O que é harmonia?".

[39] - Site - tabela de referência de frequência e período das notas musicais.

[40]- Slides - Relação entre as notas e intervalos .

Informações sobre eye-tracking

[41] - Wikipedia - O que é Eye Tracking?

[42] - Site- Lista de hardwares que utiliza eye-tracking no mercado.

[43] - Site - Exemplo de controle de computadores por eye-tracking.

[44] - Site - Exemplo de controle de computadores por eye-tracking a baixo custo desenvolvido na Inglaterra.

[45] - Blog - Comparação entre controle computacional por mouse e por eye-tracking.

[46] - Blog - Lista de aparatos para a cabeça com eye-tracking gratuitos ou de baixo custo.

[47] - Site - Faça você mesmo - Eye-tracking de baixo custo ( com pdf explicativo).

[48] - Site - LEA - Lightweight Eyetracking Algorithm.

[49] - Site - EyeWriter 2.0 - com pdf para download.

[50] - Site - Mais uma possibilidade de construção de eye-tracking.

Informações sobre teoria da cor

[51] - Site - Códigos de botões deslizantes com correspondência visual entre cores e valores RGB.

[52] - Wikipedia - Tabela de cores em ordem alfabética com valores correspondentes em RGB, HSV e hexadecimal.

[53] - Site - Cores e suas frequências.

Processing

[54] - Site - Color datatype.

[55] - Site - Red (com link para green e blue).

[56] - Site - Hue (Com link para saturation e brightness.

[57] - Site - rightshift (maneira mais fácil de extrair rgb).

[58] - Site - tutorial para trabalhar com pixels e imagens no processing.

[59] - Site - PImage pixels (pixels retirados de imagens).

[60] - Site - loadPixels.

[61] - Site - get.

[62] - Fórum - "how to get rgb values of an image?"

Pure Data

[63] - Site - Material diverso em PD

Arduino

[64] - Site -Slides de Luciano Ramalho sobre Arduino.

[65] - Site 123d - Simulação de circuitos para projetos com o Arduino.

[66] - Site Fritzing - Auxilio para documentar projetos com Arduino.

[67] - Blog - sobre simuladores virtuais de circuitos.

[68] - Vídeos - "Super Awasome Sylvia" experimentos com Arduino.

[69] - Site - Seedstudio (China)- compra de equipamento eletrônico on-line.

[70] - Site - Adafruit (Alemanha) - Compra de equipamento eletrônico on-line.

[71] - Site - Sparkfun(EUA) - Compra de equipamento eletrônico on-line.

[72] - Site - Laboratório de Garagem (São Paulo/ BR) Compra de equipamento eletrônico.