Hibrida/Simulador de Sinestesia

Link para a página do projeto no site do Hibrida

Pré-Hibrida

Idealizado por Rafael V. Ribeiro (zynphull), o Simulador de Sinestesia (nome provisório até hoje), em sua gênese, tinha por objetivo utilizar-se de software e hardware aberto para a conversão em tempo real de input visual em output sonoro e input sonoro em input visual, como descrito na proposta em .pdf enviada por Rafael para inscrição do Hibrida. Tendo sido a proposta eleita para participar do projeto, abriram-se as incrições para colaboradores.

Colaboradores

Durante o período de inscrição para colaboradores, uma equipe começou a ser formada, compondo-a Loren Bergantini, Vinicius Franulovic, Alex Tso e Glória Coelho.

Primeiras reuniões 17 e 19 de março

Devido às limitações técnicas e temporais relacionadas ao Projeto Hibrida, que incuba o Simulador, decidimos por delimitar melhor o escopo da proposta, de modo a conseguir criar um protótipo não só funcional, mas também coeso e bem feito até o fim do Projeto Hibrida. Assim sendo, destarte optamos por limitarmo-nos à conversão de imagens visualizadas (do campo de visão do usuário do protótipo) em sons audíveis. Cogitamos por certo tempo a utilização de um dispositivo EyeTracker, que poderia ser utilizado para recortar uma porção campo de visão do usuário em que ele estaria se focando, dando ao protótipo mais informações sobre o que converter. Por ora, tal ideia encontra-se dormente, ainda que a implementação de um EyeTracker, terminado o projeto, não seja tarefa muito difícil.

Após discussões extensas, concordamos em alguns pontos. Na conversão imagem -> som, precisamos saber quais informações conseguimos retirar do ambiente usando uma câmera digital e qual a liberdade de criação que temos em síntese de áudio em tempo real.

Proposição de um olhar poético-sinestésico: como elevar a experiência da mirada através do uso do Simulador de Sinestesia.

Ao fazermos a leitura de cores e transformá-las em sinais sonoros, nos resta a pergunta de quantas cores possíveis podemos agrupar em um ato, que sequência de miradas ou em quais campos definidos de cores podemos nos aventurar para experimentar a sinestesia audiovisual de modo singelo, único.

Como deve ser a melodia de um pôr-do-sol? Será que o alaranjado que abre caminho para a negritude trará uma sinfonia lenta, sutil como a passagem do tempo na natureza - devagar, sublime?

Ou diante de uma paisagem vibrante, ao passar de uma chuva passageira, as gotículas de água vibrarão como ruído o caminho da cor das árvores e os olhos, alterando a leitura da cor do pano de fundo funcionando como pequenos cristais refratando as cores materias da paisagem que se admira?

E ao se atenuar a chuva, e por detrás das nuvens o Sol aparecer, um arco-íris surgir na abóbada celeste, será que o Simulador de Sinestesia captará o colorido do céu e nos logrará uma vibrância alegre, uma interrupção vívida de cor/som em um pano de fundo monocromático?

Mas viajemos à urbe, São Paulo, por que não? Qual vai ser a nota musical que definirá o concreto absoluto desta cidade? Não será rica a experiência de estimular-se com os graffitis nas empenas-cegas, nas sombras dos viadutos, no Beco do Batman? Ah, ensurdecedor, sim sim.

Como o movimento se fará presente no Simulador de Sinestesia? Qual a sequência musical de um giro de 360º em torno do meu próprio eixo? Um rodopio que desestabiliza o equilíbrio e mescla todas as cores num espaço de tempo curto. Uma melodia curtíssima.

Ou podemos nos fixar ao lado de uma rodovia, estáticos, a ver os automóveis acelerando em nosso campo visual. Vermelho, prata, preto, branco, preto, azul, branco, preto, vermelho, azul... passam um atrás do outro; sol, ré, dó, fá, dó, mi, fá, dó, sol, mi. O mundo compondo a sua própria música.

Estático também pode ser o ambiente: o branco modernista, uma sala de museu - um samba de uma nota só... mas pode alguma situação ser absolutamente estática? Nosso olhar vai se ater aos cantos sombreados, ou ao brilho das fontes de luz, e logo o samba se desengonça.

Falando em fontes de luz, uma pergunta que não quer calar: a cor material será lida da mesma maneira que uma cor luz? Se nos banhássemos de cor, adentrássemos as obras de James Turrell, o mestre em dar materialidade à luz, importará a natureza da cor? Cor física e cor luminosa?

O espaço que nos rodeia é rugoso, nele existem continuidades e rupturas, cabem padrões dos mais diversos. Ao decodificar um conjunto delimitado pela leitura de uma fachada de edifício, esta criará um padrão de sinais sonoros. Arranha-céus todo envidraçados terão uma aparência sonora diferente de um prédio neo-clássico cheio de frisos, diferente de uma fachada de brise-soleils, diferente de uma parede de tijolinhos aparentes.

Se formos propor um passeio em um ambiente controlado, este deve conter a possibilidade de variação em sua textura, em sua coloração, em seu brilho, em seu tempo de permanência. Paredes não precisam ser lisas, não precisam ser opacas, não precisam sequer ser paredes. Como um labirinto de Oiticica, o percurso deve induzir a exploração de variabilidades distintas que resultarão em disparidades tonais.

Podemos tornar 'impura' a nossa visão das superfícies, e preencher de fumaça o cômodo, à la Olafur Eliasson. Temos que ter domínio do caminho entre nossos olhos e a superfícies, preenchendo este trajeto, esta distância entre os dois pontos, de quantas maneiras for possível - fumaça, chuva, banhos de luz, materiais translúcidos, redes vazadas, cortinas de miçangas, tramas de pequenos espelhos.

O espaço é a essência do Simulador de Sinestesia, nele a cor se imbuirá de qualidades sonoras. Olhar para o exterior ou para o interior trará, cada qual em sua especificidade, melodias únicas. Cabe a nós nos perguntarmos, se é possível constituir memória olfativa associativa, poderemos elevar nossos sentidos de modo a mapear sonoramente o mundo que nos circula? E se sim, não seria interessante notar que poderíamos dar coordenadas sonoras e construir um mapa sonoro?

Por consequência, as estações do ano terão suas próprias músicas de fundo. O sol amarelo esbranquiçado do verão coordenando sonoridades diferentes do sol do outono, com uma diferente tonalidade do amarelo, compondo outra sonoridade geral.

O Simulador de Sinestesia, portanto, traz uma nova leitura do mundo, uma mirada fora do comum, e que portanto tem grande potencial poético. A fruição do que já nos cansamos de ver nos entregando arranjos nunca antes escutados. Fotografias sonoras serão a nova moda; um outro olhar, uma nova melodia.

Documentação

Referências sobre Sinestesia / Percepção / Interação som-imagem

[1]- Texto "Victorian Occultism and the Art of Synesthesia" de Benjamin Breen.

[2]- Vehicles: Experiments in Synthetic Psychology - Livro que aborda a comparação entre a visão humana e maquinica.

[3] - Sound-induced Flash Illusion (Exemplo de indução visual pelo som).

[4] - Exemplo 2 de indução visual pelo som.

[5] - Artigo "‘When Birds of a Feather Flock Together’: Synesthetic Correspondences Modulate Audiovisual Integration in Non-Synesthetes"Parise CV, Spence C (2009)

[6] - Artigo - "Espectros Audível e Visível - proposta de correspondência" por André Rangel Macedo.

[7] - Poster - "Música e cores: a resposta por crianças de 5 e 6 anos à música e sua relação com as cores" por Kamile Levek.

[www.teses.usp.br/teses/disponiveis/45/45134/.../Dissertacao_AIM.pdf] - PDF - Dissertação "Audible Images: síntese de imagens controladas por áudio" por Mariana Zaparolli Martins (IME)

[8] - Blog - Tudo sobre o google glass.

Informações gerais sobre matriz / imagem / pixel

[9]- Apostila para o Marginália Lab elaborada por Marcus Bastos.

Informações sobre eye-tracking

[10] - Wikipedia - O que é Eye Tracking?

[11] - Eyetracking - Lista de hardwares que utiliza eye-tracking no mercado

[12] - hackedgadgets.com - Exemplo de controle de computadores por eye-tracking

[13]- wired.co.uk - Exemplo de controle de computadores por eye-tracking a baixo custo desenvolvido na Inglaterra.

[14] - blog.clicktale - Comparação entre controle computacional por mouse e por eye-tracking.

[15] -Blog - Lista de aparatos para a cabeça com eye-tracking gratuitos ou de baixo custo.

[16] - Faça você mesmo - Eye-tracking de baixo custo ( com pdf explicativo).

[17] - LEA - Lightweight Eyetracking Algorithm

[18] - EyeWriter 2.0 - pdf para download.

Informações sobre teoria da cor

[19] - CSSdeck - Códigos de botões deslizantes com correspondência visual entre cores e valores RGB.

[20]- Wikipedia - Tabela de cores em ordem alfabética com valores correspondentes em RGB, HSV e hexadecimal.

Arduino

[21] Slides de Luciano Ramalho sobre Arduino.

[22] - 123d - Simulação de circuitos para projetos com o Arduino.

[23] - Fritzing - Auxilio para documentar projetos com Arduino.

[24]- Blog do Oscar Liang - sobre simuladores virtuais de circuitos.

[25] - Referências e exemplos de projetos com o Arduino.