Transliteração visual-sonora

O blog Design.com.br mostrou em sua postagem "Livro de composições musicais" a interessante ideia de transpor elementos da linguagem visual para a sonora. Inicialmente o texto fala em notas sendo convertida para cores. Em seguida, que uma música seria tocada no piano a partir de quadrados coloridos.

Na verdade, a proposta artística de Hoagy Houghton – estudante de ilustração e design gráfico – vai um pouco além. Ele criou um grid† de espaços quadriculados dispostos em uma folha de papel, algo como uma página de um caderno de matemática. Estas pautas foram entregues para que as pessoas colorissem, compondo à sua vontade toda a página, mas usando as cores previamente definidas por Houghton (vermelho, amarelo, rosa, verde, laranja, roxo e azul). Pensando estar elaborando uma composição visual, a etapa seguinte mostrará que os participantes estavam, na realidade, concebendo uma criação sonora. A experiência originou o livro Aleatory Compositions, título que remete ao resultado "musical" das criações.

Observando as imagens divulgadas, nota-se que o funcionamento de transliteração do grafismo para notação musical é similar a de um piano roll†, com polifonia de dois canais. Ou seja, deve-se executar a "música" em um instrumento que permita pelo menos duas linhas melódicas independentes. A leitura deve ser feita horizontalmente, da esquerda para à direita, agrupando-se duas linhas: a linha superior para o que seria a primeira voz (mão direita) e a inferior para o baixo ou acompanhamento (mão esquerda). Como cada linha do grid foi dividida em 16 espaços horizontais, posso pensar em uma tradução métrica de quatro compassos com quatro tempos. Cada uma das sete cores foi associada à uma nota musical e os quadrados não coloridos substituídos por pausas, permitindo assim "ouvir" a composição visual.

Não sei o desdobramento que teve a proposta além do livro, mas se estes dados fossem inseridos em um software, o resultado sinestésico dos sons e cores deve ser curioso, especialmente para quem coloriu os quadrinhos, procurando inocentemente estabelecer alguma estética visual dentro dos parâmetros compositivos relativos aos espaços no papel.

A ideia soa como uma experiência lúdica, que procura muito mais chamar atenção para as possíveis inter-relações nas mídias, do que efetivamente representar a transliteração entre imagem e som com alguma fidelidade teórica, literal ou mesmo expressiva. A começar pelas limitações impostas pela fórmula proposta que ignora, por exemplo, semitons ou oitavas. Licença artística também para as complexas questões compositivas no registro de ambas as linguagens (espaciais, métricas, tonais etc.).

Associar qual cor a qual nota, apenas uma das tarefas iniciais, será determinante para o valor estético do resultado sonoro, que deveria representar alguma coerência expressiva baseada na vontade do autor (quem coloriu o papel). De fato, penso que o título "composições aleatórias" tem mais relação com a falta de compromisso do autor (que desconhece o mecanismo de tradução) do que com as falhas de fundamento na fórmula de conversão visual-sonora proposta.

Em Ponto e Linha sobre Plano, Wassily Kandinsky (1) – que fundamentou a base teórica da arte abstrata – estabelece relações das expressões visuais com a arquitetura, escultura, poesia, dança, com a natureza, e também com a música:

"O volume do som dos diferentes instrumentos corresponde à espessura da linha: o violino, a flauta, o flautim produzem uma linha bem delgada; de uma linha mais espessa – produzida pela viola e pela clarineta –, chegamos, pelos sons mais graves do contrabaixo e da tuba, às linhas mais espessas. Além de sua largura, a coloração da linha depende também da cor própria dos diversos instrumentos. Podemos constatar que na música a linha representa o meio de expressão predominante. Ela se afirma aqui, como na pintura, pelo volume e pela duração." (...) "É particularmente interessante e significativo que a atual representação musical-gráfica – a escrita musical – nada mais seja do que diversas combinações de pontos e linhas."

E sobre este trecho, faz a seguinte nota:

"Em física, para medir a altura do som, utilizam-se aparelhos apropriados que projetam mecanicamente a vibração das ondas num plano, dando assim ao som musical um aspecto visual preciso. Experiências semelhantes são feitas para a cor."

Kandinsky também formula precisamente uma relação matemática entre ângulos, formas geométricas e cores. O triângulo, por exemplo, é associado a um ângulo agudo, que é associado à cor amarela. Dessa forma, não parece distante conceber mais uma conversão de frequências visuais-sonoras para estabelecer, com propriedade teórica, uma fórmula de transliteração cor-som. Aliás, Kandinsky costuma, com regularidade, usar o termo sonoridade para atribuir "expressão interna" aos elemento visuais.

Acerca de alguns dos aspectos que distanciariam elementos visuais de sonoros, Rudolf Arnhein (2), em sua obra Arte e Percepção Visual, acrescenta:

"Na música, o número de tons usados é consideravelmente menor do que o número de níveis de altura que o ouvido humano pode distinguir. Daí a afirmação familiar de que o meio musical limita-se a um número de elementos padronizados, enquanto o pintor se move com liberdade através de todo o contínuo das cores: na linguagem de Nelson Goodman, segundo a qual a música tem uma notação desarticulada, enquanto a pintura é sintaticamente densa. (...) O mesmo tipo de gradação é, naturalmente, encontrado na música se alguém ouvir a execução real e não confundir a música que se ouve com sua notação."

De qualquer meio, o projeto de Houghton não parece buscar este rigor, ao menos isso não está explícito. Além do aspecto lúdico, criativo, sugestivo e experimental da fórmula, o simples ato de atribuir cor à escrita musical pode, por exemplo, ser levada para a musicalização infantil, tomando o devido cuidado em não criar uma muleta tipo "bicicleta com rodinhas".

Como já sugeri, seria bem interessante ver a aplicação sendo usada em meios eletrônicos. Quem já não brincou com as tantas variações de visualizadores de efeitos especiais do Winamp ou Media Player? Há centenas de plugins visuais que fazem ponte, em algum nível, do som para a imagem. Algumas variações de arte eletrônica, como as demos†, com ou sem interatividade, instalações de arte ou mesmo brinquedos já usufruiram, em algum grau, da experiência em somar as expressões visuais e sonoras.

Nos jogos eletrônicos, obras que naturalmente têm intimidade com recursos multimídia, a imagem e o som se complementam mutuamente, mas não é comum a mescla explícita nos fundamentos das duas linguagens. No drama, o clima do enredo ou ambientação são harmonizados com a trilha sonora; na comunicação, eventos podem ser marcados pela trilha ou mesmo sonoplastia; no design, um feedback sonoro pode ser enviado ao usuário da interface para indicar ou reforçar uma ação-resposta.

Porém, posso citar, como exemplo de transliteração visual-sonora, o Audiosurf (Invisible Handlebar, 2008). Sobre ele e para concluir, veja o depoimento feito por Osni Andrade:

"O jogo é um misto de Tetris, Guitar Hero e F-Zero. Ao iniciar a fase, ele processa a música escolhida (que pode ser qualquer MP3) e cria uma pista com 'obstáculos'. Algumas notas das músicas são convertidas em blocos que se espalham pela pista. Em um dos modos de jogo, você deve pegar apenas os blocos da mesma cor; em outro você deve unir três da mesma cor (como Tetris). Ainda tem um modo onde se deve desviar dos blocos controlando uma ou duas naves ao mesmo tempo.

O que mais me atraiu no jogo foi poder degustar música de forma inovadora – a fusão perfeita de três canais diferentes: música, interatividade e entretenimento! A quantidade de pistas irá variar conforme o tamanho da sua audioteca. Eu mesmo joguei desde os temas de Final Fantasy Crisis Core até Demônios da Garoa! Diversão garantida por várias horas."

__________

(1) Kandinsky, Wassily. Ponto e Linha sobre Plano. Martins Fontes, São Paulo, 1997, 1ª edição, página 86.
(2) Arnhein, Rudolf. Arte e Percepção Visual – Uma psicologia da visão criadora. Pioneira, São Paulo, 1997, 12ª edição, página 340.