sábado, 3 de janeiro de 2009

Transliteração visual-sonora

O blog Design.com.br mostrou em sua postagem "Livro de composições musicais" a interessante ideia de transpor elementos da linguagem visual para a sonora. Inicialmente o texto fala em notas sendo convertida para cores. Em seguida, que uma música seria tocada no piano a partir de quadrados coloridos.

Na verdade, a proposta artística de Hoagy Houghton – estudante de ilustração e design gráfico – vai um pouco além. Ele criou um grid de espaços quadriculados dispostos em uma folha de papel, algo como uma página de um caderno de matemática. Estas pautas foram entregues para que as pessoas colorissem, compondo à sua vontade toda a página, mas usando as cores previamente definidas por Houghton (vermelho, amarelo, rosa, verde, laranja, roxo e azul). Pensando estar elaborando uma composição visual, a etapa seguinte mostrará que os participantes estavam, na realidade, concebendo uma criação sonora. A experiência originou o livro Aleatory Compositions, título que remete ao resultado "musical" das criações.

Observando as imagens divulgadas, nota-se que o funcionamento de transliteração do grafismo para notação musical é similar a de um piano roll, com polifonia de dois canais. Ou seja, deve-se executar a "música" em um instrumento que permita pelo menos duas linhas melódicas independentes. A leitura deve ser feita horizontalmente, da esquerda para à direita, agrupando-se duas linhas: a linha superior para o que seria a primeira voz (mão direita) e a inferior para o baixo ou acompanhamento (mão esquerda). Como cada linha do grid foi dividida em 16 espaços horizontais, posso pensar em uma tradução métrica de quatro compassos com quatro tempos. Cada uma das sete cores foi associada à uma nota musical e os quadrados não coloridos substituídos por pausas, permitindo assim "ouvir" a composição visual.

Não sei o desdobramento que teve a proposta além do livro, mas se estes dados fossem inseridos em um software, o resultado sinestésico dos sons e cores deve ser curioso, especialmente para quem coloriu os quadrinhos, procurando inocentemente estabelecer alguma estética visual dentro dos parâmetros compositivos relativos aos espaços no papel.

A ideia soa como uma experiência lúdica, que procura muito mais chamar atenção para as possíveis inter-relações nas mídias, do que efetivamente representar a transliteração entre imagem e som com alguma fidelidade teórica, literal ou mesmo expressiva. A começar pelas limitações impostas pela fórmula proposta que ignora, por exemplo, semitons ou oitavas. Licença artística também para as complexas questões compositivas no registro de ambas as linguagens (espaciais, métricas, tonais etc.).

Associar qual cor a qual nota, apenas uma das tarefas iniciais, será determinante para o valor estético do resultado sonoro, que deveria representar alguma coerência expressiva baseada na vontade do autor (quem coloriu o papel). De fato, penso que o título "composições aleatórias" tem mais relação com a falta de compromisso do autor (que desconhece o mecanismo de tradução) do que com as falhas de fundamento na fórmula de conversão visual-sonora proposta.

Em Ponto e Linha sobre Plano, Wassily Kandinsky (1) – que fundamentou a base teórica da arte abstrata – estabelece relações das expressões visuais com a arquitetura, escultura, poesia, dança, com a natureza, e também com a música:

"O volume do som dos diferentes instrumentos corresponde à espessura da linha: o violino, a flauta, o flautim produzem uma linha bem delgada; de uma linha mais espessa – produzida pela viola e pela clarineta –, chegamos, pelos sons mais graves do contrabaixo e da tuba, às linhas mais espessas. Além de sua largura, a coloração da linha depende também da cor própria dos diversos instrumentos. Podemos constatar que na música a linha representa o meio de expressão predominante. Ela se afirma aqui, como na pintura, pelo volume e pela duração." (...) "É particularmente interessante e significativo que a atual representação musical-gráfica – a escrita musical – nada mais seja do que diversas combinações de pontos e linhas."

E sobre este trecho, faz a seguinte nota:

"Em física, para medir a altura do som, utilizam-se aparelhos apropriados que projetam mecanicamente a vibração das ondas num plano, dando assim ao som musical um aspecto visual preciso. Experiências semelhantes são feitas para a cor."

Kandinsky também formula precisamente uma relação matemática entre ângulos, formas geométricas e cores. O triângulo, por exemplo, é associado a um ângulo agudo, que é associado à cor amarela. Dessa forma, não parece distante conceber mais uma conversão de frequências visuais-sonoras para estabelecer, com propriedade teórica, uma fórmula de transliteração cor-som. Aliás, Kandinsky costuma, com regularidade, usar o termo sonoridade para atribuir "expressão interna" aos elemento visuais.

Acerca de alguns dos aspectos que distanciariam elementos visuais de sonoros, Rudolf Arnhein (2), em sua obra Arte e Percepção Visual, acrescenta:

"Na música, o número de tons usados é consideravelmente menor do que o número de níveis de altura que o ouvido humano pode distinguir. Daí a afirmação familiar de que o meio musical limita-se a um número de elementos padronizados, enquanto o pintor se move com liberdade através de todo o contínuo das cores: na linguagem de Nelson Goodman, segundo a qual a música tem uma notação desarticulada, enquanto a pintura é sintaticamente densa. (...) O mesmo tipo de gradação é, naturalmente, encontrado na música se alguém ouvir a execução real e não confundir a música que se ouve com sua notação."

De qualquer meio, o projeto de Houghton não parece buscar este rigor, ao menos isso não está explícito. Além do aspecto lúdico, criativo, sugestivo e experimental da fórmula, o simples ato de atribuir cor à escrita musical pode, por exemplo, ser levada para a musicalização infantil, tomando o devido cuidado em não criar uma muleta tipo "bicicleta com rodinhas".

Como já sugeri, seria bem interessante ver a aplicação sendo usada em meios eletrônicos. Quem já não brincou com as tantas variações de visualizadores de efeitos especiais do Winamp ou Media Player? Há centenas de plugins visuais que fazem ponte, em algum nível, do som para a imagem. Algumas variações de arte eletrônica, como as demos, com ou sem interatividade, instalações de arte ou mesmo brinquedos já usufruiram, em algum grau, da experiência em somar as expressões visuais e sonoras.

Nos jogos eletrônicos, obras que naturalmente têm intimidade com recursos multimídia, a imagem e o som se complementam mutuamente, mas não é comum a mescla explícita nos fundamentos das duas linguagens. No drama, o clima do enredo ou ambientação são harmonizados com a trilha sonora; na comunicação, eventos podem ser marcados pela trilha ou mesmo sonoplastia; no design, um feedback sonoro pode ser enviado ao usuário da interface para indicar ou reforçar uma ação-resposta.

Porém, posso citar, como exemplo de transliteração visual-sonora, o Audiosurf (Invisible Handlebar, 2008). Sobre ele e para concluir, veja o depoimento feito por Osni Andrade:

"O jogo é um misto de Tetris, Guitar Hero e F-Zero. Ao iniciar a fase, ele processa a música escolhida (que pode ser qualquer MP3) e cria uma pista com 'obstáculos'. Algumas notas das músicas são convertidas em blocos que se espalham pela pista. Em um dos modos de jogo, você deve pegar apenas os blocos da mesma cor; em outro você deve unir três da mesma cor (como Tetris). Ainda tem um modo onde se deve desviar dos blocos controlando uma ou duas naves ao mesmo tempo.

O que mais me atraiu no jogo foi poder degustar música de forma inovadora – a fusão perfeita de três canais diferentes: música, interatividade e entretenimento! A quantidade de pistas irá variar conforme o tamanho da sua audioteca. Eu mesmo joguei desde os temas de Final Fantasy Crisis Core até Demônios da Garoa! Diversão garantida por várias horas."

__________

(1) Kandinsky, Wassily. Ponto e Linha sobre Plano. Martins Fontes, São Paulo, 1997, 1ª edição, página 86.
(2) Arnhein, Rudolf.
Arte e Percepção Visual – Uma psicologia da visão criadora. Pioneira, São Paulo, 1997, 12ª edição, página 340.

2 comentários:

Lucas Haeser disse...

Muito interessante o texto Alexo, fiquei até um pouco surpreso com o tema, pois demorei pra entender a relação do que você estava falando com os games, mas no final tudo ficou claro. =)

Senti falta de mais alguns exemplos além do audiosurf, (parecia que você ia falar do Guitar Hero a qualquer momento, hehehe) aí vão alguns que eu me lembro agora, só pra dar uma complementada:

Elektroplancton (Nintendo DS)
http://www.youtube.com/watch?v=A7AQztk2FXg

Auditorium (demo - jogo em flash)
http://www.playauditorium.com

Reac Table (instalação - FILE 2007)
http://www.youtube.com/watch?v=Zodf6_YGujo&feature=related

Abraços e parabens pelo texto!

Alexo Maravalhas disse...

Valeu, Luc. É verdade, eu mesmo quase achei que estava saindo do tema. Mas, afinal, um pouco de teoria em artes pode sempre servir a inspirar alguém. No fundo, eu quis fazer tanto uma avaliação mais crítica sobre o projeto, com justificativas, e também sugerir outras coisas.

O final, acabo relacionando um pouco do assunto com jogos, mas quase nem o fiz, até pra encurtar o artigo. Até mesmo porque são poucos os exemplos práticos que eu poderia dar, então prefiro que vocês o façam, além do que o Osni escolheu pra ilustrar o final da postagem, comentando um pouco do Audiosurf.

O Auditorium eu joguei um pouco. Me apreceu que a música ali é apenas um acessório realmente no jogo. Elektroplancton eu vi pouco do vídeo, pra entender qual a proposta. Agora, o Reac Table, que eu já conhecia, mas não com esse detlhamento no vídeo, achei fantástico.

Início | Blog | Glossário | Fotografia virtual | Site
Feed: Postagens | Comentários
| Glossário | Fotos | ?
Verbetes indicados com † estão incluídos em nosso glossário