Nuevas materialidades en la era digital, narradas a través de experimentos sonoros

Por: M.A. Doreen A. Ríos

 
 

Introducción

Desde hace casi 30 años el consumo, creación y distribución de material digital entre las masas se ha hecho posible a través del internet. Esto ha hecho que, tal como propone William J. Mitchell, la WWW se haya encargado de reemplazar espacios, reconfigurando el cuerpo social y los contextos arquitectónicos. Mitchell ofrece un análisis acerca de cómo las personas usan las metáforas y paradigmas de la creación de espacio para informar la construcción de sus agoras electrónicos. Para Mitchell, el internet es el primer contendiente serio para hacer algunas de las cosas que la arquitectura siempre ha hecho: crear lugares para hacer, para ver y para ser vistos. Tomando esta reflexión como punto de partida, es interesante plantear qué sucede con estas tres décadas de materialidades digitales que se mueven extensamente dentro de una serie de plataformas y dispositivos que, ahora más que nunca, se integran profundamente en nuestro quehacer cotidiano.

Este ensayo se enfoca en hacer frente a la noción contemporánea de las nuevas materialidades, haciendo énfasis en aquellas que han sido enunciadas dentro de diversos contextos (principalmente desde la filosofía) para hacer sentido de los intercambios matéricos de la producción creativa contemporánea y, especialmente, para establecer un nuevo lenguaje que englobe sus complejidades.

 

Nuevas materialidades en la era digital

Las nuevas materialidades, vistas desde la producción creativa, son una mezcla entre el uso de tecnologías digitales, dibujo computarizado, maqueteo digital, etc. y todo lo que esto conlleva dentro de un proceso creativo más amplio. Este ensayo se centra en el uso de experimentos sonoros como ejemplos de cada concepto para hacer un caso más profundo acerca de cómo dentro de transacciones matéricas tan clásicas como el sonido y la música, existen capas sensoriales que, en la producción contemporánea, adoptan diversas formas. Por otro lado, es clave enunciar que la condición de objeto digital, para fines de esta investigación, se alejan de la premisa de pensarlos como inmateriales pues, a pesar de que esta noción viene de que sus formas originales son intangibles, siempre existe una interfaz que funciona como vínculo hacia la objetualidad tradicional. Tomando esto como base, aquí definiré tres conceptos que se ubican dentro de las nuevas materialidades y los complementaré con el uso de experimentos sonoros como ejemplo de los mismos.

 
 

¿Qué son las nuevas materialidades?, las dos definiciones más comunes vienen de la física y de la filosofía. Evidentemente desde la física tiene una cercanía particular con cuestiones químicas y condiciones matéricas mientras que desde la filosofía, tiene que ver con, cómo se genera afectividad a partir de dispositivos electrónicos que podemos entender a partir del uso cotidiano de los mismos. Sin embargo, para este texto lo retomaremos desde el arte y la producción creativa, entendiendo a esta última como cualquier proceso que requiere de un diseño o una propuesta a partir de la sensibilidad o activación de los sentidos.

 

Hipermateriales

Uno de los primeros conceptos que nace a partir de la idea de nuevas materialidades es precisamente la noción del hípermaterial. Este es un término acuñado por Bernard Stiegler por ahí del 2009, en su libro Economía del hípermaterial y el psicopoder, para referirse a los procesos de intercambio entre la digitalización y rematerialización de un objeto, por ejemplo en el diseño arquitectónico enlazado al uso de tecnologías CAD y su posible reproductibilidad. Stiegler busca responder frente a lo que sucede cuando se hace una transición tan radical, sobretodo en áreas que tienen que concretar sus esfuerzos con la materialización final de un objeto tangible, pero dentro de las cuales existe un nicho que es 100% digitalizado o digitalizable.

“Llamo al hípermaterial un complejo de energía e información. Donde ya no es posible distinguir su materia de su forma […] un proceso donde la información - que se presenta como forma - es en realidad una secuencia de estados de materia producida por materiales y aparatos, por dispositivos tecnológicos en los que la separación de la forma y la materia está totalmente desprovista de significado.” (Stiegler, 2009). Si pensamos en un proceso de diseño arquitectónico actual, seguramente éste tendrá que ver con un boceteo a mano una vez que se plantea una idea, en donde eventualmente esta toma de decisiones para el diseño del objeto final tendrá que ser digitalizada para poder llevarlo a término. Con esto podemos ver que muchas veces el proceso de digitalización no sucede necesariamente porque los creadores lo busquen conscientemente sino porque las condiciones de producción que les rodean lo empujan a que esto sea parte de un proceso obligatorio. En el diseño pasa más o menos lo mismo, sobretodo en el diseño que planea masificarse, tomando en cuenta incluso todo aquello que es seriado y no producido en volúmenes industriales, en donde si queremos que ese diseño se conserve, debe existir una vía para tener este archivo base que no cambiará sin importar cuántas veces se replique. Bajo las condiciones de producción actuales, este envase deberá ser digital pues sus formas no mutarán sin una intención directa.

A partir de esto último, no es de sorprender que existan situaciones en las que sea posible identificar elementos del software utilizado para la creación de un objeto (edificio, poster, mesa, etc.) dentro de sus formas. Esto es una consecuencia de cómo, a través del uso cotidiano de estos programas computarizados, nos damos cuenta de sus vulnerabilidades y nos hacemos conscientes de las posibilidades de los mismos. Esto, a pesar de que es ya un tema común dentro de áreas como la arquitectura, sin duda no es la única área dentro de la que se puede observar con claridad estas condiciones. En el diseño gráfico también al ver un póster, tríptico o tarjeta es común el identificar no solo las herramientas con las que fue hecho sino también, probablemente, el proceso que se siguió para desarrollar su forma final. Esto tiene que ver con un reconocimiento, casi automático, de que existe una parte digital con la cual, a veces, podemos comunicarnos. Desde esa perspectiva, los hípermateriales abogan por hacer mención de que no solamente es el producto final lo que representa a este objeto en su totalidad sino también su archivo digital. Esta noción del hípermaterial va de la mano con entenderlo como un material expandido, en donde éste posee una forma física pero también tiene una parte digital que puede ser mutable, compartible, escalable, etc. En otras palabras, un solo objeto que puede poseer diversas condiciones matéricas que le servirán para ser perceptible en varios espacios.

Lo que plantea aquí Stiegler es que si no pensamos a estos objetos reconociendo sus diferentes materialidades, estamos perdiendo parte de lo que son, además de las vías que existen para relacionarse con éstos y las posibilidades para llevarlos a otros espacios, ya sean conceptuales o de interacción. En ese sentido, el concepto de hípermaterial busca hacer sentido de esta condición matérica como un conjunto inseparable.

Y centrándonos en experimentos sonoros, podemos tomar como ejemplo a la pieza Comunicaciones especulativas (2017 - 19) del colectivo Interspecifics. Este proyecto transforma el movimiento de bacterias en sonido e imagen con la posibilidad de manipularlo en vivo, en palabras de sus creadorxs: “Una máquina que es capaz de observar y aprender de un microorganismo para crear un score audiovisual a partir de los patrones que encuentre en su comportamiento. Este proyecto se centra en la creación de una inteligencia artificial, la cual reconoce comportamientos organizados reiterativos en cultivos biológicos y los transforma en eventos que dota de una gestualidad audiovisual específica con el fin de lograr una composición auto-generativa que responde a las lógicas de decisión que esta inteligencia construye con el tiempo. Para lograrlo es necesario el desarrollo de un dispositivo de búsqueda y transmisión de señales análogas provenientes de microorganismos, una plataforma audiovisual que permita la expresión de las señales biológicas y que además pueda hacerse cargo de su propio mantenimiento biológico. El resultado es transmitido en tiempo real a través de un canal digital creando la posibilidad de observar el proceso de coevolución de la máquina en tiempo real.” (Interspecifics, 2017).

 
Screenshot 2019-04-15 21.54.54.png
 

En cuestiones técnicas, y acercándonos a su condición de hípermaterial, lo que sucede aquí es un ciclo en el que se parte de una entidad biológica que posee una materia tangible, misma de la que se digitalizan una serie de impulsos propiciados por estímulos externos para posteriormente rematerializarse en imagen y sonido. Es precisamente la totalidad de su partes la que le da sentido, es decir, no existe un peso mayor de sus partes tangibles frente a sus partes intangibles, sino que existe un balance en un espectro de intercambio entre sus componentes que le dotan de un lenguaje amplio que se desarrolla en tanto que estos cambios matéricos toman lugar. En otras palabras, “este proyecto busca resaltar la gestualidad del tiempo real expresado en vida y de esa vida como un generador de cambio e inestabilidad tangible a partir de representaciones tanto visuales como sonoras.

 
 

La materia tiene por sí misma una performatividad expresiva por lo que buscamos crear una interface que le permita al otro expresar su complejidad y diversidad a través de un lenguaje que sea tangible tanto para una máquina como para nosotros humanos. Una narrativa que se construye a partir del cruce de la ciencia, la ficción, la vida y la ingeniería y que busca apropiarse del imaginario social para crear vínculos con aquello que parece tan ajeno, pero que conforma en sí mismo la ontología de nuestra especie.” (Interspecifics, 2017). De ahí que sus objetivos como pieza y como exploración matérica le dotan de aquello que resalta Stiegler en su conceptualización de hipermaterialidad.

 


Neomateriales

Este término fue acuñado por Christiane Paul en el 2015 en donde se cimenta de forma más cercana en las artes, a diferencia de Stiegler quien habla más de las industrias creativas en donde estos productos regularmente cuentan con una salida tangible, ella piensa a esta rematerialización desde sus posibilidades digitales. Paul describe a los neomateriales como “aquellos objetos que incorporan tecnologías digitales e incrustan, procesan y reflejan los datos ingresados y/o revelan su propia materialidad codificada y la forma en que los procesos digitales ven nuestro mundo” (Paul, 2015). La crítica que hace Christiane Paul a lo que propone Stiegler con los hipermateriales es que este concepto no toma en cuenta lo que se gana y se pierde dentro de este intercambio matérico. Es decir, no es el objeto íntegro el que se digitaliza y tampoco es el mismo objeto el que se rematerializa en otras formas. Si no estamos conscientes que en ese ciclo de cambio de materialidad algo necesariamente cambia, estamos perdiendo de vista todos los procesos que tenemos en cajas negras que hacen incomprensible lo que sucede en estas transacciones, razón por la que si no lo hacemos visible perpetuamos su condición de poca transparencia.

Paul plantea la inclusión de esta terminología desde un territorio de lo crítico y sobretodo desde una época, 2015, en donde a los dispositivos digitales ya no los vemos siempre como aliados, ya para este año estamos bastante enterados de ciertas irregularidades e injusticias que son propiciadas desde la digitalidad. Los sistemas de reconocimiento facial, la hipervigilancia, la pérdida de la privacidad son evidentemente algunos de los temas más cercanos a este tipo de críticas, y también de los más explorados a lo largo del tiempo, sin embargo las áreas que le competen al cuestionamiento del uso de tecnologías digitales se ha expandido exponencialmente en donde se abre una brecha para entender que si no estamos 100% conscientes de cómo funcionan las tecnologías que usamos de forma cotidiana, entonces estamos vulnerándonos.

Es esta mezcla de ideas entre las hipermaterialidades que propone Bernard Stiegler junto con la Nueva Estética de James Bridle es lo que gesta la noción de neomaterialidad. Bridle es un artista y teórico de medios que por años ha sido muy crítico a la velocidad con la que aceptamos ciertas condiciones de uso dentro de las tecnologías que nos rodean. De ahí que lo que propone la Nueva Estética se relaciona con el reconocimiento de sistemas digitales fuera de la pantalla, pero también tiene que ver con la forma en la que reconocemos otro tipo de imágenes. James Bridle plantea que existen aspectos estéticos en el contenido visual que consumimos cotidianamente que han creado un lenguaje que nos permite acceder a información que va más allá del contenido de la imagen en cuestión (por ejemplo su procedencia, algunos procesos detrás de su obtención, ubicación dentro de la web, etc.).

 
Obtenido del Tumblr: The New Aesthetic

Obtenido del Tumblr: The New Aesthetic

 

Retomando a Bridle “(...) el proyecto Nueva Estética se lleva a cabo dentro de su propio medio. Es un intento de "escribir" críticamente sobre la red en la lengua vernácula de la red: en un Tumblr, en publicaciones de blog, en videos de conferencias en YouTube, informes y tweets, libros, me gusta y comentarios. En este sentido, desde mi perspectiva, es tanto un trabajo como una crítica: no se ajusta a las formas tradicionales (manifiesto, ensayo, libro) que esperan a la crítica académica. Como resultado, sigue siendo en gran parte ilegible para ellos (la academia), a pesar de las frecuentes declaraciones públicas del tipo actual.” (Bridle, 2016). Su exploración, y vínculo con el concepto de neomaterialidad, nace de entender una condición que surge a partir de un amplio, y casi incontrolable, uso de las imágenes que navegan dentro de plataformas digitales y que dominan nuestro consumo de información. A partir de la pregunta que plantea la Nueva Estética sobre ¿qué entendemos más allá de la imagen digital que observamos? se incrusta con la idea de los hípermateriales y da pie a la definición de los neomateriales en donde Paul plantea que debiéramos buscar un proceso cognitivo más allá de los objetuales. Con esto se refiere a reconocer un ciclo, nuevamente, de materialización - digitalización - rematerialización en donde cada cambio debiera revelar aquello que cambia dentro del objeto en cuestión, por lo que “la neomaterialidad describe la incrustación de lo digital en los objetos, imágenes y estructuras que encontramos sobre una base diaria y la forma en que nos entendemos en relación con ellos. Encuentra diferentes tipos de expresión dentro de la cultura contemporánea y la práctica artística en la forma de objetos obras de arte que 1) incrustan tecnologías en red, reflejando su entorno y medio ambiente humano y no humano; 2) revela su propia materialidad codificada como parte de su forma, convirtiéndose así en un residuo de los procesos digitales; 3) reflejan el camino en el que las máquinas digitales y sus procesos (aparentemente autónomos) nos perciben a nosotros y a nuestro mundo.” (Paul, 2015).

 
 

Una pieza que refleja claramente esta condición es La Era Oscura del Conexionismo: Captividad (2017) de Wesley Goatley mismo que “(...) exploró las limitaciones de dispositivos como el Amazon Echo a través de una instalación de audio y escultura multicanal. A través de esto, sugirió nuevas formas de comportamiento para vivir entre estas tecnologías, y cómo se puede responder a las opacidades encontradas en su función.” (Goatley, 2017). Esta instalación expone cómo funcionan algunos asistentes personales comercializados ampliamente en donde se revela cómo no solamente detectan nuestras voces sino también nuestros movimientos. Esta instalación tiene muchas capas en donde desde la configuración del espacio físico circular, pasando por las preguntas pregrabadas diseñadas para lanzarse cada que estos dispositivos detectan un movimiento y hasta la forma en la que el espectador debe aprender a comunicarse con la pieza para poder experimentarla en su totalidad, son parte de un conjunto de acciones que exponen la forma en la que funcionan los dispositivos en cuestión. Existe entonces en su proceso de creación un profundo entendimiento de las partes físicas de los asistentes personales expuestos, a la vez que hay una integración digital de reconexión para su uso y una rematerialización en el espacio de exposición. En otras palabras, lo que nos enseña esta pieza es a hacernos invisibles para estas máquinas, acto que une las características de lo que propone Christiane Paul dentro de la idea de neomaterialidad.

 

Metamateriales

Con esta propuesta navegamos más cerca de lo especulativo pues, a diferencia de los dos conceptos anteriores, parte de relaciones afectivas enraizadas a su forma y no tanto a sus materiales. Esta terminología aparece dentro del ensayo Metamaterialism de Timur Si-Qin en donde entabla una serie de vínculos con las ideas planteadas por Manuel de Landa en donde dice que “la entidad material simbólica de la teoría textual actual, solo para retroceder un poco, los años 60 en Francia fue el gran período de virtualización. Todo se convirtió en texto. Kristeva y Derrida estaban hablando de intertextualidad. Incluso el clima no existe, es lo que hacemos de él, lo que interpretamos de él. Todo se volvió virtual de una manera. Baudrillard dice que todo es solo simulacros, solo capas de letreros de neón sobre capas de imágenes de televisión sobre capas de imágenes de películas y más y más cosas virtuales. Los juegos de ordenador y las simulaciones. Necesitamos un antídoto para eso. Necesitamos reconocer que hemos construido estas capas de virtualidad y que son reales, son virtualmente reales. Puede que no sean tangibles, pero aún son reales, pues todos se están ejecutando sobre una base material que, en última instancia, informa la fuente de poder y la base de la sociedad.” (De Landa, 2006). De aquí que un metamaterial es aquel que puede convertirse o tomar el espacio de otro sin importar su estructura, Timur utiliza este término para referirse a la materialidad del arte como concepto.

Estos enlaces se generan a partir de entidades que juegan casi como un comodín para incorporarse a un discurso en el que adoptan el lugar y funciones de una entidad que no son ellos, pero que son capaces de sobrellevar de manera funcional. Lo que establece Si-Qin dentro de los metamateriales, y tomando al prefijo meta para hacer referencia a una infinidad de posibilidades, es que son capaces de adoptar diversas formas dependiendo de la situación. Bajo esta lógica, y pensando desde las inteligencias no humanas, esta terminología se le puede atribuir a los bots y a las IAs . Mismas que de alguna manera adoptan una serie de comportamientos que les permiten actuar como otras entidades, sin necesariamente reemplazar en su totalidad a aquello que imitan. En ese sentido, un bot de Twitter está utilizando una plataforma pensada para humanos, y lo que hace es emular ese código de conducta para ofrecer una serie de interacciones que se entienden como naturales dentro de este contexto. Sin embargo, si quisiéramos cuestionar o crear un diálogo con este bot a partir de sus atribuciones, no podríamos hacerlo, pues sus funciones se limitan a un solo tipo de interacción posible dentro de esta plataforma. Complejizando este ejemplo, podríamos argumentar que es un caso similar lo que sucede con las IAs en donde éstas son capaces de llevar a cabo más de un solo tipo de interacción dentro de su espacio y aprender de las mismas. Sin embargo, al final del día, esta IA responderá únicamente a aquello que compone a su red neural, y en ese sentido, sus intervenciones serán igualmente limitadas a los objetivos de su creador.

 
 

Cuando pensamos cómo se producen y cómo se gestan estas relaciones debemos necesariamente considerar los nuevos condicionamientos afectivos, el desarrollo de inteligencias no humanas y el cumplimiento de cualidades creativas como la base del entendimiento de sus materialidades y su rol dentro de la ecología de producción contemporánea. Un proyecto que engloba esto último es Spawn (2016 - 19), de Holly Herndon en colaboración con Mat Dryhurst. Aquí Holly Herndon investiga y humaniza la tecnología a través de música que suena íntima y alienígena a la vez. Si vamos a ubicarnos en un ámbito digital, ella busca comunicarse en lugar de sucumbir a nuestros temores que rodean  a la IA. Este proyecto de Herndon y Dryhurst lleva dos años en proceso y ha revelado sus activaciones, principalmente sonoras, donde la red neuronal artificial reproduce las voces de sus creadores e interactúa con los sonidos de los espectadores en la instalación. Dentro de las preguntas centrales de este proyecto se ubican: ¿debemos retroceder ante los desarrollos tecnológicos y establecer limitaciones en la capacidad de las entidades no humanas, como Spawn, para presenciar las cosas que queremos proteger? ¿Es el mimetismo el punto final lógico de un nuevo ecosistema musical basado en datos, diseñado para dar a las personas más de lo que les gusta, con cada vez menos énfasis en la procedencia o identidad de su creador? o ¿hay un camino más interesante y simbiótico de colaboración máquina / humano en donde se ve a estos desarrollos como una oportunidad para reconsiderar quiénes somos y soñar con nuevas formas de crear? De esto último, y de su forma básica, es que este proyecto crea una relación directa con la propuesta de Si-Qin en torno a la búsqueda de nodos resilientes y adaptables dentro de la noción de metamaterialidad.

 


Conclusiones

Es claro que la era digital ha abierto una serie de amplias puertas para la producción creativa. Sin embargo, si no somos capaces de entender estos procesos y enunciar lo que representan para el ecosistema creativo contemporáneo, es probable que, por un lado, no estemos sacando el mayor provecho de estas tecnologías, y por otro tampoco estemos siendo capaces de reconocer sus limitaciones, vulnerabilidades y conflictos sociopolíticos. Esto último es crucial para la innovación tecnológica enfocada en el usuario consciente además de representar un área fértil para la integración de pensamientos creativos para una mayor accesibilidad a estas tecnologías y un cuestionamiento crítico a su inminente dominio ubicuo que se esconde detrás de cajas negras que se encuentran en espera de ser vaciadas.

 

Bibliografía

Bishop, R., Gansing, K., Parikka, J. et. al. (2016) Across and Beyond: Post-digital Practices, Concepts, and Institutions. Transmediale festival reader.

Cook, S., Graham, B. and Gfader, V. (eds.) (2010) A brief history of curating new media art: Conversations with curators. Berlin: The Green Box Kunstedition.

Cook, S., Graham, B. (2002) Curating New Media. Art Monthly. Issue 261. Available at: http://www.artmonthly.co.uk/magazine/site/article/curating-new-media-by-beryl-graham-sarah-cook-november-2002/ (Accessed: 22 November 2017).

Cook, S., Graham B. (2010) Rethinking Curating: Art After New Media. The MIT Press..

Cramer, F. (2013) What is ‘Post-digital’? A Peer Reviewed Journal About Post-Digital Research. Available at: http://tm-resource.projects.cavi.au.dk/?p=1318 (Accessed: 24 January 2018)

Cueto, B., Hendrikx, B. (eds.). (2017) Authenticity? Observations And Artistic Strategies In The Post-digital Age (Making Public). Publisher Valiz.

Hookway, B. (2014) Interfase. The MIT Press

Paul, C. (2015) From Immateriality to Neomateriality: Art and the Conditions of Digital Materiality. ISEA 2015

Paul, C. (2010). The Myth of Immateriality -- Presenting & Preserving New Media. Available at: http://intelligentagent.com/writing_samples/CP_Myth_of_Immateriality.pdf [Accessed 26 Jan. 2018].