Nuevas materialidades en la era digital narradas a través de experimentos sonoros

Por: Doreen A. Ríos

2019

Introducción

Durante casi 30 años, el internet ha permitido el consumo, creación y distribución de contenido digital a gran escala. Según W.J.T Mitchell, esto ha llevado a que la World Wide Web reemplace algunos espacios físicos, reconfigurando así el cuerpo social y los contextos arquitectónicos. W.J.T Mitchell analiza cómo las personas utilizan metáforas y paradigmas espaciales para construir sus espacios virtuales. Para él, el internet es el primer competidor serio en hacer algunas de las cosas que la arquitectura siempre ha hecho: crear lugares para hacer, ver y ser vistos. A partir de esta reflexión, surge la pregunta sobre qué sucede con las tres décadas de contenido digital que se mueven ampliamente a través de diversas plataformas y dispositivos, los cuales se integran profundamente en nuestra vida diaria.

Este ensayo se centra en abordar la noción contemporánea de las nuevas materialidades, haciendo hincapié en aquellas que han sido abordadas en varios contextos (principalmente desde la filosofía) para dar sentido a los intercambios materiales de la producción creativa contemporánea y, especialmente, para establecer un nuevo lenguaje que abarque sus complejidades.

Nuevas materialidades en la era digital

Las nuevas materialidades, desde la perspectiva de la producción creativa, combinan el uso de tecnologías digitales, diseño computarizado, modelado digital, entre otros elementos, y todo lo que esto implica dentro de un proceso creativo más amplio. Este ensayo se enfoca en el uso de experimentos sonoros como ejemplos de cada concepto para profundizar en cómo, en transacciones materiales tan tradicionales como el sonido y la música, existen capas sensoriales que adoptan diversas formas en la producción contemporánea. Además, es importante destacar que, para los fines de esta investigación, los objetos digitales no se consideran inmateriales, ya que aunque sus formas originales son intangibles, siempre existe una interfaz que los vincula a la objetualidad tradicional. Basándonos en esto, definiré tres conceptos que se encuentran dentro de las nuevas materialidades y los ilustraré con el uso de experimentos sonoros como ejemplos.

¿Qué son las nuevas materialidades? Las dos definiciones más comunes provienen de la física y la filosofía. Desde la física está estrechamente relacionado con cuestiones químicas y condiciones materiales, mientras que desde la filosofía se refiere a cómo se genera afectividad a través de dispositivos electrónicos que experimentamos en nuestra vida cotidiana. Sin embargo, en este texto, lo abordaremos desde el arte y la producción creativa, entendiendo esta última como cualquier proceso que requiere de un diseño o una propuesta que involucre la sensibilidad o activación de los sentidos.

Hipermateriales

Uno de los conceptos que surge en el contexto de las nuevas materialidades es la noción de hipermaterial. Este término fue acuñado por Bernard Stiegler alrededor de 2009, en su libro Economía del hipermaterial y el psicopoder, para referirse a los procesos de intercambio entre la digitalización y la rematerialización de un objeto. Por ejemplo, en el diseño arquitectónico esto está relacionado con el uso de tecnologías CAD y su reproducción. Stiegler busca abordar lo que sucede cuando se produce una transición tan radical, especialmente en áreas donde la materialización final de un objeto tangible es crucial, pero que también incluyen un aspecto que es 100% digitalizado o digitalizable.

Stiegler describe el hipermaterial como un complejo de energía e información, donde ya no es posible distinguir la materia de su forma. Es un proceso en el cual la información, presentada como forma, es en realidad una secuencia de estados de materia generada por materiales y dispositivos tecnológicos, en los cuales la separación entre forma y materia carece de significado (Stiegler, 2009). Al considerar el proceso actual de diseño arquitectónico, es probable que comience con bocetos a mano para explorar ideas, pero eventualmente estas decisiones de diseño deben digitalizarse para llevarlas a cabo. Esto muestra que a menudo la digitalización no ocurre necesariamente porque lxs creadorxs lo busquen conscientemente, sino porque las condiciones de producción lxs obligan a seguir ese proceso. Lo mismo ocurre en el diseño, especialmente en el diseño masificado, incluyendo aquellos objetos producidos en serie o en grandes volúmenes industriales. Para asegurar que el diseño se conserve, se requiere un archivo digital que permanezca constante sin importar cuántas veces se replique. Dadas las condiciones de producción actuales, ese contenedor debe ser digital, ya que sus formas no cambiarán sin una intención directa.

A partir de esto, no es sorprendente que a veces sea posible identificar elementos del software utilizado para crear un objeto (como un edificio, un póster o una mesa) dentro de sus formas. Esto es una consecuencia de cómo, a través del uso cotidiano de estos programas computarizados, nos damos cuenta de sus vulnerabilidades a la vez que somos conscientes de las posibilidades que ofrecen. Aunque esto es un tema común en áreas como la arquitectura, también se puede observar en otras disciplinas. En el diseño gráfico, por ejemplo, al ver un póster, un tríptico o una tarjeta, es común identificar no solo las herramientas utilizadas, sino también el proceso seguido para desarrollar su forma final. Esto implica un reconocimiento casi automático de que existe una parte digital con la cual a veces podemos interactuar. Desde esta perspectiva, los hipermateriales enfatizan que el objeto no se limita solo a su forma final, sino que también incluye su archivo digital. La noción de hipermaterial se relaciona con la idea de un material expandido, que posee una forma física pero también una parte digital que puede ser modificada, compartida, escalada, etc. En otras palabras, es un solo objeto que puede manifestarse en diversas condiciones materiales y ser perceptible en varios espacios.

Lo que plantea Stiegler es que si no consideramos estas diferentes materialidades de los objetos, estamos perdiendo parte de lo que son, así como las formas en las que podemos relacionarnos con ellos y las posibilidades de llevarlos a otros espacios, ya sean conceptuales o interactivos. En este sentido, el concepto de hipermaterial busca comprender esta condición matérica como un conjunto inseparable.

En el contexto de los experimentos sonoros, podemos tomar como ejemplo la obra Comunicaciones Especulativas (2017-19) del colectivo Interspecifics. Este proyecto transforma el movimiento de bacterias en sonido e imagen, permitiendo manipularlo en vivo. Según sus creadoras: "Es una máquina capaz de observar y aprender de un microorganismo para crear una partitura audiovisual basada en los patrones de su comportamiento. Este proyecto se centra en la creación de una inteligencia artificial que reconoce comportamientos organizados y repetitivos en cultivos biológicos, los transforma en eventos con una gestualidad audiovisual específica y genera una composición autogenerativa que responde a las lógicas de decisión construidas por esa inteligencia a lo largo del tiempo. Para lograrlo, se desarrolla un dispositivo de búsqueda y transmisión de señales analógicas de microorganismos, una plataforma audiovisual que permite la expresión de las señales biológicas y que también se encarga de su propio mantenimiento biológico. El resultado se transmite en tiempo real a través de un canal digital, creando la posibilidad de observar el proceso de coevolución de la máquina en tiempo real" (Interspecifics, 2017).

En términos técnicos y acercándonos a su condición de hipermaterial, se produce un ciclo en el cual se parte de una entidad biológica que posee una materia tangible. A partir de esta materia tangible, se digitalizan una serie de impulsos generados por estímulos externos y luego se rematerializan en forma de imagen y sonido. Es la combinación de todas sus partes lo que le otorga sentido, es decir, no hay una importancia mayor de las partes tangibles en comparación con las partes intangibles, sino que existe un equilibrio en un espectro de intercambio entre los componentes, que le proporciona un amplio lenguaje que se desarrolla a medida que ocurren estos cambios materiales. En otras palabras, este proyecto busca resaltar la expresión en tiempo real de la gestualidad de la vida y cómo esta vida genera cambios e inestabilidad tangibles a través de representaciones visuales y sonoras.

La materia en sí misma posee una capacidad expresiva, por lo tanto, buscamos crear una interfaz que permita a los demás expresar su complejidad y diversidad a través de un lenguaje tangible tanto para las máquinas como para nosotrxs. Esta narrativa se construye a partir de la intersección de la ciencia, la ficción, la vida y la ingeniería, y busca establecer vínculos con aquello que parece distante pero que, en realidad, conforma la ontología de nuestra especie. Los objetivos de esta pieza y su exploración matérica reflejan lo que Stiegler destaca en su conceptualización de la hipermaterialidad.

Neomateriales

El término neomaterialidad fue acuñado por Christiane Paul en 2015, centrándose más en el ámbito de las artes en contraste con Stiegler, quien se enfoca en las industrias creativas donde estos productos suelen tener una forma tangible. Paul describe a los neomateriales como "objetos que incorporan tecnologías digitales y en los cuales se incrustan, procesan y reflejan los datos ingresados, revelando así su propia materialidad codificada y cómo los procesos digitales perciben nuestro mundo" (Paul, 2015). La crítica que Paul plantea a la propuesta de Stiegler sobre los hipermateriales es que este concepto no considera lo que se gana y se pierde en este intercambio material. Es decir, no es el objeto completo el que se digitaliza ni es el mismo objeto el que se rematerializa en otras formas. Si no somos conscientes de que algo necesariamente muta en este ciclo de cambio de materialidad, estamos pasando por alto todos los procesos que están en cajas negras y que hacen que estas transacciones sean incomprensibles. Por lo tanto, si no hacemos visible este proceso, perpetuamos su falta de transparencia.

Paul plantea la inclusión de esta terminología desde una perspectiva crítica, especialmente en un momento, en 2015, en el que ya no vemos a los dispositivos digitales como aliados en todo momento. Para ese año, estábamos bastante conscientes de ciertas irregularidades e injusticias que surgieron a raíz de la digitalidad. Los sistemas de reconocimiento facial, la hipervigilancia y la pérdida de privacidad son algunos de los temas más cercanos a estas críticas, y también han sido ampliamente explorados a lo largo del tiempo. Sin embargo, las áreas de cuestionamiento del uso de tecnologías digitales se han expandido exponencialmente, lo que nos hace entender que si no somos plenamente conscientes de cómo funcionan las tecnologías que utilizamos en nuestra vida diaria, nos volvemos vulnerables.

Es en esta combinación de ideas entre las hipermaterialidades propuestas por Bernard Stiegler y la Nueva Estética de James Bridle donde surge la noción de neomaterialidad. Bridle, un artista y teórico de los medios, ha sido crítico durante años con la rapidez con la que aceptamos ciertas condiciones de uso en las tecnologías que nos rodean. Por lo tanto, lo que plantea la Nueva Estética se relaciona con el reconocimiento de los sistemas digitales más allá de la pantalla, pero también tiene que ver con la forma en que interpretamos otro tipo de imágenes. James Bridle sostiene que hay aspectos estéticos en el contenido visual que consumimos a diario, los cuales han creado un lenguaje que nos permite acceder a información que va más allá del contenido de la imagen en sí (como su procedencia, algunos procesos involucrados en su obtención, su ubicación en la web, etc.).

Retomando las palabras de Bridle, el proyecto de la Nueva Estética se lleva a cabo dentro de su propio medio. Es un intento de realizar una crítica de la red utilizando el lenguaje vernáculo de la misma a través de Tumblr, publicaciones en blogs, videos de conferencias en YouTube, informes y tweets, libros, likes y comentarios. Desde mi perspectiva, es tanto un trabajo como una crítica, ya que no se adhiere a las formas tradicionales (manifiesto, ensayo, libro) que espera la crítica académica. Como resultado, sigue siendo en gran medida ilegible para la academia, a pesar de las frecuentes declaraciones públicas sobre su relevancia actual (Bridle, 2016).

Su exploración y conexión con el concepto de neomaterialidad surge al comprender una condición que emana a partir del amplio y casi incontrolable uso de imágenes que navegan en plataformas digitales y dominan nuestro consumo de información. A partir de la pregunta planteada por la Nueva Estética sobre qué entendemos más allá de la imagen digital que observamos, se entrelaza con la idea de los hipermateriales y da paso a la definición de los neomateriales. Christiane Paul propone buscar un proceso cognitivo más allá de los objetos en sí. Esto implica reconocer un ciclo de materialización, digitalización y rematerialización, en el cual cada cambio revela lo que se modifica dentro del objeto en cuestión. Según Paul, "la neomaterialidad describe la incrustación de lo digital en los objetos, imágenes y estructuras que encontramos a diario, y cómo nos relacionamos con ellos. Se manifiesta en diferentes formas dentro de la cultura contemporánea y la práctica artística a través de objetos que: 1) incorporan tecnologías en red, reflejando su entorno y su medio ambiente humano y no humano; 2) revelan su propia materialidad codificada como parte de su forma, convirtiéndose así en un residuo de los procesos digitales; 3) reflejan la forma en que las máquinas digitales y sus procesos (aparentemente autónomos) nos perciben a nosotrxs y a nuestro mundo" (Paul, 2015).

Una pieza que ejemplifica claramente esta condición es La Era Oscura del Conexionismo: Captividad (2017) de Wesley Goatley, quien exploró las limitaciones de dispositivos como el Amazon Echo a través de una instalación de audio y escultura multicanal. Mediante esta obra, Goatley propuso nuevas formas de comportamiento para convivir con estas tecnologías y cómo responder a las opacidades presentes en su funcionamiento (Goatley, 2017).

Esta instalación revela cómo funcionan algunos asistentes personales ampliamente comercializados, mostrando que no solo detectan nuestras voces, sino también nuestros movimientos. La obra contiene múltiples capas, desde la configuración del espacio físico circular hasta las preguntas pregrabadas diseñadas para activarse cada vez que los dispositivos detectan un movimiento. Además, la forma en que lx espectadorx debe aprender a comunicarse con la pieza para experimentarla en su totalidad es parte de un conjunto de acciones que exponen el funcionamiento de los dispositivos en cuestión.

En el proceso de creación de esta obra, se evidencia un profundo entendimiento de las partes físicas de los asistentes personales expuestos, así como una integración digital y una rematerialización en el espacio de exposición. En otras palabras, esta pieza nos enseña a hacer invisible nuestra presencia para estas máquinas, un acto que refleja las características propuestas por Christiane Paul en el concepto de neomaterialidad.

Metamateriales

Con la propuesta de los metamateriales nos adentramos en un terreno más especulativo, ya que a diferencia de los dos conceptos anteriores, se centra en relaciones afectivas arraigadas a la forma más que a los materiales. Esta terminología aparece en el ensayo Metamaterialism de Timur Si-Qin, donde establece vínculos con las ideas planteadas por Manuel de Landa. De Landa menciona que en la teoría textual actual, en los años 60 en Francia, se produjo un gran período de virtualización. Todo se convirtió en texto, y se hablaba de intertextualidad. Incluso el clima no existe, es lo que interpretamos de él. Baudrillard afirma que todo son simulacros, capas de letreros de neón sobre capas de imágenes de televisión y películas, y más y más cosas virtuales. Los juegos de computadora y las simulaciones. Según De Landa, necesitamos un antídoto para esto, reconocer que hemos construido estas capas de virtualidad que son virtualmente reales. Aunque no sean tangibles, son reales porque se ejecutan sobre una base material que finalmente informa la fuente de poder y la base de la sociedad (De Landa, 2006). Es en este contexto que Si-Qin utiliza el término metamaterial para referirse a la materialidad del arte como concepto.

Estos enlaces se generan a partir de entidades que actúan casi como un comodín, incorporándose en un discurso y asumiendo el lugar y las funciones de otra entidad de manera funcional. Lo que Si-Qin establece con los metamateriales, tomando el prefijo "meta" para referirse a una infinidad de posibilidades, es que son capaces de adoptar diversas formas dependiendo de la situación. Siguiendo esta lógica y considerando las inteligencias no humanas, esta terminología puede aplicarse a los bots y a las IA. Estas entidades adoptan comportamientos que les permiten actuar como otras entidades sin reemplazarlas por completo. Por ejemplo, un bot de Twitter utiliza una plataforma diseñada para humanos y emula un código de conducta para ofrecer interacciones que se consideran naturales en ese contexto. Sin embargo, si quisiéramos cuestionar o entablar un diálogo con este bot basándonos en sus atribuciones, no podríamos hacerlo, ya que sus funciones se limitan a un solo tipo de interacción posible en esa plataforma. Ampliando este ejemplo, podríamos argumentar que ocurre algo similar con las IA, ya que son capaces de llevar a cabo diferentes tipos de interacción dentro de su espacio y aprender de ellas. Sin embargo, al final del día, estas IA responderán solo en base a lo que conforma su red neuronal, y sus intervenciones estarán igualmente limitadas por los objetivos de sus creadorxs.

Cuando consideramos cómo se producen y gestan estas relaciones, es imprescindible tener en cuenta los nuevos condicionamientos afectivos, el desarrollo de inteligencias no humanas y la presencia de cualidades creativas como base para comprender sus materialidades y su papel en la ecología de la producción contemporánea. Un proyecto que abarca todos estos aspectos es Spawn (2016-2019) de Holly Herndon en colaboración con Mat Dryhurst. Aquí, Holly Herndon investiga y humaniza la tecnología a través de una música que suena tanto íntima como alienígena. En el ámbito digital, en lugar de sucumbir a nuestros temores relacionados con la IA, ella busca establecer una comunicación. Este proyecto de Herndon y Dryhurst ha revelado activaciones principalmente sonoras, donde una red neuronal artificial reproduce las voces de sus creadorxs e interactúa con los sonidos de lxs espectadorxs en la instalación.

Dentro de las cuestiones fundamentales de este proyecto, se plantean las siguientes preguntas: ¿Debemos retroceder frente a los avances tecnológicos y establecer limitaciones en la capacidad de entidades no humanas como Spawn para presenciar las cosas que queremos proteger? ¿Es el mimetismo el resultado lógico final de un nuevo ecosistema musical basado en datos, diseñado para ofrecer a las personas lo que les gusta, con cada vez menos énfasis en la procedencia o identidad de su creador? O, por el contrario, ¿existe un camino más interesante y simbiótico de colaboración entre máquina y humano en el que veamos estos avances como una oportunidad para reconsiderar nuestra propia identidad y soñar con nuevas formas de creación?

Es precisamente a partir de estas reflexiones y en su forma más básica que este proyecto establece una relación directa con la propuesta de Si-Qin en busca de nodos resilientes y adaptables dentro del concepto de metamaterialidad.

Conclusiones

En conclusión, la era digital ha generado nuevas posibilidades para la producción creativa, pero es fundamental comprender y reflexionar sobre estos procesos en el contexto del ecosistema creativo contemporáneo.

Esto implica aprovechar al máximo las tecnologías disponibles, pero también reconocer sus limitaciones y los problemas sociopolíticos que conllevan. Es importante fomentar la innovación tecnológica centrada en el usuario y promover un enfoque crítico que cuestione el dominio omnipresente de estas tecnologías.

Además, se debe buscar una mayor accesibilidad a estas tecnologías y cuestionar las cajas negras que a menudo ocultan su funcionamiento interno. En última instancia, esto nos permitirá utilizar la tecnología de manera más consciente y creativa en beneficio de la sociedad.

Bibliografía

Bishop, R., Gansing, K., Parikka, J. et. al. (2016) Across and Beyond: Post-digital Practices, Concepts, and Institutions. Transmediale festival reader.

Cook, S., Graham, B. and Gfader, V. (eds.) (2010) A brief history of curating new media art: Conversations with curators. Berlin: The Green Box Kunstedition.

Cook, S., Graham, B. (2002) Curating New Media. Art Monthly. Issue 261. Available at: http://www.artmonthly.co.uk/magazine/site/article/curating-new-media-by-beryl-graham-sarah-cook-november-2002/ (Accessed: 22 November 2017).

Cook, S., Graham B. (2010) Rethinking Curating: Art After New Media. The MIT Press..

Cramer, F. (2013) What is ‘Post-digital’? A Peer Reviewed Journal About Post-Digital Research. Available at: http://tm-resource.projects.cavi.au.dk/?p=1318 (Accessed: 24 January 2018)

Cueto, B., Hendrikx, B. (eds.). (2017) Authenticity? Observations And Artistic Strategies In The Post-digital Age (Making Public). Publisher Valiz.

Hookway, B. (2014) Interfase. The MIT Press

Paul, C. (2015) From Immateriality to Neomateriality: Art and the Conditions of Digital Materiality. ISEA 2015

Paul, C. (2010). The Myth of Immateriality -- Presenting & Preserving New Media. Available at: http://intelligentagent.com/writing_samples/CP_Myth_of_Immateriality.pdf [Accessed 26 Jan. 2018].