CODEX VIRTUALIS _

INTERSPECIFICS AT SETI X AI
PROJECT PROPOSAL

Multidimensional Cellular Automata using glsl for modeling

 

Codex Virtualis is an artistic research framework oriented towards the generation of an evolving taxonomic collection of hybrid bacterial-AI organisms. With a subtle echo to the endosymbiotic (a) theory, we propose a symbolic formulation of a style transfer machine learning environment as a host, in which to merge bacterial/archaea time-lapse microscopy footage along with multidimensional cellular automata computational models (b) as endosymbionts, all under the orchestration of an autonomous generative non-adversarial network architecture (c). We aim as a result, to encounter novel algorithmically-driven aesthetic representations, tagged with a unique morphotype and genotype like encoding, and articulated around a speculative narrative encompassing unconventional origins of life on earth and elsewhere.

The project stands on the idea of cooperation to expand on the concept of intelligence by including machine and non-human agents into its configuration. And intends to articulate new schemes for the social imaginary to picture life outside the planet, and to better appreciate life on earth.

How can complexity outburst from simple dynamical systems when represented using convolutional neural networks?

What forms can arise from training creative algorithms with pattern-forming bacteria in spatially explicit environments and extremophile morphology modeling?

Two possible outcomes for presenting this project, which will be determined by the Covid-19 situation are: a. A site-specific immersive visual installation. b. An interactive online web/mobile site/app. In both cases displaying the complete organism collection, extensive process description, and DIY tutorials for people to replicate in a citizen science manner.

a. https://en.wikipedia.org/wiki/Symbiogenesis b. https://arxiv.org/abs/1809.02942 c.https://openaccess.thecvf.com/content_CVPR_2020/papers/Aich_Non-Adversarial_Video_Synthesis_With_Learned_Priors_CVPR_2020_paper.pdf

Our motivation when applying for this residency resides in the possibility to incorporate our in-progress art & science project Speculative Communications [a], with research on extremophiles and complexity modeling studied at Seti. We are planning to create an image database by combining our collected visual data from bacterial colony growth with extremophile visual data and mathematical models of unicellular life forms collected at Seti, to pre-train a generative non-adversarial network, through style transfer interpolated from the biotic database and the self-organizing autonomous patterns into a continuous cellular automata. We are open for suggestions on other input sources to explore.
1. Map to represent the training model and the feedback loop created with the computer vision system.
We seek to activate a self-generative system, Artificial Intelligence, and algorithmic approximation for generating virtual organism models based on morphology and rule modeling. The system includes a sensorial element, via Computer Vision, which increases its ability to influence the training results by extracting data (morphology, mobility, etc) from each emerging generation. A feedback loop that might add on or remove rules from the cellular automata depending on the behavior of the Generative non -adversarial network. Stacking parameters into a continuous flow of integrative rules to stimulate evolution into the organism models Some of the essential research questions that we would like to tackle with this project are: how can we generate automated systems focused on the creation of new-to-nature organism models that inhabit the threshold between the biotic and the virtual domain?
2. Computer vision algorithms allow us to extract and encode visual, morphological and behavioral information. By following the correspondence between phenotype expression and the genotype-like encoding, we expect to direct some specific features of virtual organisms.
The novelty of this development resides in the cross-pollination of algorithms to stimulate a self-generative process and the possibility of influencing a generative non-adversarial network through the interaction between our computer vision (sensorial system) and the behavior of the cellular automata.
3. (a) bacterial behavior mosaic. (b) continuous cellular automata. (a) algorithmic thresholds for latent space.
We believe this system facilitates not only exploring emergencies between biotic and virtual but, over time, it can also be conditioned to create more specific experiments where we can address questions related to coevolutionary processes. As well as possible explorations on the environmental conditioning on the cellular automata to analyze interactions coming from extremophile emergencies. The three primordial elements of the full system are described in the following flowchart.

  1. The sources: from which we take characteristics biotic and virtual.
  2. The feedback: to retro control the cellular automata by integration of new rules.
  3. The virtual life generated: represented in a taxonomic way.
4 System model v.01.

AIRE V.3 _ INMERSION

Aire V.3 forma parte de una serie de piezas que investigan la complejidad de los contaminantes que son emitidos a la atmósfera. Nuestra investigación partió de una exploración con los datos del “Sistema de Monitoreo Atmosférico de la Ciudad de México” con un conjunto de piezas sonoras generativas que se presentaron en el Espacio Sonoro del Museo Universitario de Arte Contemporáneo y en Casa del Lago de la UNAM.

Actualmente nos encontramos en una etapa de expansión del proyecto facilitada por una colaboración con el World resource Institute México a través del equipo de Calidad del Aire .

Esta colaboración nos permitirá explorar el API de Resource Watch  para la transmisión de datos de pronóstico de calidad del aire generados por el modelo GEOS-CF de la Oficina Global de Modelación y Asimilación de la  NASA del proyecto piloto  CityAQ en el que participa un grupo de ciudades de diferentes regiones del mundo para plasmar estos procesos en una pieza audio visual inmersiva.

Para estas piezas los contaminantes del aire tienen una identidad sonora propia y la fluctuación de la información modula todas sus características. Los patrones más relevantes y particulares que arroja el sistema detonan y apagan eventos de sonido conforme suceden y crean la estructura de la composición sobre la marcha. Además, los valores de velocidad y dirección del viento sirven como eje para controlar la lógica de espacialización de los instrumentos en un sistema de 15 canales organizado bajo una lógica cartesiana.

Aire V.3  es también una experiencia de inmersión visual donde se utilizan técnicas de modelado 3d, cinema 360 y tecnologías de mapeo para domo, con el fin de producir una narrativa de los patrones de contaminantes tanto en tiempo real como en pronósticos, pero también de sus fuentes y de los procesos que los generan.

Es para nosotros de gran importancia apoyar los procesos de libre acceso a la información y de codigo abierto, por lo cual los procesos y tecnologías que utilicemos para este desarrollo  estarán siempre disponibles a través de nuestro repositorio.

 

Este proyecto es posible gracias al apoyo y asesoría de:


[ REPOSITORY ]  Fecha de presentación del proyecto: Diciembre 2020



MEMORIA ESFÉRICA [ 2019 ]

Instalación odoro-comestible que activa la memoria por medio de la exposición olfativa a tierra húmeda. La pieza sintetiza el petricor: el olor que desprende la tierra cuando la lluvia cae en suelo seco. En el proceso, ciertas plantas exudan un aceite absorbido por rocas arcillosas, que al entrar en contacto con la lluvia, es liberado junto con el compuesto geosmina—subproducto metabólico de ciertas actinobacterias—, la fuente del distintivo olor.

En un cuarto oscuro que minimiza la estimulación del resto de los sentidos, un aparato de destilación por arrastre con vapor desdobla los hidrolatos del petricor, que al contacto con el aire, se impregnan en un gel capaz de solidificarse. A su lado, una bioimpresora produce esferas de este material con el propósito de ser ingeridas por el espectador. Al momento de introducirse en la boca, la esfera se desintegra, libera el olor y viaja a través de la faringe hasta el bulbo olfativo, que tiene dos conexiones directas a con á reas del cerebro fuertemente implicadas con las emociones y la memoria, que además no se activan de forma tan inmediata con información visual, auditiva o táctil: la amígdala y el hipotálamo. Al finalizar la experiencia, se le pide a cada espectador compartir esa memoria que generó el aroma y se produce un registro vivo de la pieza.

Pieza comisionada por ivan edeza para la muestra ” sinestencia olfativa” CDMX

[ REPOSITORY ]  [ PHOTO LIBRARY ]



RELATED WORK:

TOPOLOGÍAS DEL DESEO
OPEN SENSORY SUBSTITUTION
DIMENSIONS
ACTION POTENTIAL

 

 

NEWS

["error","(#10) This endpoint requires the 'manage_pages' or 'pages_read_user_content' permission or the 'Page Public Content Access' feature. Refer to https:\/\/developers.facebook.com\/docs\/apps\/review\/login-permissions#manage-pages and https:\/\/developers.facebook.com\/docs\/apps\/review\/feature#reference-PAGES_ACCESS for details."] WordPress › Error