Biofeedback Cinema

Description:

Biofeedback Cinema is an expanded-cinema-experiment (ECE) that connects an actor's brain to a camera via an open source brain-computer-interface (BCI). The system proposed operates in lieu of a traditional cinematographer. In this case, the actor's brainwaves are dictating the final composition (camera focus, aperture, position, etc).

The project considers new possibilities for the relationship between a variety of otherwise disparate media. This consideration is made possible via the media itself: artist collaborators, actor, scientist, brainwaves, camera, affect, and audience. As these media converge across the Biofeedback Cinema system, a new platform emerges as a point of communication between art, technology, science, and society. 

collage

Hardware:

  • Neurosky EEG Reader Headset
  • Raspbery Pi 
    • ​​w/Camera Module
    • w/Bluetooth Receiver
    • w/Mobile Battery
    • w/GPIO Breakout Ribbon
    • w/Push buttons
    • w/LEDs
  • Arduino
    • w/Pan & Tilt System w/Servos
    • w/LEDs
    • w/LCD Display
    • w/Mobile Battery 
  • Hands free camera mount

Software:

  • Arduino Program
    • To receive signals from Rasbperry Pi (python) to control pan and tilts servos, LED indicators, and LCD display.
  • Python Script
    • To receive Neurosky input to control Camrea w/OpenCV, to send signals to Arduino via serial.
  • Raspberry Pi Setup
    • Bluetooth [https://www.thinkpenguin.com/gnu-linux/bluetooth-usb-adapter-setup-raspbian-raspberry-pi]
    • Neurosky [http://cttoronto.com/03/04/2013/interfacing-with-the-mindwave-mobile/]
    • Camera [http://www.raspberrypi.org/learning/python-picamera-setup/]
    • OpenCV [http://robologs.net/2014/04/25/instalar-opencv-en-raspberry-pi-2/​]
    • GPIO [http://makezine.com/projects/tutorial-raspberry-pi-gpio-pins-and-python/]
    • Arduino [http://razzpisampler.oreilly.com/ch10.html]
    • Serial [http://elinux.org/Serial_port_programming]

Propuesta de proyecto y desarrollo por
Jessica Ann        (Artist)                     http://jessicaann.info

Colaboradores:
Gregory Hough    (Programmer)        http://goo.gl/I4yjYI
Salud Lopez        (Choreographer)    http://saludlopez.net
Pedro Peira        (Video Producer)    http://festimania.com

Workshop Diary

  • Jessica Ann: "The system lends itself to many potential applications. For the Interactivos Exhibition we have prepared a live demo of the system that looks at the particpant's level of focus/attention and translates that brainwave output to camera position and camera focus. This is made possible by a bluetooth connection between a Neurosky EEG Reader Headset and a Raspberry Pi. The Raspberry Pi is a small computer outfitted with a webcam and custom programming that bridges the user’s brain activity to camera settings and camera position. Dynamic camera position is made possible via an Arduino microcontroller receiving signals from the Raspberry Pi. We look forward to further development as we aim to include additional brainwave parameters (frequencies associated with eye blinks, etc) and camera functions (i.e. hue, saturation, brightness, etc). During the Interactivos Workshop we implemented the Biofeedback Cinema system in collaboration with Salud Lopez, dancer and choreographer." 
  • Gregory Hough: "My role in the biofeedback cinema project was to manipulate a camera image in real time using an OpenCV script written in python. Using this system the image was blurred based on the attention of the user as registered by the EEG device (Neurosky). Initially I built a prototype biofeedback cinema device in a PC environment to test the theory that was being applied to manipulate these parameters. This involved gathering data from the Neurosky to Python using the libraries provided by Mindwave. The metric chosen for this particular prototype was ‘attention’, which is a measurement of the mental focus of the participant. The OpenCV python script adjusted the blur so that as the participant’s attention increased the image captured by the camera become clearer. In addition, scripts that could alter the hue, brightness and saturation of the captured image were also written. Once this technique was confirmed to achieve our goal it was implemented onto a Raspberry Pi. This presented several engineering challenges. Initially I intended to capture the camera image using Raspberry Pi’s on-board camera system. However, OpenCV was not compatible with this camera and so alternative methods had to be investigated. First the image captured by the Raspberry Pi’s camera was converted to a numpy array that could be understood by OpenCV. The second was to install an alternative camera driver and use a standard webcam that was compatible OpenCV, which was used as it was the more efficient of the two methods. Another challenge was to read the attention data from the neurosky in python. The commercial libraries for Neurosky are not available for Raspberry Pi, necessitating the use of an alternative library developed by coders independent of neurosky. This library was poorly documented and required a considerable time to write a Python script that could read the desired data points. An additional issue was that the data was provided in a string format, whereas OpenCV required an integer, necessitating a conversion between datatypes. A latency is associated with the overall system. Several attempts to improve the overall efficiency of the script have been made, including implementing certain functions of the program as external Python modules stored in a library and reading the data from the neurosky using OSC. These attempts were not effective and were implemented into the final script, where a more linear approach was preferred to reduce complexity."
  • Salud Lopez: Salud Lopez colabora en el proyecto Biofeedback-cinema de Jessica Ann, en relación a su trabajo entrenamiento para pensadores en movimiento y la creación de danza-ficcion Parad is0 no hay billetes. LaboratorioSLD. 

    Día 1 64.000 pensamientos al dia. Diferentes estados mentales sue~nos, vigilias , coma (completar) , emiten distintas ondas cerebrales que se miden en frecuencias, estas frecuencias se representan en unos gráficos EGG a través una aplicación para el ordenador , en las EGG cada linea frecuencia tiene asignado un color diferente. Las frecuencias se miden en Hertzios que son el numero de oscilaciones por minuto. En el proyecto Biofeedback-cinema es un dispositivo que traduce estas ondas cerebrales emitidas por una persona, en movimientos de una cámara (enfoque , fundidos,apertura, posición , panorámica...) realizando un film como resultado de un lenguaje propio. 

    (Ver esquema de dispositivo). Las frecuencias u ondas detectadas son Delta, Theta, Alpha, low Beta, Midrage Beta, High Beta, low gamma,High GammaEn estos momentos se están desarrollando de un lado:

    - Nuevas posibilidades en las acciones de la cámara ( enfoque, parpadeo diafragma de la cámara...)

    - Entrenamiento en reconocer y controlar los diferentes estados mentales y el tipo de frecuencias emitidas. Elaborando un nuevo lenguaje entre humano-maquina, maquina-maquina, humano-humano, humano...

    En las siguientes fases se trataran las frecuencias sonoras relacionadas y otros mecanismos  y posibilidades de retroalimentacion  y apertura con el publico y el entorno. Este día se impartió una sesión de entrenamiento para pensadores en movimiento (En Pen Mov) adaptada a este proyecto. En la primera parte se realizaron los ejercicio previos habituales, cerrar los ojos, observación del interior, borrar malestar, escucha espacio externo visualización e imaginación espacios, disolución limites interior- exterior, solarizacion...

    Para después realizar dos ejercicios específicos con el fin de familiarizarnos con las ondas Alpha y Beta, negativo y positivo. 
    Las ondas Alfha estarían relacionada con los ejercicios previos como es el cerrar los ojos que se corresponde con una vigila tranquila o meditativa.
    El estado Beta que se corresponde con un vigilia en estado de atención. Para  facilitar la emisión de estas ondas Beta se realizaron las siguientes acciones:
    - reconocer el exterior y describirlo mentalmente, concebir opiniones e imaginar al respecto en el caso de Beta positivo. 
    Para la emisión de ondas Beta negativo que se identifica con estados de estrés y ansiedad, se propuso/
    - el aumento voluntario del ritmo cardíaco y respiratorio , 
    - la percepción forzada de limites y diferencias, lo que genero de manera automática opiniones contradictorias por parte de las personas que realizaban el entrenamiento.
    - Imagen y sensación de rigidez corporal, tras lo que se produjeron algunas deserciones.  
    - Finalizamos con un <<vuelta a la calma>>  mediante auto-masaje  y canalización energética 

    Día 2 El segundo día se comenzó a asignar palabras que en la actualidad relacionamos con las diferentes ondas y que las describen y posiblemente propician su aparición o desaparición infiriendo en el estado mental. Las palabras actúan como imágenes, símbolos y signos que generan mucha información al mismo tiempo percepciones, sensaciones y emociones. La acción de concentrar el pensamiento en una palabra seria similar a como seria escuchar un sonido de la misma frecuencia incluso imaginar un color gracias a la capacidad sinestesica* del pensamiento. 

    * Sinestesia (del griego συν- [syn-], ‘junto’, y αἰσθησία [aisthesía], ‘sensación’) es la asimilación conjunta o interferencia de varios tipos de sensaciones de diferentes sentidos en un mismo acto perceptivo

    Estas palabras , junto a otras acciones seleccionadas servirán para provocar el cambio de frecuencias y de estado mental.
    Para cada tipo de onda se seleccionaron las siguientes palabras:

    Delta (01-3 Hz)

    Profundo, hondo, ancho,bajo, grave, oscuro, penetrante, muy reservado, insondable, profundamente, fondo.
    Dormir sin suen~os , suen~o profundo.
    No REM
    Inconsciente, desmayado, maquinal, menor interacción.

    Theta (4-7 Hz)

    Intuitivo, presentativo
    Creativo,original,novel
    Recordar, llamar, hacer volver, retirar, destituir, reclamar, (verbos).
    retirada, aviso. 
    Fantasia, imaginacion, capricho, ensuen~o, irrealidad.
    Imaginario
    Suen~o, ilusion,ideal

    Alfha (8-7Hz )
    Consciente
    relaxed, tranquilo, sosegado, ecuánime, pero no somnoliento

    Low Beta (12- 15 Hz)

    SMR, antes, 
    relajado y concentrado
    integrado, de conjunto,armonioso,estable,sano, sin separación, continuado en un todo,compuesto.

    Midrage Beta (16-20 Hz) beta de gama media

    que piensa, pensante, inteligente, racional, serio.
    consciente de uno mismo y del entorno. ambiente, cercanías, contornos.

    High Beta 

    Alarmas,vigilancia,atención.

    Low Gamma (40-70 Hz)

    High Gamma ( 32-100 Hz)

    Este día estuvimos entrenando de manera aleatoria dejando fluir la corriente de pensamiento, con el captor y el panel de gráficos, para constatar la complejidad  ya que los valores de cada frecuencia no son valores absolutos y que emitimos varias frecuencias a la vez y de manera muy variable.

Día 3 El siguiente paso ha sido investigar sobre estudios que hablan del origen de estas frecuencias en las diferentes partes del cerebro al mismo tiempo que ver la relación de estas partes con otras partes del cuerpo y las diferentes funciones del organismo.  La electroencefalografia EGG es un excelente captor del factor temporal de las frecuencias cerebrales pero no detecta bien el origen de las las mismas.

Delta (01-3 o 4 Hz)
Estas ondas aparecen en estados de suen~o profundo o meditación avanzada y también en estado de alerta en momentos de situaciones concretas de peligro. Predominando las mismas en la infancia y en estados mentales anómalos. 
Existe una relación entre estas frecuencias y el funcionamiento del corazón. 
En temas de terapia, sincronizar estas ondas se considera que abren la puerta del inconsciente, permitiendo el acceso a esta información para hacerla consiente visualizándola y creando otras posibilidades.

Theta (4-7 o 8 Hz)

Relacionado con estados de relajación profunda, donde se dan momentos de máxima creatividad en estado de consciencia creativa, , donde las ideas surgen sin esfuerzo unificando fragmentos de memoria. Coincidiendo con la actividad cerebral que se produce en el estado previo al suen~o, las primeras fases.
Dentro del tipo de pensamiento estas emisión de ondas se asocian con el pasado y el recuerdo,  especialmente los recuerdos rechazados o no conscientes,como el de emociones fuertes, estados de shock que bloquean ciertas situaciones.
El origen de estas frecuencias en el cerebro son las zonas parietal y temporal en nin~os y donde se detecta la tensión emocional en adultos y en la interacción entre lóbulos temporal y frontal 
En temas de terapia se sincronizan estas ondas para entrar en  estados de hipnosis y  auto hipnosis con fines como la programación de objetivos, la reducción de stress, tratamiento de adicciones. Decidiendo o no el acceso a determinados recuerdos. 

Low Alfha (8 -7 o 13 Hz )

Estas ondas aparecen en un estado de relajación.
Cerrando los ojos.
Ejercitamos  la imaginación y observamos zonas de nuestro interior de las que no tenemos una consciencia clara y son informaciones en estado latente.
Son las ondas mas rítmicas y se originan en el Tálamo y el lóbulo occipital , también se observa actividad en la corteza visual en estado de reposo y en la corteza motora se aparece  con la reducción de movimiento e incluso con la intención del mismo 
En terapia se trabajan con estas ondas para obtener un estado de relajación, promover la desaparición de miedos, temores y preocupaciones , experimentado sensaciones de paz y bienestar en el organismo, también para activar el subconsciente.

Tags: 

  • biofeedback
  • algorithmic
  • affect
  • cinema
  • film
  • video
  • arduino
  • electronics
  • eeg
  • neuroprosthetic

Categories: 

  • Interactivos?

Start date: 

Monday, 3 November, 2014
Jessica Ann's picture
Document Multimedia | 14/11/2014 - 19:06 Posted by Jessica Ann | Nº of comments: 0
Jessica Ann's picture
Document of text | 13/11/2014 - 20:06 Posted by Jessica Ann | Nº of comments: 0
See attachment. 
Jessica Ann's picture
Posts | 13/11/2014 - 18:37 Posted by Jessica Ann | Nº of comments: 0
ATTENTION eSense
Jessica Ann's picture
Document Image | 13/11/2014 - 13:28 Posted by Jessica Ann | Nº of comments: 0
see attached image:)
Jessica Ann's picture
Document Image | 13/11/2014 - 12:26 Posted by Jessica Ann | Nº of comments: 0
See attached image.
  •  
  • 1 of 2
  • >
Jessica Ann's picture
Posts | Thu, 13/11/2014 - 18:37 Posted by Jessica Ann | Nº of comments: 0
ATTENTION eSense
Jessica Ann's picture
Posts | Tue, 11/11/2014 - 17:48 Posted by Jessica Ann | Nº of comments: 0
Anyone interested in experimental approaches to mutating video are welcome! Also, anyone interested in the following:
Jessica Ann's picture
Posts | Tue, 11/11/2014 - 17:46 Posted by Jessica Ann | Nº of comments: 0
Jet lag is settling in…send help! The questions portion of my biofeedback project was so helpful. Insights and recommendations were shared that I had not yet considered.
Jessica Ann's picture
Posts | Sun, 09/11/2014 - 06:43 Posted by Jessica Ann | Nº of comments: 0
Hi all! Looking forward to landing in Madrid this Tuesday ... I have prototyped a solid bluetooth connection between the Neurosky headset and arduino via my macbook.
Jessica Ann's picture
Document Multimedia | 14/11/2014 - 19:06 Posted by Jessica Ann | Nº of comments: 0
Jessica Ann's picture
Document of text | 13/11/2014 - 20:06 Posted by Jessica Ann | Nº of comments: 0
See attachment. 
Jessica Ann's picture
Document Image | 13/11/2014 - 13:28 Posted by Jessica Ann | Nº of comments: 0
see attached image:)
Jessica Ann's picture
Document Image | 13/11/2014 - 12:26 Posted by Jessica Ann | Nº of comments: 0
See attached image.
Jessica Ann's picture
Document of text | 13/11/2014 - 10:44 Posted by Jessica Ann | Nº of comments: 0
Attached are the slides from the project presentation. 

Promoters

Jessica Ann's picture
Jessica Ann
Gregory Hough's picture
Gregory Hough
Salud Lopez's picture
Salud Lopez
Pedro Peira's picture
Pedro Peira

Members

Luis Molina's picture
Luis Molina
Haris Hlorou's picture
Haris Hlorou
Pedro Peira's picture
Pedro Peira
Salud Lopez's picture
Salud Lopez
Chema Blanco's picture
Chema Blanco
Gregory Hough's picture
Gregory Hough