Visuales Reactivos al Audio y Generativos: TouchDesigner, Notch y Resolume

Gráficos en Tiempo Real frente a Clips Pre-renderizados

Aunque la reproducción de videoclips en bucle (loops) codificados en DXV3 o HAP sigue siendo la columna vertebral de muchas sesiones de VJing, el estándar actual en escenarios de vanguardia es el uso de gráficos reactivos y generativos en tiempo real.

A diferencia de los archivos pre-renderizados en formato de archivo rígido, los entornos generativos no tienen una duración fija ni se repiten jamás exactamente igual: calculan cada fotograma en vivo mediante algoritmos matemáticos, sombreadores GLSL y datos extraídos de la música en tiempo real.

---

Análisis de Audio: Extracción Espectral mediante FFT

Para que un motor gráfico reaccione de forma orgánica a la música, es preciso capturar la señal de audio y extraer sus parámetros mediante técnicas de procesamiento digital de señales (DSP).

1. Transformada Rápida de Fourier (FFT)

La FFT descompone la señal de audio de entrada en un espectro de bandas de frecuencia discretas. Esto permite separar el espectro en tres rangos principales de control:

• Low Pass Filter (Sub-bass / Bass: 20 Hz - 150 Hz): Reservado para extraer la energía del bombo (kick) y el bajo, utilizándolos como disparadores de impacto visual, impulsos de escala o de deformación de malla 3D.
• Band Pass Filter (Mids: 300 Hz - 3000 Hz): Capta las frecuencias vocales y sintéticas para modular la intensidad cromática o la turbulencia de sistemas de partículas.
• High Pass Filter (Highs / Air: 5000 Hz - 20.000 Hz): Aísla los charles (hi-hats), cajas y platos para controlar la rotación rápida, destellos (flashes) o emisión de ruido espectral.

2. Detección de Envolventes RMS y Peak Followers

• RMS (Root Mean Square): Mide el nivel de energía continua de la música (volumen percibido), ideal para controlar la luminosidad ambiental o el campo de visión de la cámara virtual (Field of View).
• Peak Followers (Seguidores de Pico): Detectan transitorios rítmicos bruscos, convirtiéndolos en impulsos (Triggers) que decaen según un filtro de amortiguación ajustable (Lag / Attack & Release).

---

Plataformas de Desarrollo Generativo: TouchDesigner y Notch

                        ┌────────────────────────────────────────┐
                        │   Entrada de Audio / Señal de Control  │
                        └───────────────────┬────────────────────┘
                                            │
               ┌────────────────────────────┴────────────────────────────┐
               ▼                                                         ▼
    [ TouchDesigner (CHOPs) ]                                 [ Notch (VFX Blocks) ]
    ├── TOPs (Texturas GPU)                                   ├── Shaders 3D en Vivo
    ├── SOPs (Geometría 3D)                                   ├── Sistemas de Partículas GPU
    └── MATs (Materiales PBR)                                 └── Renderizado Raytracing
               │                                                         │
               └────────────────────────────┬────────────────────────────┘
                                            │
                       (Spout / Syphon / NDI - Latencia Zero)
                                            ▼
                       [ Resolume Arena (Advanced Output LED) ]

1. TouchDesigner (Derivative)

Es la plataforma líder de programación visual basada en nodos para la creación de sistemas interactivos en directo.

• Arquitectura de Operadores:
  • CHOPs (Channel Operators): Procesadores de señales numéricas y audio en tiempo real.
  • TOPs (Texture Operators): Operadores de procesamiento de imagen 2D acelerados por GPU.
  • SOPs (Surface Operators): Generadores y manipuladores de geometría y mallas 3D.
  • MATs (Materials): Asignación de materiales de sombreado (PBR, Phong, GLSL Custom Shaders).

2. Notch (Notch VFX)

Es un motor de gráficos 3D en tiempo real diseñado específicamente para diseñadores visuales de espectáculos. Se compila en pequeños módulos denominados Notch Blocks que pueden cargarse directamente como efectos dentro de Resolume Arena, Disguise o TouchDesigner.

• Sistemas de Partículas masivos en GPU: Simulación de millones de partículas interactuando con campos de fuerza, gravedad y campos de volumen reactivos a la música.
• Raytracing e Iluminación Global en Tiempo Real: Renderizado fotorrealista de reflejos y cáusticas directamente en el escenario.

---

Intercambio de Vídeo Inter-App: Spout vs Syphon vs NDI

Cuando se generan gráficos en TouchDesigner o Notch, la señal final debe enviarse habitualmente a Resolume Arena para su mezclado final, mapping o recorte de capas. Para ello se emplean protocolos de streaming de vídeo de ultra-baja latencia:

1. Spout (Windows)

• Mecanismo: Utiliza memoria compartida de la textura en VRAM mediante las APIs DirectX 11/12 u OpenGL.
• Latencia: 0 Fotogramas (Cero latencia).
• Ancho de Banda: Ilimitado por hardware. No consume tráfico de red ni CPU.

2. Syphon (macOS)

• Mecanismo: Utiliza el servidor de la GPU de macOS (Metal / IOSurface) para compartir cuadros entre aplicaciones.
• Latencia: 0 Fotogramas.

3. NDI (Network Device Interface by Vizrt / NewTek)

• Mecanismo: Comprime la señal de vídeo mediante códecs de bajísima latencia y la transmite como paquetes UDP por la red local Ethernet LAN.
• Latencia: 1 a 2 fotogramas (16 - 32 ms).
• Caso de Uso: Ideal para enviar la señal visual desde un ordenador potente de renderizado en el backstage hacia el portátil de VJ en el puesto de FOH.