Meta Quest 3
El Meta Quest 3 es la interfaz de usuario de Remote Hands. Desde el visor, el operador ve el entorno del robot, lo conduce, maneja el manipulador y elige qué datos de los sensores quiere recibir.
Sinopsis
Sección titulada «Sinopsis»Una aplicación Unity para Meta Quest 3 en realidad mixta: el operador ve su entorno real por passthrough, con los controles superpuestos. Todos viven en un canvas world-space que flota frente a él, y se usan apuntando con los controladores del visor.
Cómo funciona
Sección titulada «Cómo funciona»El canvas agrupa tres paneles:
| Panel | Función |
|---|---|
| Izquierdo | Estado de conexión, controles de cámara, parada de emergencia |
| Central | Stream de video principal y grid LiDAR 2D |
| Derecho | Sliders de manipulador y gripper, rotación de cámara |
La interfaz pide a la NUC solo los datos que está mostrando: los streams que nadie tiene abierto no se transmiten.
Para mover el robot hay tres modos exclusivos, y solo uno puede estar activo a la vez:
| Modo | Qué habilita | Qué arma |
|---|---|---|
| Mobile | Conducción con el joystick derecho | Tracción |
| Manip | Sliders de manipulador y gripper | CL57T |
| Base | Rotación del brazo | — |
Al desactivar todos los modos, la interfaz envía stop_all y
master_disarm.
Conexiones
Sección titulada «Conexiones»El visor habla solo con la NUC, por WiFi. Cada tipo de dato viaja por su propio puerto ZeroMQ.
- Meta Quest 3Unity · AsyncZMQ (NetMQ)
- ZMQ por WiFiMeta Quest 3 → NUC: 5002 comandos JSONNUC → Meta Quest 3: 5555 video · 5001 estado · 5007 paredes y puntos
NUCcoordinador · Python 3.12
Los comandos que salen por el puerto 5002 se envían varias veces seguidas,
con unos milisegundos de separación: un suscriptor de ZeroMQ que acaba de
conectarse pierde los primeros mensajes, y repetir el comando asegura que al
menos una copia llegue. El detalle de cada puerto está en Middleware
ZMQ.
Aplicación
Sección titulada «Aplicación»Lo publicado del proyecto Unity son sus 25 scripts de C#, completos, y el contrato con la NUC. No están las escenas ni los prefabs, así que los scripts explican la lógica y el protocolo pero no bastan para recompilar esta app. Con el contrato sí se puede escribir un cliente propio que hable con el robot igual que este.
- Interfaz y controles: cada panel, la conducción, el manipulador y el feedback háptico y de audio.
- Unity y comunicación ZMQ: paquetes, endpoints, configuración por defecto y los scripts.
Prueba desde tu PC
Sección titulada «Prueba desde tu PC»Para probar la aplicación sin el robot, una PC puede hacerse pasar por la
NUC. Este script abre los mismos puertos que el coordinador: publica un
video de prueba en el 5555 y muestra cada comando que el visor envía por
el 5002.
- Conecta la PC y el visor a la misma red WiFi.
- Instala las dependencias:
pip install pyzmq numpy opencv-python. - Corre el script, que imprime la IP de la PC:
python nuc_simulada.py- En el visor, escribe esa IP como IP de la NUC.
Archivos
Archivo
NUC simulada — nuc_simulada.pySi el panel central muestra barras de color en movimiento con la hora, el video llega. Al mover los controles, en la consola aparece cada comando, por ejemplo:
[12:04:31] cmd {"type": "drive_cmd", "v": 0.42, "w": 0.0, "enabled": true}Si Windows pregunta por el firewall, permite las conexiones de Python en redes privadas.