Ir al contenido

Subsistema · SUB-XR

Visor Meta Quest

Operación remota del robot en realidad mixta desde Meta Quest 3.

Validado
DisciplinasSoftware · XR / Unity · UX
EntradasVideo, telemetría, LiDAR (NUC, por ZMQ)
SalidasComandos de movimiento, manipulador y modos de percepción (ZMQ, puerto 5002)

La interfaz de operación es una aplicación Unity para Meta Quest 3. Desde ella, el operador ve el entorno del robot en realidad mixta —passthrough—, conduce la base móvil, maneja el manipulador y cambia los modos de percepción.

Todos los controles viven en un canvas world-space que flota frente al operador.

Nivel de replicación por parte
ParteNivelQué lo limita
Contrato ZMQ con la NUCReproducibleNada: puertos, tópicos y esquema de comandos están completos
Lógica de la aplicaciónDescritoLos 25 scripts están, pero sin escenas ni prefabs
Interfaz y controlesDescritoSin las escenas de Unity ni capturas del headset

La asimetría es deliberada y conviene entenderla antes de empezar: el protocolo está completo, la aplicación no. Con lo publicado aquí se puede escribir un cliente propio —en Unity, en Unreal o en un escritorio— que hable con el robot exactamente igual que este. Lo que no se puede es recompilar esta app concreta.

FuncionalidadEstado
Proyecto Unity compilado en Meta Quest 3Funcional
Stream de video RGB @ ~30 fpsVerificado
Panel LiDAR 2D (3 modos)Verificado
StatusPanel con telemetríaVerificado
Drive teleop desde joystickFuncional
Control de manipulador 3 GDL y gripperFuncional
LiDAR 3D — paredes y nube de puntosFuncional
Gemelo digital URDFMediano plazo