XBot-Omni adopta una arquitectura Thinker–Talker–Actor para conectar la comprensión multimodal con la generación de respuestas corpóreas. A partir de texto, imágenes, audio, vídeo e historial de diálogo, Thinker interpreta la interacción y formula una respuesta contextualizada. Talker convierte la respuesta en habla en streaming, mientras que Actor genera los movimientos corporales y las expresiones faciales que la acompañan. En conjunto, los tres componentes organizan la respuesta a una interacción, desde las observaciones recibidas hasta la expresión verbal y no verbal.
Descripción general
La arquitectura separa la formulación de la respuesta de la generación específica de cada modalidad, a la vez que mantiene la coordinación entre las modalidades de salida. El habla se desarrolla como una secuencia acústica, el movimiento corporal evoluciona continuamente a partir de la pose actual y las expresiones faciales cambian a lo largo de la respuesta. Estas diferencias exigen que los comportamientos generados compartan un contexto comunicativo y, al mismo tiempo, estén coordinados con la progresión del habla.
Para lograrlo, Actor aprovecha las representaciones nativas de Thinker, que aportan el contexto de la interacción y la intención comunicativa, y los estados nativos de Talker, que permiten el condicionamiento dependiente del habla. Esta conexión hace que la comprensión multimodal empleada para formular una respuesta también guíe su expresión corporal. El señalamiento de objetos es una aplicación: el referente, determinado por la escena, se incorpora a los requisitos de acción que se transmiten a Actor.
Talker: generación de habla en streaming
Talker sigue la arquitectura de generación de habla de Qwen3.5-Omni y convierte las respuestas generadas por Thinker en habla en streaming. Consta de una columna vertebral temporal híbrida y un predictor de profundidad. La columna vertebral utiliza un diseño híbrido de mezcla de expertos para modelar la progresión de los tokens de habla, mientras que el predictor de profundidad realiza predicciones de múltiples tokens sobre los libros de códigos residuales de cada trama, condicionadas por los estados de la columna vertebral.
A continuación, estos tokens se decodifican en formas de onda acústicas mediante un decodificador de códec de voz, lo que permite generar habla de forma incremental sin necesidad de sintetizar de antemano la respuesta completa.
Generación no verbal coordinada a partir de representaciones nativas
Actor genera el movimiento corporal y la expresión facial como componentes coordinados de una respuesta corpórea. Los estados nativos de Thinker contienen el contexto multimodal y la intención comunicativa utilizados para formular esa respuesta, mientras que los estados nativos de Talker aportan características del habla en evolución e indicadores de progreso.
La generación corporal combina estas entradas con requisitos de acción explícitos, condiciones temporales e historial de movimiento, lo que permite que el contexto de la interacción determine el significado expresado por el movimiento. La generación facial organiza las representaciones compartidas de la respuesta en condiciones por fragmentos para producir una expresión continua. Ambos flujos de salida se sitúan en una línea temporal común del habla, que coordina los gestos corporales y los cambios faciales entre sí y con el contenido hablado correspondiente.
Generador de movimiento
En cada paso de movimiento, la generación se condiciona al historial de habla adaptado, los eventos semánticos activos y sus condiciones temporales, y el movimiento ya producido.
Los códigos generados se decodifican en movimiento corporal articulado y también conforman el historial para las predicciones posteriores. El estado temporal persiste entre pasos, lo que permite que un nuevo requisito de acción entre en vigor durante un movimiento en curso. Las salidas del códec de la parte superior e inferior del cuerpo reciben marcas de tiempo de movimiento en la línea temporal de la respuesta, vinculando la secuencia generada con su presentación final junto con el habla y la expresión facial.
Para ejecutar movimientos de señalamiento específicos del robot, se pasan el objetivo espacial y el movimiento de referencia generado a un adaptador cinemático. Este transforma el objetivo al marco de coordenadas base del robot y utiliza la postura de referencia para guiar la cinemática inversa, alineando la dirección del señalamiento con el objetivo y manteniendo la continuidad del movimiento. La configuración específica de la plataforma se describe en la Sección 4.4.
Generación de expresiones faciales
La rama facial utiliza un Chunk Transformer para organizar la semántica de la respuesta y las características del habla en condiciones temporales, seguido de un generador de flujo condicional.
Datos de interacción corpórea a gran escala y de alta calidad
Entrenar XBot-Omni para interacciones corpóreas en el mundo real requiere datos que recojan no solo información audiovisual abundante, sino también comportamientos humanos detallados, intenciones subyacentes y dependencias temporales entre modalidades. Sin embargo, los conjuntos de datos audiovisuales existentes se centran principalmente en clips breves o eventos aislados y suelen carecer de la continuidad conductual y las dinámicas de interacción propias de situaciones del mundo real. Por su parte, los conjuntos de datos de interacción corpórea suelen hacer hincapié en el reconocimiento de acciones y la ejecución de tareas, con una cobertura limitada de las conversaciones naturales, las interacciones sociales y los comportamientos de respuesta en tiempo real.
Para cerrar estas brechas, el objetivo es crear un conjunto de datos a gran escala que combine riqueza multimodal, continuidad temporal y diversidad de interacciones corpóreas, con el fin de ayudar a los modelos a aprender a percibir, comprender y responder a entornos dinámicos del mundo real.
Entrenamiento de Thinker
El posentrenamiento de Thinker sigue un proceso de tres etapas, diseñado para desarrollar e integrar progresivamente capacidades de interacción multimodal. Primero, el ajuste fino supervisado establece una base unificada para la percepción multimodal, el razonamiento y la comprensión de interacciones. Sin embargo, las distintas tareas de interacción corpórea requieren capacidades de razonamiento especializadas y objetivos de optimización específicos para cada tarea.
Por ello, se entrenan mediante aprendizaje por refuerzo varias políticas expertas específicas de cada dominio, lo que permite que cada experto se especialice en el dominio de tarea asignado. Finalmente, la destilación on-policy con varios docentes consolida estas capacidades especializadas en una única política estudiante.
Entrenamiento de percepción a acción
El entrenamiento de percepción a acción se basa en Thinker y Actor para conectar la comprensión multimodal con la generación de respuestas corpóreas. Esta etapa amplía la interfaz de eventos semánticos aprendida con condiciones específicas para cada tarea, lo que permite que el contexto de la interacción guíe tanto lo que expresa un gesto como la forma en que se desarrolla junto con el habla. El Entrenamiento de anclaje espacial y señalamiento (SGPT) se emplea como aplicación práctica para conectar la identificación visual de un objetivo con un gesto completo, dirigido espacialmente y realizado durante la respuesta en curso.
Los pares supervisados de observación e instrucción establecen la correspondencia entre las expresiones referenciales y los objetivos visuales. La localización del objetivo se combina con la estimación de profundidad y el procesamiento geométrico para obtener una posición métrica, que luego se transforma al marco centrado en el cuerpo de Actor.
Integración del sistema
La integración del sistema sigue un programa de entrenamiento por etapas para combinar Thinker y Talker congelados con Actor entrenado en la generación de respuestas. Tras la destilación on-policy con varios docentes, Thinker consolidado y Talker se congelan, y el entrenamiento de Actor continúa con este par de modelos previos fijo. Este orden establece las representaciones semánticas y de generación del habla que condicionan a Actor, y evita modificar sus modelos de origen durante el entrenamiento de Actor. Los expertos especializados se utilizan únicamente durante el entrenamiento de Thinker; el sistema integrado utiliza Thinker consolidado como una única política.
Actor se entrena a través de sus interfaces semántica y de estados del habla, mientras que la vía de respuesta nativa Thinker–Talker permanece fija. La etapa de SGPT condicionada por coordenadas sigue la misma configuración de entrenamiento del lado de Actor: amplía los eventos semánticos con objetivos espaciales y conserva la vía de respuesta nativa fija.
Durante la inferencia, el anclaje visual proporciona los parámetros del objetivo y Actor los combina con la semántica de la respuesta y las características del habla en evolución mediante su interfaz de eventos compartida. Esta vía lleva el contexto utilizado para comprender y formular una respuesta hasta su realización corporal; el señalamiento de objetos es una aplicación concreta. La conexión se aprende del lado de Actor, mientras Thinker y Talker permanecen fijos.
Preguntas frecuentes
¿Cuáles son los tres componentes de XBot-Omni? Thinker interpreta la entrada multimodal y formula una respuesta, Talker genera habla en streaming y Actor produce movimientos corporales y expresiones faciales.
¿Cómo coordina XBot-Omni el habla y el comportamiento no verbal? Actor utiliza las representaciones de Thinker y los estados de Talker, y sitúa las salidas corporales y faciales en una línea temporal común del habla.
¿Cómo genera el sistema movimientos de señalamiento del robot? Un adaptador cinemático transforma el objetivo espacial al marco de coordenadas base del robot y utiliza la postura de referencia para guiar la cinemática inversa, manteniendo la continuidad del movimiento.
¿Cómo se entrena el sistema integrado? Una vez consolidados Thinker y Talker, ambos se congelan mientras Actor se entrena a través de sus interfaces semántica y de estados del habla.