XBot-Omni는 사고–발화–행동 아키텍처를 채택해 멀티모달 이해와 체화된 응답 생성을 연결합니다. 텍스트, 이미지, 음성, 영상과 대화 이력이 주어지면 사고 모듈이 상호작용을 해석하고 맥락에 맞는 응답을 구성합니다. 발화 모듈은 응답을 스트리밍 음성으로 구현하고, 행동 모듈은 이에 수반되는 몸동작과 표정을 생성합니다. 세 구성 요소는 입력된 관찰을 언어적·비언어적 표현으로 이어지는 하나의 상호작용 응답으로 구성합니다.
개요
이 아키텍처는 응답 구성과 양식별 생성을 분리하면서도 여러 출력 양식 간의 조율을 유지합니다. 음성은 음향 시퀀스로 전개되고, 몸동작은 현재 자세에서 연속적으로 변화하며, 표정은 응답 내내 달라집니다. 이러한 차이 때문에 생성된 행동은 공통된 의사소통 맥락을 공유하는 동시에 음성의 진행에 맞춰 조율되어야 합니다.
이를 위해 행동 모듈은 상호작용 맥락과 의사소통 의도를 담은 사고 모듈의 고유 표현, 그리고 음성에 따라 달라지는 조건을 제공하는 발화 모듈의 고유 상태를 활용합니다. 이 연결을 통해 응답을 구성하는 데 쓰인 멀티모달 이해가 몸짓 표현도 이끌 수 있습니다. 물체 가리키기는 그 한 가지 응용 사례입니다. 장면에 따라 달라지는 지시 대상이 행동 모듈에 전달되는 동작 요구 사항에 포함됩니다.
발화 모듈: 스트리밍 음성 생성
발화 모듈은 Qwen3.5-Omni의 음성 생성 아키텍처를 따라 사고 모듈이 생성한 응답을 스트리밍 음성으로 변환합니다. 하이브리드 시간 백본과 깊이 예측기로 구성됩니다. 백본은 하이브리드 전문가 혼합 설계를 사용해 음성 토큰의 진행을 모델링하고, 깊이 예측기는 백본 상태를 조건으로 각 프레임의 잔차 코드북에 대해 다중 토큰 예측을 수행합니다.
이후 이 토큰은 음성 코덱 디코더를 통해 음향 파형으로 디코딩되므로, 응답 전체를 미리 합성하지 않고도 음성을 점진적으로 생성할 수 있습니다.
고유 표현을 활용한 비언어적 행동의 조율 생성
행동 모듈은 체화된 응답의 구성 요소로 몸동작과 표정을 조율해 생성합니다. 사고 모듈의 고유 상태에는 응답을 구성하는 데 쓰이는 멀티모달 맥락과 의사소통 의도가 담기며, 발화 모듈의 고유 상태는 변화하는 음성 특징과 진행 단서를 제공합니다.
몸동작 생성은 이러한 입력을 명시적인 동작 요구 사항, 시간 조건, 동작 이력과 결합해 상호작용 맥락이 움직임으로 표현되는 의미에 반영되도록 합니다. 표정 생성은 공유된 응답 표현을 청크 단위 조건으로 구성해 연속적인 표정을 만들어냅니다. 두 출력 스트림은 공통 음성 타임라인에 배치되어 몸짓과 표정의 변화를 서로 조율하고, 관련 음성 내용과도 동기화합니다.
동작 생성기
각 동작 단계에서 생성은 조정된 음성 이력, 활성화된 의미 이벤트와 그 시간 조건, 그리고 이미 생성된 동작을 조건으로 합니다.
생성된 코드는 관절이 움직이는 몸동작으로 디코딩되며 이후 예측을 위한 이력으로도 사용됩니다. 시간 상태는 단계 간에 유지되므로 진행 중인 움직임에 새 동작 요구 사항을 반영할 수 있습니다. 상체 및 하체 코덱 출력에는 응답 타임라인상의 동작 타임스탬프가 부여되어, 생성 시퀀스가 음성 및 표정과 함께 최종적으로 제시될 수 있도록 연결됩니다.
로봇별 포인팅 동작을 실행할 때는 공간 목표와 생성된 기준 동작을 운동학 어댑터에 전달합니다. 어댑터는 목표를 로봇의 베이스 좌표계로 변환하고 기준 자세를 이용해 역운동학을 유도하여, 동작의 연속성을 유지하면서 포인팅 방향이 목표와 일치하도록 합니다. 플랫폼별 구성은 4.4절에 설명되어 있습니다.
표정 생성
표정 분기는 청크 트랜스포머를 사용해 응답의 의미와 음성 특징을 시간 조건으로 구성한 다음, 조건부 플로 생성기를 적용합니다.
대규모 고품질 체화 상호작용 데이터
실제 환경의 체화 상호작용을 위해 XBot-Omni를 학습하려면 풍부한 시청각 정보뿐 아니라 세밀한 인간 행동, 그 이면의 의도, 여러 양식에 걸친 시간적 의존성까지 포착하는 데이터가 필요합니다. 그러나 기존 시청각 데이터셋은 주로 짧은 클립이나 개별 사건에 초점을 맞춰, 실제 환경의 연속적인 행동과 상호작용 역학을 담지 못하는 경우가 많습니다. 한편 체화 데이터셋은 대체로 행동 인식과 작업 수행을 강조하며, 자연스러운 대화, 사회적 상호작용, 실시간 응답 행동은 제한적으로 다룹니다.
이러한 간극을 메우기 위해 멀티모달 정보의 풍부함, 시간적 연속성, 다양한 체화 상호작용을 결합한 대규모 데이터셋을 구축하고자 합니다. 이를 통해 모델이 역동적인 실제 환경을 지각하고 이해하며 이에 응답하도록 학습할 수 있습니다.
사고 모듈 학습
사고 모듈의 사후 학습은 멀티모달 상호작용 역량을 단계적으로 개발하고 통합하도록 설계된 3단계 파이프라인을 따릅니다. 먼저 지도 미세 조정을 통해 멀티모달 지각, 추론, 상호작용 이해를 위한 통합 기반을 마련합니다. 하지만 체화 상호작용 작업마다 특화된 추론 역량과 작업별 최적화 목표가 필요합니다.
이에 따라 여러 도메인별 전문가 정책을 강화 학습으로 훈련해 각 전문가가 지정된 작업 영역에 특화되도록 합니다. 마지막으로 다중 교사 온폴리시 증류를 통해 이러한 특화 역량을 단일 학생 정책으로 통합합니다.
지각-행동 학습
지각-행동 학습은 사고 모듈과 행동 모듈을 기반으로 멀티모달 이해와 체화된 응답 생성을 연결합니다. 이 단계에서는 학습된 의미 이벤트 인터페이스를 작업별 조건으로 확장해 상호작용 맥락이 몸짓의 표현 내용과 음성에 맞춰 전개되는 방식 모두를 이끌도록 합니다. 공간 그라운딩 및 포인팅 학습(SGPT)은 시각적 목표 식별을 진행 중인 응답 안에서 공간 방향을 갖춘 완전한 몸짓으로 연결하는 실제 응용 사례입니다.
지도 학습용 관찰–지시 쌍을 통해 지시 표현과 시각적 목표 간의 대응 관계를 학습합니다. 목표 위치 추정에 깊이 추정과 기하 처리를 결합해 미터 단위 좌표를 구한 뒤, 이를 행동 모듈의 신체 중심 좌표계로 변환합니다.
시스템 통합
시스템 통합은 단계별 학습 일정을 따라 고정된 사고 모듈 및 발화 모듈과 학습된 행동 모듈을 결합해 응답을 생성합니다. 다중 교사 온폴리시 증류 후에는 통합된 사고 모듈과 발화 모듈을 고정하고, 이 상위 모델 쌍을 변경하지 않은 채 행동 모듈을 학습합니다. 이러한 순서는 행동 모듈의 조건으로 사용되는 의미 표현과 음성 생성 표현을 확립하며, 행동 모듈 학습 중 원천 모델이 변경되는 것을 방지합니다. 특화된 전문가들은 사고 모듈 학습에만 사용하며, 통합 시스템은 단일 정책인 통합 사고 모듈을 사용합니다.
행동 모듈은 의미 및 음성 상태 인터페이스를 통해 학습되는 한편, 기본 사고–발화 응답 경로는 고정된 상태로 유지됩니다. SGPT의 좌표 조건 학습 단계도 동일한 행동 모듈 측 학습 방식을 따릅니다. 공간 목표로 의미 이벤트를 확장하되, 고정된 기본 응답 경로는 그대로 유지합니다.
추론 시에는 시각적 그라운딩을 통해 목표 매개변수를 제공하고, 행동 모듈은 공유 이벤트 인터페이스를 통해 이를 응답 의미 및 변화하는 음성 특징과 결합합니다. 이 경로는 응답을 이해하고 구성하는 데 쓰인 맥락을 몸동작으로 구현하며, 물체 가리키기는 그 구체적인 응용 사례입니다. 상위 사고 모듈과 발화 모듈은 고정된 상태로 유지하고, 행동 모듈 측에서 이 연결을 학습합니다.
자주 묻는 질문
XBot-Omni의 세 가지 구성 요소는 무엇인가요? 사고 모듈은 멀티모달 입력을 해석해 응답을 구성하고, 발화 모듈은 스트리밍 음성을 생성하며, 행동 모듈은 몸동작과 표정을 만들어냅니다.
XBot-Omni는 음성과 비언어적 행동을 어떻게 조율하나요? 행동 모듈은 사고 모듈의 표현과 발화 모듈의 상태를 활용하고, 몸동작과 표정 출력을 공통 음성 타임라인에 배치합니다.
시스템은 로봇의 포인팅 동작을 어떻게 생성하나요? 운동학 어댑터가 공간 목표를 로봇의 베이스 좌표계로 변환하고 기준 자세를 사용해 역운동학을 유도함으로써 동작의 연속성을 유지합니다.
통합 시스템은 어떻게 학습하나요? 사고 모듈과 발화 모듈을 통합한 뒤 고정하고, 행동 모듈은 이들의 의미 및 음성 상태 인터페이스를 통해 학습합니다.