시각-언어 모델(VLM)은 장면을 묘사하고 질문에 답할 수 있지만, 실제로 신체를 제어하여 현실 세계의 작업을 수행할 수 있을까요? HumanCLAW는 물리적 제약이 있는 환경에서 VLM이 인간의 몸을 통해 행동할 수 있는지 평가합니다. 이 벤치마크는 행동 추론과 저수준 운동 제어를 분리합니다. 에이전트는 관찰하고, 결정하고, 행동하며, 피드백을 받지만, 행동은 물리적 세계에 의해 제약된 신체 움직임으로 실현됩니다. 분리된 동작 생성기가 각 호출을 1초 미만의 제로샷 신뢰성 미래 동작 청크로 실현합니다. 관찰-사고-행동 루프는 동적입니다. 고정된 계획을 따르기보다, 에이전트는 자신의 행동이 재구성하는 장면과 자신의 신체 사이의 공간적 관계에 지속적으로 적응합니다.
문제 설정
CLAW와 유사한 에이전트는 언어 목표를 기호 인터페이스를 통해 실행 가능하게 만듭니다. HumanCLAW는 인터페이스가 물리적 공간에서 전신일 때 동일한 에이전트 루프를 연구합니다. 에이전트는 여전히 관찰하고, 결정하고, 행동하며, 피드백을 받지만, 행동은 더 이상 명령으로 끝나지 않습니다. 즉, 신체 움직임으로 실현되고 물리적 세계에 의해 제약됩니다.
여기서 고정된 스킬 세트의 원자적 스킬과 연속 매개변수가 사용됩니다. 분리된 동작 생성기는 이 호출을 1초 미만의 제로샷 신뢰성 미래 동작 청크로 실현합니다.
이동-분리 물리 시뮬레이션
신체화된 행동 지능을 연구하는 또 다른 도전 과제는 행동 추론을 저수준 운동 제어에서 분리하는 방법입니다. 완전 동적 휴머노이드 시뮬레이션에서 장기 작업 실패는 운동 시스템에서 발생할 수 있습니다. 예를 들어, 어수선한 환경이나 계단에서 휴머노이드는 균형을 잃고 넘어져 에피소드가 조기 종료되어 행동 지능의 의미 있는 평가를 방해할 수 있습니다.
HumanCLAW 시뮬레이션에서 세계는 충돌, 마찰, 중력, 관절 개체, 이동 가능 개체를 포함한 강체 물리학을 따릅니다. 그러나 인간의 몸은 시뮬레이션된 관절 토크로 작동하지 않습니다. 대신 생성된 동작 시퀀스에서 파생된 등가 운동학적 속도로 구동됩니다. 즉, 에이전트는 계단을 밟을 때 균형 상실이나 불완전한 모터 추적으로 인해 실패하지 않지만, 여전히 환경과 물리적으로 상호 작용합니다. 벽이 몸을 막을 수 있고, 접촉이 이동 가능한 개체를 밀 수 있으며, 지지되지 않은 수직 운동은 중력과 접촉에 의해 제약됩니다.
회전 성분은 해당 접선 공간에서의 상대 회전으로 계산됩니다. 이러한 등가 속도는 휴머노이드의 유일한 작동 신호로 적용됩니다. 이전 수동-몸체 시뮬레이션 관행에 따라 시뮬레이터는 특정 주파수(Hz)로 실행되며, 수동 관절 강성 특정 강성 값을 사용하여 순응적 접촉 응답을 유지합니다.
이 반물리 설계를 통해 HumanCLAW는 벤치마크가 이동 제어기 실패에 의해 지배되지 않으면서 물리적 결과 하에서 행동 지능을 평가할 수 있습니다. 생성된 동작은 의도된 신체 움직임을 지정하고, 시뮬레이터는 해당 움직임이 물리적 세계와 어떻게 상호작용하는지 결정합니다. 결과적으로 벽에 부딪히거나, 물체를 방해하거나, 너무 일찍 멈추는 등의 실패는 행동 수준의 결정에 기인하는 반면, 저수준 균형 제어로 인한 실패는 대부분 배제됩니다.
평가 지표
VLM은 네 가지 차원에서 평가됩니다: 고수준 작업 성공, 저수준 행동 품질, 신체 인식 및 물리적 방해, 계산 비용.
행동 품질. VLM 에이전트는 운동 기술을 부드럽고 일관된 행동으로 구성해야 합니다. 좋지 않은 기술 조정은 잦은 좌우 회전 교대와 같은 불안정한 움직임을 초래할 수 있습니다. 행동의 부드러움은 운동 저크(운동학적 움직임의 3차 미분)로 측정됩니다.
신체 인식 및 물리적 방해. 신체 인식은 신체화된 행동 지능의 핵심 구성 요소입니다. 신체 인식 부족은 복도를 지나갈 때 벽에 긁히거나 꽃병을 넘어뜨리는 등 환경과의 예상치 못한 상호작용을 유발할 수 있습니다. 충돌이 발생하는 에피소드당 평균 단계 수를 Colls로 보고합니다. 환경 방해는 인간 에이전트에 의해 직접 또는 간접적으로 이동된 이동 가능한 개체의 평균 개수(#Dtb)와 방해된 각 개체의 평균 이동 거리(dDtb)로 측정됩니다.
비용. 에이전트가 에피소드당 소비한 평균 토큰 수(입력 및 출력 토큰 포함)를 계산 비용의 척도로 보고합니다.
벤치마크
9개의 기성 VLM이 고정된 의사 결정자로 평가되며, 전체 검증 결과가 보고됩니다.
신체화된 작업 및 상호작용 환경
기존의 신체화된 환경은 종종 범용 MLLM에 부적합합니다. 프로그램 기반 환경은 사전 정의된 전환을 통해 행동을 해결하므로 신체 움직임이나 물리적 결과에 대한 추론이 거의 필요하지 않습니다. 완전 물리 기반 시뮬레이터는 고주파 연속 제어를 필요로 하며 공간적 결정을 운동 실행과 얽히게 합니다. HumanCLAW는 중간 지점을 찾습니다. 고정된 MLLM은 자기 중심적 관찰을 기반으로 매개변수화된 전신 운동 기술을 선택하고, 동작 생성 모델을 사용하여 자동 회귀적으로 연속적인 장기 행동을 생성합니다. 반물리 실행은 충돌, 접촉 및 물체 방해를 보존하면서 저수준 제어를 추상화하여 기본적인 신체화된 상호작용을 가능하게 합니다.
논의
이러한 격차는 이러한 모델이 구축되는 방식에 기인합니다. 시각적 질문 응답으로 훈련된 VLM은 보는 것을 설명하는 법을 배우지만, 느끼는 것을 배우지는 않습니다. 즉, 자신의 팔다리를 단지 더 많은 픽셀로 취급하고, 신체를 통해 행동하는 데 필요한 고유 감각 및 결과 예측 모델을 형성하지 않습니다. 그 결과 유령처럼 행동합니다. 세상에 대해 유창하지만 자신에 대해서는 무지합니다. 이 격차를 해소하려면 더 선명한 인식이나 더 긴 컨텍스트 창 이상이 필요할 것입니다. 지속적인 공간 기억, 조정된 종료, 그리고 각 행동이 생성하는 공간적 관계와 함께 신체의 내부 모델이 필요합니다.
자주 묻는 질문
HumanCLAW는 다른 신체화된 AI 벤치마크와 어떻게 다른가요? HumanCLAW는 반물리 시뮬레이션을 사용하여 행동 추론을 저수준 운동 제어에서 분리하므로 작업 실패가 균형이나 모터 추적 오류보다는 행동 수준 결정에 기인합니다.
반물리 시뮬레이션은 어떻게 작동하나요? 인간의 몸은 관절 토크가 아닌 생성된 동작 시퀀스의 등가 운동학적 속도로 구동되는 반면, 환경은 충돌, 마찰, 중력을 포함한 완전 강체 물리학을 따릅니다.
VLM 에이전트를 평가하는 데 어떤 지표가 사용되나요? 에이전트는 작업 성공, 행동 품질(운동 저크), 신체 인식(충돌 빈도 및 물체 방해), 계산 비용(토큰 소비)으로 평가됩니다.
현재 VLM의 주요 한계는 무엇인가요? 현재 VLM은 자신의 신체를 고유 감각 모델로 형성하는 대신 픽셀로 취급하여 "세상에는 유창하지만 자신에 대해서는 무지"합니다.