Visual 데이터에서 객체 기능 이해를 위한 기초 모델
본 논문에서는 AFUN(Affordance Foundation Model)을 소개합니다. AFUN은 Visual 데이터로부터 객체 기능에 대한 통합된 표현을 학습하는 기초 모델입니다. 이 모델은 고정된 VLM(Visual-Language Model)과 학습 가능한 MetaQuery 토큰을 활용하여 작업 관련 특징을 추출하고, 이를 통해 기능 분할 마스크와 미래 운동 궤적을 예측합니다. 우리는 MetaQuery 인터페이스를 분할 기초 모델에 점진적으로 정렬하고, 신뢰할 수 있는 작업 조건부 기능 분할을 학습한 후, 운동 예측을 미세 조정하는 3단계 학습 방식을 제안합니다. 모델은 여러 로봇 상호작용 영역을 포함하는 새로운 대규모 기능 데이터셋으로 학습됩니다. 실험 결과는 AFUN이 다양한 조작 작업에 일반화되며, 분할 정확도와 운동 예측 품질 모두에서 이전 기능 탐지 방법을 능가함을 보여줍니다.
네트워크 아키텍처
MetaQuery 접근 방식은 고정된 VLM과 하류 모델을 연결하는 인터페이스 역할을 합니다. 소수의 학습 가능한 특수 토큰이 VLM 입력 프롬프트에 추가되어 트랜스포머를 통해 처리됩니다. VLM 최종 레이어의 은닉 상태는 하류 모델을 위한 간결한 조건화 특징을 제공합니다. 이 접근 방식은 세부적인 Visual 조건을 추출하고 추론 능력을 이미지 편집과 같은 다중 모드 생성 작업으로 전이할 수 있습니다.
학습 방식
전체 모델을 직접 학습하는 것은 불안정합니다. 무작위로 초기화된 MetaQuery 토큰은 분할 모델에 대한 열악한 조건화 신호를 제공하며, 노이즈가 있는 마스크 예측은 운동 지도를 모호하게 만듭니다. 따라서 우리는 모델을 세 단계로 학습합니다:
- 1단계: MetaQuery 인터페이스를 분할 기초 모델과 정렬
- 2단계: 신뢰할 수 있는 작업 조건부 기능 분할 학습
- 3단계: 모델이 분할 예측에서 이미 강건해졌을 때 운동 예측 미세 조정
사전 학습된 사전 정보(Qwen-VL, 분할 모델, 운동 예측 모델 등)는 학습 내내 고정됩니다.
교차 데이터셋 전처리
데이터 전처리 파이프라인은 동일한 처리 로직과 구조를 공유하는 소스별 어댑터를 중심으로 구축됩니다. 각 어댑터는 관찰/접촉 프레임, RGB-D 데이터, 작업 언어, 카메라 캘리브레이션, 비디오 구간 등 동일한 구간 수준 스키마를 작성합니다. 차이점은 이러한 필드가 각 원시 데이터셋에서 어떻게 복구되는지입니다. 예를 들어, AgiBotWorld-Beta 데이터셋은 동작 구간 주석을 제공하며, 각 주석이 달린 동작을 하나의 구간으로 사용합니다. 구간에 대해 페어링된 헤드 RGB/Depth 프레임을 로드하고 보정된 비-어안 헤드 카메라를 사용합니다.
기능 데이터셋 갤러리
AFUN 데이터셋에서 48개 샘플을 추출하여 각각 관찰 프레임, 기능 마스크, 베지어 스플라인 곡선으로 피팅된 3D 궤적으로 시각화했습니다. 각 샘플의 언어 명령은 이미지 바로 아래에 표시됩니다.
분할 학습을 위한 다른 데이터셋 변환
부품 수준 프롬프트는 마스크를 얻는 데만 사용되며, 접촉 부위를 직접 명명하면 답이 노출되므로 학습 쿼리로 사용되지 않습니다. 따라서 원본 이미지와 선택된 마스크 오버레이에 대해 두 번째 쿼리 패스를 실행합니다. 이 패스는 샘플을 자연스러운 작업 수준 명령으로 재작성하여 강조된 영역을 명시적으로 명명하지 않고도 기능을 암시합니다.
자주 묻는 질문
AFUN은 무작위 초기화된 MetaQuery 토큰으로 인한 학습 불안정성을 어떻게 처리합니까? 모델은 MetaQuery 토큰을 분할 모델에 점진적으로 정렬한 후 작업 조건부 기능을 학습하고 마지막으로 운동 예측을 미세 조정하는 3단계 학습 방식을 사용합니다.
AFUN 학습 중 어떤 사전 학습 모델이 고정됩니까? Qwen-VL 비전-언어 모델, SAM3 분할 모델, Sonata 운동 예측 모델은 모든 학습 단계에서 고정됩니다.
교차 데이터셋 전처리 파이프라인은 서로 다른 데이터셋 간의 일관성을 어떻게 보장합니까? 소스별 어댑터는 동일한 처리 로직을 공유하며 관찰/접촉 프레임, RGB-D 데이터, 작업 언어, 카메라 캘리브레이션, 비디오 구간 정보를 포함하는 공통 구간 수준 스키마에 데이터를 작성합니다.
분할 학습을 위해 데이터셋을 변환할 때 왜 두 번째 쿼리 패스가 필요합니까? 두 번째 패스는 샘플을 자연스러운 작업 수준 명령으로 재작성하여 강조된 영역을 명시적으로 명명하지 않고 기능을 암시함으로써 모델이 학습 중에 답을 노출하는 것을 방지합니다.