우리는 대화형으로 제어 가능한 인체 동작 생성을 위한 자기회귀 확산 모델인 ARDY를 제안합니다. ARDY는 대화형 응용에 맞춰 온라인 텍스트 프롬프트와 유연한 운동학적 목표 제약 조건을 기본 지원하며, 단일 생성 창을 넘어서는 장기 목표도 처리합니다. 우리는 대화형 및 지시 가능한 동작 생성의 실시간 데모를 제시하여, 미래 애니메이션 시스템을 위한 생성 모델의 잠재력을 강조합니다. 대규모 스튜디오 품질의 Bones Rigplay 데이터셋에 대한 광범위한 절제 연구를 통해 아키텍처 결정을 검증합니다. 또한 공개 HumanML3D 벤치마크 실험에서 ARDY가 동작 충실도와 제어 정확도 모두에서 기존 방법을 능가함을 보여줍니다.
하이브리드 동작 표현
효율적인 생성 학습에 필요한 표현의 간결성과 명시적 특징 덮어쓰기를 통한 직접적이고 정밀한 제어 가능성 사이의 균형을 맞추기 위해, 우리는 루트 동작과 몸체 동작을 분리하는 하이브리드 동작 표현을 제안합니다. 구체적으로, 루트 궤적은 명시적이고 해석 가능한 형태로 표현되는 반면, 몸체 동작은 간결한 잠재 공간에 인코딩됩니다.
하이브리드 표현은 명시적 동작 표현을 기반으로 합니다. 이 명시적 표현을 사용하는 동작의 각 프레임은 루트 및 몸체 스켈레톤 관절 특징의 튜플로 정의됩니다. 이 접근 방식은 생성 학습에 필요한 간결성을 제공하면서도 명시적 특징 조작을 통해 직접적인 제어를 가능하게 합니다.
학습 및 구현 세부 사항
실제로, 동작 토크나이저는 프레임/패치 크기의 패치를 사용합니다. 인코더와 디코더 모두 잠재 차원 512의 8층 트랜스포머로 구현되며, 시간적 일관성을 유지하기 위해 인과 자기 주의를 활용합니다. 토크나이저는 다양한 길이(1~10초)의 동작 클립에서 재구성 손실과 발 미끄러짐을 penalizing하는 추가 손실을 사용하여 학습됩니다.
대화형 동작 생성 데모
ARDY의 다양성을 보여주기 위해, 우리는 Viser를 사용하여 모델로 대화형으로 동작을 생성하는 인터페이스를 개발했습니다. 이 시스템은 스트리밍 텍스트 프롬프트와 마우스 및 키보드 입력을 통한 대화형 공간 제약 조건의 조합을 통해 실시간 캐릭터 제어를 가능하게 합니다.
데모 결과
우리 시스템은 다양한 보행 인터페이스를 지원합니다. 사용자는 마우스 기반 웨이포인트를 사용하여 실시간으로 목표 루트 궤적을 정의하거나 키보드 명령을 통해 실시간 속도를 조절할 수 있습니다. 마우스 기반 루트 경로 제어의 경우, 마우스 클릭 웨이포인트 사이를 선형 보간하고 결과 경로를 평활화하여 목표 궤적을 도출합니다. 키보드 기반 루트 속도 제어의 경우, 사용자 입력과 현재 속도로부터 목표 속도를 계산한 다음, 두 값 사이를 선형 보간하고 결과 프레임별 속도를 통합하여 모델 입력 루트 궤적을 도출합니다.
대규모 모션 캡처 데이터 분석
우리는 ARDY의 주요 설계 선택과 다양한 하이퍼파라미터 설정의 효과를 철저히 분석합니다.
절제 연구
세 가지 주요 설계 선택에 대한 절제 결과를 제시합니다: 하이브리드 동작 표현, 토크나이저 디코더 내 전역-로컬 루트 변환, 2단계 잡음 제거기 설계.
하이퍼파라미터 및 토크나이저 유형 분석
생성 지평 길이, 확산 단계 수, 토크나이저 구성에 대한 분석을 제공합니다.
벤치마크 평가
우리는 표준 HumanML3D 데이터셋에서 텍스트 제약 생성에 대해 오프라인 및 온라인 최신 기술 기준선과 ARDY를 비교 평가합니다. 이 실험을 위해, 모델은 40프레임 생성 지평, 10 확산 단계, 바닐라 오토인코더 토크나이저로 학습됩니다. ARDY는 동작 충실도와 제어 정확도 모두에서 기존 방법을 능가합니다.
논의
우리는 대화형으로 제어 가능한 인체 동작 생성을 위한 자기회귀 동작 확산 모델인 ARDY를 제안합니다. ARDY는 대화형 응용에 맞춰 온라인 텍스트 프롬프트와 유연한 운동학적 목표 제약 조건을 기본 지원하며, 단일 생성 창을 넘어서는 장기 목표도 처리합니다. 우리는 대화형 및 지시 가능한 동작 생성의 실시간 데모를 제시하여, 미래 애니메이션 시스템을 위한 생성 모델의 잠재력을 강조합니다. 대규모 스튜디오 품질의 Bones Rigplay 데이터셋에 대한 광범위한 절제 연구를 통해 아키텍처 결정을 검증합니다. 또한 공개 HumanML3D 벤치마크 실험에서 ARDY가 동작 충실도와 제어 정확도 모두에서 기존 방법을 능가함을 보여줍니다.
자주 묻는 질문
ARDY가 다른 인체 동작 생성 모델과 다른 점은 무엇인가요? ARDY는 온라인 텍스트 프롬프트와 유연한 운동학적 목표 제약 조건(장기 목표 포함)을 지원하는 대화형 실시간 동작 생성을 위한 자기회귀 확산 모델입니다.
ARDY는 루트 동작과 몸체 동작을 어떻게 분리하여 처리하나요? ARDY는 하이브리드 동작 표현을 사용하여 루트 동작(명시적으로 표현)과 몸체 동작(간결한 잠재 공간에 인코딩)을 분리하여, 생성 학습을 위한 간결성과 직접 제어 사이의 균형을 유지합니다.
ARDY를 평가하는 데 사용된 데이터셋은 무엇인가요? ARDY는 절제 연구를 위해 대규모 Bones Rigplay 데이터셋에서 검증되었고, 최신 기술과의 비교를 위해 공개 HumanML3D 벤치마크에서 평가되었습니다.
ARDY는 실시간으로 동작을 생성할 수 있나요? 네, ARDY는 키보드와 마우스 입력을 통한 실시간 대화형 동작 생성을 지원하여 루트 궤적 제어, 속도 조절, 스트리밍 텍스트 프롬프트를 가능하게 합니다.