비디오와 오디오를 활용한 힘 인지 궤적 구성
이 방법은 첫 프레임을 고정된 시작점으로 사용한다. 로봇 중심 방식이므로 초기 프레임에는 로봇의 말단장치가 포함되어야 한다.
화이트보드 닦기, 당근 껍질 벗기기, 램프 버튼 누르기에서는 생성된 모든 비디오를 별도의 수동 검수 없이 곧바로 분할에 사용한다. 초콜릿 상자 쌓기에서는 비디오 20개를 생성한 뒤 10개를 제외한다. 프롬프트에서 지정한 파지 방식과 다르게 그리퍼가 상자 아래로 미끄러져 들어가는 대신 측면을 잡아, 평행 그리퍼로는 수행할 수 없거나, 상자를 잡은 상태에서 말단장치가 뒤집히기 때문이다. 그 외의 추가 선별은 적용하지 않는다.
생성 오디오의 프롬프트 조건부 힘 순서
생성된 오디오의 상대적 음량이 과업 프롬프트에 지정된 상대적 힘의 크기를 반영하는지 검증하기 위해, 통제된 망치 타격 실험을 수행했다. 테이블 위에서 망치를 든 손을 담은 동일한 입력 이미지로 시작해 Seedance 2.0에 다음과 같이 프롬프트를 입력했다.
> “테이블을 정확히 두 번 치되, 첫 번째는 지정된 첫 번째 힘의 크기로, 두 번째는 지정된 두 번째 힘의 크기로 치세요. 각 타격은 튀어 오름 없이 정확히 한 번의 깨끗한 접촉을 만들어야 합니다.”
생성된 오디오는 20회 실험 중 18회에서 지정된 힘의 순서를 그대로 반영했으며, 프롬프트에서 각 순서를 지정한 경우 모두 10회 중 9회씩 성공했다. 이는 통제된 충격 상황에서 Seedance 2.0이 프롬프트에 지정된 힘의 순서를 상대적 음량에 반영한 오디오를 생성할 수 있음을 시사한다.
이 실험은 생성기가 프롬프트에 제시된 힘의 순서를 따르는지를 검증한 것이지, 음량이 물리적 접촉력을 측정하는지를 검증한 것은 아니다. 이 실험 결과는 보충 영상과 프로젝트 웹사이트에 제시되어 있다.
논의 및 결론
접촉이 많은 조작을 위해 생성 비디오와 오디오를 함께 사용해 힘 인지 궤적을 구성하는 파이프라인을 제시했다. 네 가지 실제 로봇 과업에서 이 파이프라인은 운동학 정보만을 재생할 경우 자주 실패하는 상황에서도 제로샷 실행을 가능하게 했다.
힘 프로파일을 달리한 실험에서 오디오로 형성한 힘 프로파일은 성공률 면에서 일정한 힘을 사용한 실행과 같거나 더 우수했으며, 최대 힘과 충격량은 더 낮았다. 통제된 망치 타격 실험에서는 생성 오디오가 프롬프트에 지정된 힘의 순서를 보존하는 것으로 나타났다. 마지막으로, 이 파이프라인으로 수집한 시연 데이터로 과업별 Diffusion Policies를 학습한 결과, 물체의 배치와 외형이 달라져도 일반화할 수 있었다.
한계
SAM-Audio는 관련 없는 소리를 일부 남길 수 있어, 결과적으로 얻은 음량 프로파일이 불완전한 힘의 대리 지표가 될 수 있다. 다만 기하학적 접촉 게이팅, 힘의 상한 및 하한, 폐루프 제어를 통해 이러한 오차를 제한한다.
오디오로 형성한 힘 프로파일은 유일하지도, 반드시 최적인 것도 아니며, 지속적인 접촉이 필요한 과업에서는 조정된 일정한 힘이 비슷한 성능을 낼 수 있다. 또한 현재의 파이프라인은 비디오 생성과 궤적 및 힘 프로파일 추출에 시간이 필요하다. 따라서 이 과정이 진행되는 동안 장면이 변하지 않아야 하며, 아직 환경 변화에 실시간으로 적응할 수 없다.
향후 연구
향후에는 실행 중 실시간 오디오 피드백을 도입해 폐루프 힘 적응을 구현하고, 생성 비디오의 깊이 정합성을 개선해 궤적 오차를 줄일 수 있다.
또한 이 파이프라인을 AI 에이전트와 결합하면 전체 과정을 폐루프로 구성할 수 있다. 로봇이 스스로 과업 프롬프트를 제안하고, 생성된 비디오를 실행한 다음, 그 결과와 측정된 힘을 다음 생성 단계에 다시 입력하는 방식이다. 이를 통해 힘 인지 과업 실행과 데이터 수집이 스스로 반복 개선되는 과정이 될 수 있다.
자주 묻는 질문
힘 인지 궤적은 어떻게 구성하나요? 생성 비디오는 궤적을 제공하고, 생성 오디오는 접촉이 많은 조작 과정에서 힘 프로파일을 형성하는 데 사용한다.
생성 오디오는 프롬프트에 지정된 힘의 순서를 얼마나 잘 보존했나요? 망치 타격 실험 20회 중 18회에서 생성 오디오가 지정된 힘의 순서를 보존했다.
수동 검수 없이 생성된 비디오를 모두 사용한 과업은 무엇인가요? 화이트보드 닦기, 당근 껍질 벗기기, 램프 버튼 누르기에서는 생성된 모든 비디오를 분할에 직접 사용했다.
현재 파이프라인의 가장 큰 한계는 무엇인가요? 비디오 생성과 궤적 및 힘 프로파일 추출에 시간이 걸리므로 장면이 변하지 않아야 하며, 아직 환경 변화에 실시간으로 대응할 수 없다.