S2A2 프레임워크는 환경 설정, S2A2 모델, 그리고 음향 인식 조작 작업으로 구성됩니다. S2A2 모델은 관측 데이터로부터 모달리티별 특징을 추출하는 처리 파이프라인과 이를 통합하여 다음 행동을 출력하는 다중 모달 정책으로 이루어져 있습니다. S2A2 프레임워크는 시각만으로는 조작 대상이나 목적지를 고유하게 결정할 수 없는 음향 인식 조작 작업을 대상으로 하며, 시각 정보 외에도 음향 공간 및 음향 신호 정보를 활용하여 행동을 결정합니다.
문제 정의
S2A2 프레임워크는 시각만으로는 조작 대상이나 목적지를 고유하게 결정할 수 없는 음향 인식 조작 작업을 대상으로 하며, 시각 정보 외에도 음향 공간 및 음향 신호 정보를 활용하여 행동을 결정합니다. 구체적인 손실 함수는 정책 네트워크에 따라 달라지며, 자세한 내용은 정책 구조 및 학습 섹션에서 다룹니다.
처리 파이프라인
S2A2 모델은 음향 공간 정보, 음향 신호 정보, 시각 정보를 처리하는 세 개의 파이프라인으로 구성됩니다. 각 파이프라인은 전처리와 해당 입력 모달리티에 적합한 인코더로 이루어져 있습니다. RGB 이미지 파이프라인은 기본 정책의 시각 인코더를 직접 사용하는 반면, 음향 공간 지도 파이프라인과 스펙트로그램 파이프라인은 아래에 설명됩니다.
모든 마이크 배열은 작업 공간과 동일한 평면에 배치됩니다. 음향 공간 지도 파이프라인은 배열이 기록한 다채널 음향 정보로부터 음원 방향의 가능성을 추정하고, 이를 작업 공간에 해당하는 2D 지도에 투영합니다. 구체적으로, 각 배열의 다채널 신호에 다중 신호 분류(MUSIC) 방법을 적용합니다. 입력 오디오는 16kHz 샘플링 속도로 획득되며, FFT 길이 512, 50% 중첩의 단시간 푸리에 변환(STFT)을 통해 주파수 영역으로 변환됩니다.
다중 모달 정책
처리 파이프라인 섹션에서 설명한 대로, 각 파이프라인은 특징 맵을 출력합니다. 이러한 특징 맵을 정책 네트워크에 공급하는 형식은 정책 구조에 따라 다릅니다.
실제 로봇 실험
평가를 위해 두 가지 작업이 선택되었습니다: 위치 파악과 식별 능력을 모두 요구하는 L&I 작업과 능동적 탐색이 필요한 탐색 작업입니다. 이들의 성공률은 시각 전용 기준선으로는 해결하기 어려운 작업에서 음향 정보를 통합한 S2A2 모델이 실제 환경에서도 효과적임을 확인해 줍니다.
결론
시각만으로는 조작 대상이나 목적지를 고유하게 결정할 수 없는 음향 인식 조작 작업을 소개하고, 음향 정보를 활용하는 모방 학습 프레임워크 S2A2를 제안했습니다. 시뮬레이션 실험을 통해 작업이 요구하는 음향 능력에 맞는 표현을 사용하는 것이 중요하며, 불필요한 음향 모달리티는 성능을 저하시킬 수 있고, 음향 정보 활용의 효율성은 정책 구조에 따라 달라짐을 보였습니다. 실제 로봇 실험을 통해 S2A2의 효과성을 추가로 확인했으며, 시각 전용 기준선보다 우수한 성능을 보였습니다.
한계점
최종 카메라 레디 버전에는 감사의 말이 포함될 예정입니다. 여기에는 유용한 의견을 제공한 리뷰어, 아이디어에 기여한 동료, 재정적 지원을 제공한 기관 및 기업 후원자에 대한 감사가 포함됩니다.
시뮬레이션과 실제 실험의 차이점
실제 로봇 실험에서는 시뮬레이션과 동일한 파이프라인을 음향 공간 지도와 스펙트로그램에 사용했습니다. 그러나 실제 녹음에 존재하는 마이크 배치, 로봇 구성, 잡음 특성을 고려하여 다음과 같은 차이점을 도입했습니다.
잠재 상태 추출
중간층 표현으로는 ACT의 경우 관측 시퀀스를 인코딩하는 트랜스포머 인코더의 출력을 사용했습니다. Diffusion Policy의 경우 U-Net 인코더와 디코더를 연결하는 병목 지점 근처의 특징을 사용했습니다. VQ-BeT의 경우 GPT 스타일 정책 네트워크에 포함된 트랜스포머 블록의 중간층 출력을 사용했습니다. 파운데이션 모델의 경우 시각 및 언어 특징을 통합하는 파운데이션 모델 측의 최종 은닉 상태를 사용했습니다. Diffusion Policy에서는 디노이징 과정 중 동일한 U-Net이 여러 번 적용되므로, 이 과정의 중간 지점에서 얻은 특징을 중간층 표현으로 사용했습니다.
특징은 각 정책 추론 시 기록되었습니다. 최종층 및 중간층 표현 모두 시퀀스 축을 따라 평균화되어 추론 단계당 하나의 잠재 벡터로 처리되었습니다. t-SNE 플롯의 각 점은 한 번의 추론으로 생성된 전체 행동 시퀀스의 특징에 해당합니다. t-SNE의 경우 출력 차원은 2로 설정되었고, PCA 초기화가 사용되었으며, 학습률은 자동으로 설정되었고, 모든 랜덤 시드는 고정되었습니다.
자주 묻는 질문
S2A2는 로봇 조작을 위한 표준 모방 학습 접근법과 어떻게 다른가요? S2A2는 시각 외에도 음향 공간 및 음향 신호 정보를 통합하여, 시각적 단서만으로는 대상이나 목적지를 고유하게 결정할 수 없는 작업에서 조작을 가능하게 합니다.
S2A2 프레임워크는 어떤 음향 처리 방법을 사용하나요? 프레임워크는 마이크 배열이 기록한 다채널 오디오 신호에 MUSIC 방법을 적용하여 음원 방향 가능성을 추정하고, 이 정보를 작업 공간에 해당하는 2D 지도에 투영합니다.
음향 정보를 추가하면 항상 로봇 조작 성능이 향상되나요? 아니요. 시뮬레이션 실험에서 불필요한 음향 모달리티는 성능을 저하시킬 수 있으며, 음향 정보 활용의 효율성은 사용된 특정 정책 구조에 따라 달라짐을 보였습니다.
S2A2 프레임워크는 실제 로봇에서 테스트되었나요, 아니면 시뮬레이션에서만 테스트되었나요? 시뮬레이션과 실제 로봇 실험이 모두 수행되었으며, 실제 로봇 실험 결과는 음향적으로 어려운 작업에서 S2A2가 시각 전용 기준선보다 우수함을 확인했습니다.