키 삽입, 케이블 연결, 체결, 조립처럼 접촉이 빈번한 조작 작업을 수행하는 로봇에게 물체와 안정적으로 물리적으로 상호작용하는 능력은 필수적이다. 이러한 상황에서는 상대 자세나 국소 형상을 조금만 잘못 추정해도 접촉을 놓치거나, 걸림이 발생하거나, 과도한 힘이 가해지거나, 작업 자체가 실패할 수 있다. 핵심적인 어려움은 부분 관측성이다. 로봇은 시각, 자기수용감각, 접촉 정보를 통해 간접적으로만 관측되는 구멍이나 공동의 자세를 추론해야 한다. 깊이 센서는 전역적인 정보를 제공하지만 센서 잡음, 가림, 제한된 시점, 부품 형상으로 인한 모호성에 취약하다. 작업에 가장 중요한 표면은 구멍 안쪽에 가려져 있거나 물리적 상호작용을 통해서만 드러날 수 있다.
핵심 통찰은 힘-토크 센싱을 형상 및 시뮬레이션과 함께 해석하면 공간 정보를 얻을 수 있다는 점이다. 원시 wrench 값만으로는 접촉점이나 물체 자세를 직접 알아낼 수 없다. 그러나 로봇 상태, 탐색 동작, 그리고 가정한 물체 자세가 주어지면 물리 시뮬레이션을 통해 어떤 접촉 증거가 관측되어야 하는지 예측할 수 있다. 따라서 시뮬레이션된 접촉과 실제 측정된 접촉을 비교하면 가능한 자세들에 대한 우도(likelihood)를 정의할 수 있다. 이처럼 접촉은 단순히 제어를 위한 피드백 신호가 아니라, 가려진 장면 상태에 관한 베이즈 증거의 원천이 된다. BayesContact는 현재의 belief를 활용해 다음 탐색 동작을 선택함으로써 접촉을 능동적 센싱 수단으로도 활용한다.
접촉 중심 조작을 위한 다중 센서 융합
센서 융합 방법은 서로 다른 정보원을 작업 수행에 적합한 공통 상태 표현으로 통합한다. 접촉이 빈번한 조작에서는 카메라, 힘-토크 센서, 로봇 자기수용감각이 주요 정보원으로 사용된다. 이러한 방법은 평면 푸싱 작업에서는 효과적이지만, 힘이 수반되는 상호작용에는 상호작용하는 물체의 구성과 상호작용 힘을 연결하는 접촉 모델이 필요하다. 본 연구는 기존 방법에서 사용된 베이즈 추론 프레임워크를 기반으로 하되, 시뮬레이터, 특히 그래픽 엔진과 물리 엔진이 제공하는 센서 우도를 통합해 모델링의 유연성을 높인다.
접촉을 이용한 물체 자세 추정
기존 연구에서는 접촉 센싱만으로 물체의 자세를 추정하려 했다. 일부 방법은 확률적 표현과 팩터 그래프 최적화를 사용해 평면 푸싱 작업에서 물체의 자세와 형상을 함께 추정하며, 로봇에서 접촉 위치를 알고 있다는 가정 아래 상호작용 동역학을 표현하기 위해 limit surface 모델을 사용한다. 이러한 방법은 평면 푸싱을 위한 효과적인 접촉 모델 근사를 제공하지만, 핀-인-홀 삽입처럼 힘이 수반되는 상호작용 작업에서는 접촉 위치를 추적하는 근사가 필요하다. 접촉 위치는 형상이 주어졌을 때 시뮬레이션을 통해 얻을 수 있다.
힘이 수반되는 상호작용 작업에 접촉 모델을 활용하기 위해 미분 가능한 접촉 특징도 제안된 바 있다. 이 방법은 내부 최적화에서 접촉력을 구하고 외부 최적화에서 물체 구성을 구하는 이중 수준 최적화를 사용한다. 본 연구 역시 유사한 접근을 따르되, 물체 구성 후보를 샘플링 기반 추론으로 생성하고 시뮬레이터를 이용해 접촉 모델을 평가한다. 촉각 센싱은 자세 차이를 추정하고 보정하는 대표적인 방법이다. 예를 들어 핀-인-홀 작업에서 촉각 센싱 방식과 접촉선 추정기를 학습하거나, 촉각 센서 모델을 학습해 촉각 이미지와 시각적 깊이 영상을 융합하는 접근이 있다. 이러한 방법은 효과적이지만 접촉 위치의 외부 파라미터를 알고 있다고 가정한다. 본 연구는 접촉 위치를 추론하고, 그 결과 얻은 증거를 융합해 가려진 구멍의 자세를 추정한다.
샘플링 기반 추론과 접촉
자세 추정 작업을 위해 제안된 일반적인 근사 추론 프레임워크는 팩터 그래프를 통해 정보를 융합한다. 여러 센싱 방식을 통합하려면 팩터 그래프 기반 최적화에 미분 가능한 순방향 모델을 지정해야 한다. 접촉은 본질적으로 불연속적이고 비선형이므로, 상태 추론에 적용하기 위해 작업별 접촉 근사를 사용하는 경우가 많다. 본 연구는 이 정식화를 형상 조건부 힘 우도와 깊이 기반 영상 우도로 확장해, 핀 삽입 작업에서 구멍 자세를 추정할 수 있는 접촉 인식 장면 이해를 가능하게 한다.
시뮬레이션 기반 베이즈 추론
자세 추정은 알려지지 않은 물체 자세에 대한 베이즈 추론으로 정식화된다. 관측값이 주어지면 베이즈 추론은 사전 belief를 사후 belief로 갱신한다. 관측이 순차적으로 주어질 때 이 갱신은 재귀적으로 표현할 수 있다.
순차 몬테카를로
가림, 대칭성, 시각적 모호성, 서로 다른 접촉 설명으로 인해 물체 자세의 사후분포는 다봉형일 수 있다. 따라서 belief는 가중치가 부여된 입자 집합으로 표현하며, 각 입자는 정규화된 가중치를 가진 자세 가설이다. 순차 몬테카를로(SMC)는 자세 가설을 제안하고, 시뮬레이션 기반 우도를 평가하며, 입자 가중치를 정규화하고, 필요할 때 리샘플링함으로써 이 belief를 갱신한다. 각 입자를 독립적으로 렌더링하거나 시뮬레이션해 시각 및 접촉 측정값과의 일관성을 평가할 수 있으므로, 이 표현은 BayesContact에 적합하다.
시스템 개요
추론 과정에서 각 입자는 그래픽 렌더러를 통해 깊이 관측값을, 물리 시뮬레이터를 통해 탐색 동작 중 접촉 관측값을 산출하는 데 사용된다. 이렇게 시뮬레이션한 관측값을 측정된 깊이 및 힘-토크 데이터와 우도를 이용해 비교한다. 이 과정이 추정기의 프런트엔드를 구성한다. 이후 해당 우도를 사용해 SMC 추론으로 입자 기반 belief를 갱신하며, 이것이 BayesContact의 백엔드에 해당한다. 추론은 두 단계로 진행된다. 먼저 깊이 관측값으로 SMC와 Metropolis–Hastings 정제를 사용해 시각 posterior를 초기화한다. 다음으로 접촉 단계에서는 시각 posterior를 초기값으로 삼고 접촉 중심 탐색을 통해 belief를 갱신한다. 이 단계의 각 탐색은 힘-토크에서 얻은 접촉 증거와 관련 깊이 관측값을 함께 제공할 수 있으며, 두 정보는 공동 시뮬레이션 기반 우도로 융합된다.
문제 정식화
측정값은 순차적으로 색인한다. 처음 측정값은 시각 인식 단계에, 나머지 측정값은 접촉 중심 상호작용 단계에 해당한다. 측정이 진행되는 동안 물체 자세는 고정되어 있으며, 새로운 시각 및 접촉 관측값을 얻을 때마다 belief를 순차적으로 갱신한다.
행동 공간과 보호 탐색
접촉 측정값을 얻기 위해 로봇은 구멍 자세에 관한 정보를 수집하는 보호 탐색 동작을 수행한다. 접촉 단계에서 행동은 평면 오프셋과 yaw 오프셋으로 매개변수화된다. 명령된 오프셋에 따라 로봇은 음의 축 방향으로 보호된 수직 하강 동작을 수행한다. 미리 정한 힘-토크 임계값을 초과하거나 최대 변위에 도달하면 동작을 종료한다. 행동은 행동에 따라 정해진 기준 궤적을 추종하는 Cartesian 임피던스 제어기로 실행한다. 보호 동작 중 수집한 힘-토크 측정값은 접촉 증거로 변환되어 해당 베이즈 갱신에 사용된다.
실험
BayesContact를 검증하기 위해 다음 세 가지 질문을 평가했다.
- 힘-토크로 유도한 접촉 위치 정보가 자세의 관측 가능성을 높이는가?
- 입자 기반 시뮬레이션-추론 belief가 매개변수 기반 대안보다 형상 모호성을 더 잘 보존하고 해소하는가?
- 이 belief가 능동적 센싱을 가능하게 하는가?
평가 지표
자세 정확도는 ADD-S, 위치 오차, 방향 오차로 평가한다. ADD-S는 물체의 대칭성을 고려하면서 형상 정렬 정도를 측정한다.
결론
본 연구는 핀 삽입 상황에서 구멍 자세에 대한 belief를 추정하기 위해, 형상 조건부 힘-토크 우도와 깊이 우도를 SMC 추론과 결합한 시뮬레이션 기반 추론 프레임워크 BayesContact를 제안했다. 시뮬레이션과 실제 로봇 실험을 통해 힘-토크 기반 접촉 정보가 깊이 정보만 사용한 추정보다 자세의 관측 가능성을 높인다는 것을 보였다. 또한 이렇게 얻은 belief 표현은 정보 이득 기반 능동 센싱에 활용할 수 있다.
자주 묻는 질문
BayesContact는 시각 정보와 촉각 정보를 어떻게 결합하나요? Sequential Monte Carlo 프레임워크를 사용합니다. 각 자세 가설(입자)을 그래픽 렌더링을 통한 깊이 영상과 물리 시뮬레이션을 통한 힘-토크 측정값에 대해 독립적으로 평가하고, 그 우도를 융합해 belief를 갱신합니다.
구멍 표면이 가려져 있을 때 힘-토크 센싱이 자세 추정에 유용한 이유는 무엇인가요? 원시 wrench 값만으로는 자세를 직접 알 수 없습니다. 하지만 로봇 상태, 탐색 동작, 가정한 자세를 조건으로 물리 시뮬레이터가 예상 접촉을 예측하게 하면, 힘-토크 데이터를 구멍 위치에 관한 베이즈 증거로 변환할 수 있습니다.
기존 팩터 그래프 방법으로 접촉 중심 자세를 추정하기 어려운 이유는 무엇인가요? 접촉은 본질적으로 불연속적이고 비선형이므로 팩터 그래프 최적화에 필요한 미분 가능한 순방향 모델을 만들기 어렵습니다. BayesContact는 시뮬레이션 기반 우도 평가를 사용하는 샘플링 기반 추론으로 이 문제를 우회합니다.
BayesContact가 탐색 동작을 스스로 선택할 수 있나요? 가능합니다. belief 표현을 활용하면 능동적 센싱이 가능하므로, 로봇은 구멍 자세에 관한 기대 정보 이득을 최대화하는 다음 탐색 동작(평면 및 yaw 오프셋)을 선택할 수 있습니다.