온라인 야코비안 추정과 비주얼 서보잉
비보정 비주얼 서보잉은 카메라나 운동학적 보정 없이, 센서로 얻은 특징과 작동 입력 사이의 미분 관계를 온라인으로 학습한다. Hosoda와 Asada는 망각 인자를 포함한 고전적 재귀 최소제곱(RLS) 추정기를 제안했으며, 이는 이번 업데이트 방식의 직접적인 기원이다. Qian과 Su는 칼만 필터를 사용해 영상 야코비안을 온라인으로 추정했다.
최근에는 야코비안을 더 일반화한 표현으로 확장하려는 시도도 이어졌다. 그 결과 픽셀마다 조밀하게 정의되는 영상 야코비안이나, 로봇을 따라 존재하는 모든 3D 점에 정의된 시각-운동 야코비안 필드가 제안되었다.
그러나 시각-운동 야코비안 필드를 계산하려면 방대한 데이터가 필요했다. 다중 시점 RGBD 카메라 설정에서 약 2~3시간 동안 로봇을 움직여야 할 정도였다. 이러한 기존 방법이 도구 조작에 적용된 사례는 거의 없거나 제한적이었다. 양손으로 빗자루 끝을 조작하는 작업이 시연된 바 있고, 야코비안 필드 기반 제어로 도구를 잡아 테이블 위의 사과를 미는 작업이 한 차례 시연된 정도다.
기존 연구 중에는 야코비안 자체가 아니라 그 역행렬을, 사전 정보가 거의 또는 전혀 없는 상태에서 추정해 공중에서 쓰기 작업에 적용한 경우도 있다. 역야코비안을 직접 추정하면 작업 공간에서 명령 공간, 즉 관절 공간으로 이어지는 직접적인 대응 관계를 얻을 수 있어 야코비안 행렬을 계산으로 역행렬화할 필요가 없어진다. 하지만 역야코비안만 추정하기 때문에 야코비안의 영공간을 어떻게 계산하고 활용할지는 분명하지 않으며, 이로 인해 중복 자유도를 지닌 구조로의 확장이 제한된다.
손안 쓰기를 벤치마크로 삼기
이 방법이 폭넓게 적응할 수 있음을 보인다. 약 18초의 초기화만 거치면 실제 ORCA 손이 야코비안 추정치를 계속 갱신하면서 알파벳 전체를 쓴다. 또한 시뮬레이션에서 서로 다른 두 손에도 동일한 추정기-제어기 구성을 적용했으며, 코드는 오픈소스 구현으로 공개했다.
종이 좌표계에서 펜 끝을 추적하는 인식
웹캠은 펜에 부착한 ArUco 마커와 책상에 테이프로 고정한 세 개의 마커로 이루어진 보드를 추적한다. 이 보드가 종이 좌표계를 정의한다. 고정된 마커-펜 끝 오프셋을 이용해 펜 끝의 위치를 복원한 뒤 종이 좌표계로 변환하며, 이 좌표계는 이후의 모든 추정과 제어에 사용된다. 웹캠 화면에는 마커 검출 결과와 복원된 펜 끝 위치가 함께 표시된다.
이렇게 얻은 펜 끝 궤적은 혁신 기반 이상치 제거 기능을 갖춘 일정 속도 칼만 필터로 평활화한다. 추정과 제어에서 공통 시간축을 사용할 수 있도록 전체 처리 과정에서 카메라 타임스탬프를 유지한다.
방법
직렬 로봇팔의 비주얼 서보잉에 쓰이던 고전적인 온라인 순방향 야코비안 추정기를 더 까다로운 환경, 즉 중복 자유도를 지닌 힘줄 구동 손안 시스템에 적용한다. 이를 가능하게 한 핵심 요소는 두 가지다. 의도적으로 설계한 여기 단계와 영공간 그립 안정화다.
문제 설정
종이 위에서 실험할 때는 종이를 접어 겹치거나 책상에 테이프로 고정해 종이 가운데가 약 1cm 위로 불룩하게 만든다. 이렇게 하면 제어되지 않는 밀리미터 단위의 수직 드리프트를 흡수해 펜 끝이 종이에 계속 닿아 있을 수 있다.
국소적으로 관절 속도와 작업 속도는 작업 야코비안으로 연결된다. 작업 야코비안은 관절 속도를 작업 공간 속도로 변환하는 행렬이다.
쓰기 경로 생성
여기 단계가 끝나면 추적 단계가 시작된다. 이 단계에서 쓰기 경로 생성기는 매 스텝마다 작업 명령을 제어기로 보낸다. 각 궤적은 종이 좌표계에서 평면 곡선으로 축약한 뒤 접선 방향 속도를 일정하게 유지하며 따라간다. 따라서 펜 끝의 속도는 곡률과 무관하다.
A–Z 알파벳은 3차 베지어 글리프로 정의한다. 또한 펜이 쓸 수 있는 범위 안에서는 임의의 단일 선형 도형도 지원한다. 여기에는 원, 꽃, 하트, 별 같은 매개변수 도형과 자유 형식 SVG 그림이 포함된다.
제어기로 보내는 작업 공간 명령은 추적 오차에 대한 PID+피드포워드 법칙이다. 이는 속도 피드포워드 항을 더한 비례-적분-미분 명령이다.
적분 항에는 안티윈드업 클램프, 즉 누적 적분 작용에 대한 제한이 적용된다. 피드포워드 항은 현재 목표점에서의 경로 접선 속도와 같다.
결과
각 실험에서는 그립을 형성하고 여기 단계를 수행한 다음, 공중이나 종이 위에서 기준 경로를 추적한다. 기준 경로는 닫힌 도형, 글자 또는 자유 형식 SVG 그림이다. 절제 실험에서는 완전히 구성된 시스템을 기준으로 매번 한 가지 요소만 변경한다.
결론
민첩한 조작을 위한 신속한 체화 학습 방식이 손가락 움직임만으로 의인화된 힘줄 구동 ORCA 손을 제어해, 접촉이 많은 손안 쓰기를 수행할 수 있음을 보였다. 약 18초의 초기화 후 작업을 시작하며, 쓰는 동안에도 계속 적응한다.
추가로 두 종류의 손 형상을 시뮬레이션에서 실험한 결과, 손의 운동학이 크게 달라도 동일한 구성이 작동하는 것을 확인했다. 이처럼 빠르고 적응적이며 체화된 접근법은 대규모 모델링이나 데이터 수집이 필요한 강화학습 또는 모방학습 방식으로는 아직 달성하지 못한 수준의 로봇 쓰기 정확도를 생체 모사 손에서 실현할 가능성을 보여준다.
이 결과는 정밀한 모델이나 데이터가 부족하다는 사실이 반드시 실제 수준의 손재주를 가로막는 요인은 아님을 시사한다. 방법이 빠르고 계산량이 적다는 점은 고성능 컴퓨팅을 사용할 수 없는 환경, 예를 들어 의수의 온보드 제어와 같은 응용에도 유망하다.
자주 묻는 질문
시스템은 펜 끝을 어떻게 추적하나요? 웹캠이 펜에 부착한 ArUco 마커와 종이 좌표계를 정의하는 세 개의 마커를 추적한다. 고정된 마커-펜 끝 오프셋으로 펜 끝 위치를 복원한 뒤 일정 속도 칼만 필터로 평활화한다.
초기화 단계는 얼마나 긴가요? 실제 ORCA 손이 알파벳을 쓰기 시작하기 전 약 18초의 초기화가 필요하다.
시스템은 어떤 쓰기 경로를 따라갈 수 있나요? 3차 베지어로 정의된 A–Z 글자, 매개변수 방식의 단일 선형 도형, 그리고 펜이 쓸 수 있는 범위 안의 자유 형식 SVG 그림을 지원한다.
영공간 그립 안정화를 사용하는 이유는 무엇인가요? 영공간 그립 안정화는 중복 자유도를 지닌 손이 쓰기 작업을 수행하는 동안 펜을 안정적으로 잡고 있도록 돕는다.