밀리미터 단위의 잔차 오차를 보정하려면 정책이 이를 인식하고 동작으로 해소할 수 있어야 합니다. 오차 입력 채널이 허용 오차에 맞춰 조정되지 않으면 팔은 목표에 도달하지 못한 채 편향된 평형 상태에 머뭅니다. 입력 정규화는 작업 공간 전체에서 각 채널이 차지하는 범위에 맞춰 스케일을 조정하므로, 밀리미터 단위의 차이는 관절, 목표, 키포인트 입력에서 무시할 만큼 작은 비율을 차지합니다. 이에 PolicyIK은 포즈 오차를 두 가지 스케일로 표현하고 오차 크기에 맞춰 동작 단계를 조정합니다.
다중 스케일 포즈 피드백과 동작 스케일링
키포인트 기반 포즈 표현에 따라, 비공선 로컬 오프셋 세 개 [원문에 수식이 제공되지 않음]를 사용해 포즈 오차를 위치 차이로 정의하고, 이를 통해 병진 및 회전 오차를 표현합니다.
정책이 밀리미터 단위 오차를 인식할 수 있도록, 오차는 현재 엔드 이펙터 좌표계에서도 표현되며 거친 스케일과 세밀한 스케일로 클리핑됩니다.
보상 설계
보상은 접근 단계와 종단 단계에 대한 항목을 결합합니다.
추적은 접근을 유도하고, 진행도와 유지 보상은 허용 오차에 도달해 머무르는 것을 장려하며, 비용 항목은 동작을 정규화합니다. 부록 B에 모든 항목과 가중치가 나와 있습니다.
시뮬레이션 학습 및 배포
PolicyIK은 4,096개 환경에서 PPO와 일반화 어드밴티지 추정을 사용해 학습합니다. 학습 롤아웃은 12초 동안 진행되며, 팔을 초기화하지 않은 채 4초마다 목표를 다시 샘플링합니다. 따라서 각 롤아웃은 세 번의 시도를 연속으로 수행하며, 이후 시도는 이전 시도가 팔을 남겨둔 위치에서 시작합니다. 부록 B에 아키텍처와 학습 설정이 나와 있습니다.
단일 시도에서 엄격한 실패 판정을 적용하면, 목표 근처에서 작은 잔차 오차를 남기거나 목표에서 더 멀리 떨어진 상태로 끝납니다. 추가 시도가 허용되는 경우에는 고정된 프로토콜에 따라 각 경우를 처리합니다. 목표에서 1 cm 이내에서 실패하면 잔차를 상쇄하는 오차 보정 목표를 사용해 다시 시도합니다. 그 외의 실패에는 최대 여덟 번의 시도가 허용되며, 먼저 팔을 다른 구성으로 옮기는 일시적 목표를 명령합니다. 모든 시도는 원래 목표를 기준으로 평가합니다.
실제 로봇 학습
큰 회전이 필요한 목표를 달성하려면 관절 공간에서 우회해야 하는 경우가 많으며, 이 과정에서 포즈 오차가 먼저 커질 수 있습니다. 표준 크리틱은 겉보기에 가까운 포즈에 비슷한 값을 부여하는 경향이 있어 목표를 향해 직선으로 움직이는 것을 선호합니다. LAN을 따라 크리틱은 하나의 네트워크로 상태와 동작을 임베딩하고, 다른 네트워크로 목표를 임베딩한 다음 두 임베딩의 차이로부터 값을 예측합니다. 이 아키텍처 설계는 관측과 목표 사이의 시간적 거리를 더 잘 포착하는 것으로 나타났습니다.
실험
실험에서는 시뮬레이션에서 PolicyIK의 정밀도와 각 구성 요소의 기여도를 평가하고, 시뮬레이션된 픽앤플레이스 작업 및 실제 팔에서 저수준 컨트롤러로 사용하는 방법을 살펴봅니다.
학습 작업
각 학습 에피소드는 하나의 목표를 두고 150회의 제어 단계 동안 진행됩니다. 작업은 두 가지 출처 중 하나에서 생성됩니다.
환경 및 보상
수식 2는 기준값을 관절 한계에서 클리핑합니다. 중력에 맞서 한계 근처의 목표를 유지하는 관절에는 목표 구성보다 바깥쪽에 있는 기준값이 필요한데, 한계에서 강제로 클리핑하면 이를 허용할 수 없습니다. 하드웨어에서는 측정된 관절이 여전히 한계 안에 있는 동안 명시되지 않은 여유분만큼 클리핑을 완화합니다. 측정된 관절이 한계에 도달하면 더 이상의 바깥쪽 동작은 허용되지 않으므로 관절 자체가 한계를 넘는 일은 없습니다.
자주 묻는 질문
PolicyIK은 왜 포즈 오차를 두 가지 스케일로 표현하나요? 입력 정규화로 인해 밀리미터 단위의 차이는 작업 공간 전체에서 입력이 차지하는 범위에 비해 무시할 만큼 작아질 수 있습니다. 두 가지 스케일로 표현하면 정책이 이러한 작은 오차를 인식하고 해소하는 데 도움이 됩니다.
PolicyIK은 시뮬레이션에서 어떻게 학습하나요? 4,096개 환경에서 PPO와 일반화 어드밴티지 추정을 사용합니다. 12초 동안 진행되는 각 롤아웃은 팔을 초기화하지 않은 채 4초마다 목표를 다시 샘플링합니다.
재시도 프로토콜은 실패한 시도를 어떻게 처리하나요? 목표에서 1 cm 이내에서 실패하면 잔차를 상쇄하는 오차 보정 목표를 사용해 다시 시도합니다. 그 외의 실패에는 최대 여덟 번의 시도가 허용되며, 먼저 팔을 다른 구성으로 옮기는 일시적 목표를 사용합니다.
실제 로봇용 크리틱은 왜 상태-동작 임베딩과 목표 임베딩을 분리하나요? 큰 회전에는 관절 공간에서의 우회가 필요할 수 있으며, 이때 포즈 오차가 처음에는 커집니다. 상태-동작 임베딩과 목표 임베딩의 차이로부터 값을 예측하면 목표까지의 시간적 거리를 더 잘 포착할 수 있도록 설계되었습니다.