로봇 나무 전정 작업 시뮬레이션
시각운동 정책 학습을 지원하기 위해, 과수원 장면의 기하 구조를 모사하는 로봇 나무 전정 시뮬레이터를 구축한다. 정책은 이미지 텍스처가 아니라 광류에 의존하므로 사실적인 렌더링은 필요하지 않다. 우리의 목표는 절단 지점의 위치, 가지의 방향, 조명 조건을 다양하게 변화시키면서도 현대적인 과수원 훈련 시스템과 구조적으로 유사한 전정 시나리오를 생성하는 것이다.
시각운동 전정 학습 설정
현실에서 안정적으로 작동하려면 정책이 실제 환경에서 마주하게 될 조건에 충분히 노출되어야 한다. 먼저 작업 공간을 정의하고, 충분히 다양한 절단 지점을 생성하는 샘플링 절차를 소개한다. 다음으로 학습과 배포에 사용하는 상태 및 행동 표현을 지정한다. 마지막으로 완전한 상태 정보에 접근할 수 있는 시뮬레이션 환경을 활용해 성공적인 궤적을 자동으로 수집하는 방법을 설명한다.
다양한 학습 에피소드 생성
하나의 에피소드는 세 번째 가지 중 하나에 샘플링된 절단 지점이 정의된 시뮬레이션 장면으로 구성된다. 새로운 에피소드가 시작될 때 조명, 로봇, 카메라 배치를 3절에서 설명한 방식으로 무작위화한다.
작업 공간
UR5e 로봇의 도달 가능성이 높은 영역을 정의한다. 이 영역은 로봇 베이스로부터 75cm 이상 105cm 이하의 모든 지점을 포함하되, 로봇 베이스의 수직면 뒤에 있는 지점은 제외한다. 이 영역은 커터를 장착했을 때 로봇의 최대 도달 거리(125cm), 바깥쪽을 향한 가지의 최대 길이(40cm), 장애물 회피를 위해 나무를 관찰할 수 있는 시야를 바탕으로 경험적으로 정의했다. 30cm보다 가까운 위치에서는 시야가 좋지 않았다.
이 영역을 사용하면 로봇을 과수원 나무 앞에 배치했을 때 최대 네 개의 트렐리스 와이어에 있는 전정 지점까지 도달할 수 있다.
관측 공간과 행동 공간
시뮬레이터는 나무의 기하 구조와 자세에 대한 전체 정보를 제공하지만, 정책의 관측 공간은 다음으로 제한된다.
- 절단 지점을 지정하는 목표.
- 광류 이미지.
- 로봇 고유감각 정보.
상태 공간의 요약은 다음과 같다.
고유감각 정보
상태 공간에는 6자유도 자세, 엔드 이펙터의 현재 속도, 로봇 관절각을 포함한다. 엔드 이펙터의 자세에서 위치는 직교 좌표계의 위치 좌표로, 방향은 6차원 파라미터화로 표현한다. 관절각은 사인값과 코사인값으로 나타낸다. 이에 따라 고유감각 상태는 27차원이 된다.
행동
정책은 엔드 이펙터 좌표계에서 선속도와 각속도를 출력한다. 그런 다음 감쇠 최소제곱 제어기를 사용해 관절 속도를 계산하고 0.5초 동안 적용한다. 제어 주파수는 2Hz에 해당한다.
정책 아키텍처
LSTM 기반의 액터-크리틱 아키텍처에 학습 중에만 사용할 수 있는 특징에 접근하는 특권 크리틱과 시각적 특징 학습을 위한 인코더를 추가한 구조를 사용한다.
특권 크리틱
크리틱은 액터와 동일한 이미지 인코더를 공유하며, 다음 두 가지를 제외하면 구조도 동일하다.
- 하나의 스칼라값을 출력한다.
- 엔드 이펙터와 전정 대상 가지 사이의 포인팅 코사인 유사도 및 수직 코사인 유사도에 해당하는 두 개의 스칼라 특징을 추가로 입력받는다.
이 입력은 나무의 기하 구조와 자세에 대한 특권 정보에 의존하지만 정책에는 제공되지 않으며, 학습 중에만 사용된다.
합성 데이터 생성
성공적인 전정 궤적을 수천 개 수준으로 직접 수집하려면 많은 인력이 필요하므로 비용이 지나치게 커진다. 이를 해결하기 위해 완전한 상태 정보에 접근할 수 있는 시뮬레이션 환경을 활용해 생성 과정을 자동화한다.
구체적으로는 전정 성공 조건을 만족하는 웨이포인트를 생성하는 샘플링 기반 모션 플래닝 방법인 RRT-Connect를 사용한다. 이후 이 웨이포인트를 후처리해 더 매끄러운 궤적으로 만들고, 관측, 행동, 보상, 다음 관측으로 구성된 전이 튜플로 변환한다. 따라서 강화학습 설정에 바로 사용할 수 있다.
목표 구성 생성
각 전정 지점에는 포인팅 방향과 도달, 포인팅, 수직성 요구 조건의 허용 오차에 따라 성공 조건을 만족하는 여러 엔드 이펙터 자세가 존재할 수 있다. 이 중 일부는 충돌 없는 궤적으로 도달할 수 있지만, 나머지는 주변 과수원 장애물과 충돌하기 때문에 실행할 수 없다. 실행 가능한 해를 찾기 위해 전정 조건을 만족하는 엔드 이펙터 구성 집합을 생성하고, RRT-Connect를 사용해 해당 자세까지의 충돌 없는 궤적을 계산한다.
유효한 엔드 이펙터 자세를 샘플링할 때는 먼저 이상적인 엔드 이펙터 자세를 설정한다. 이는 전정할 가지와 완벽하게 정렬되고, 초기 엔드 이펙터 프레임과 방향이 가장 가깝고, 성공 조건을 만족하는 자세다.
그다음 포인팅 벡터와 수직 벡터를 기준으로 결과 자세를 무작위로 섭동한다. 섭동 범위는 작업에서 정의한 임계값 안으로 제한하여, 샘플링된 모든 목표 자세가 성공적인 전정에 허용되는 범위에 들어오도록 한다. 마지막으로 각 자세에 역기구학을 적용해 로봇 구성으로 변환한 뒤 RRT-Connect에 전달한다.
궤적 생성
각 전정 지점에 대해 유효한 궤적을 찾거나 100회 시도 후 지점을 폐기할 때까지 목표 구성을 샘플링하며 RRT-Connect를 실행한다. 가지 표면에서 목표 자세를 직접 샘플링하면 충돌에 매우 가까워져 플래너가 실패하는 경우가 많았다. 이를 완화하기 위해 엔드 이펙터가 가지를 향하도록 유지하면서 목표 자세를 가지 법선 방향으로 5cm 이동시킨다. 유효한 경로를 찾으면 최종 목표 자세를 마지막 구성으로 추가한다.
RRT-Connect는 이산적인 로봇 구성 웨이포인트로 이루어진 실행 가능한 경로를 찾는다. 이러한 경로는 매끄럽지 않으므로 대개 후처리가 필요하다. 경로 위에서 무작위 지점을 샘플링하고 이들을 직접 연결해 더 짧고 매끄러우면서도 실행 가능한 경로를 만드는 후처리 기법인 쇼트커팅을 적용한다.
그렇게 매끄럽게 만든 경로를 5cm 간격으로 다시 샘플링해 촘촘한 웨이포인트 시퀀스를 만든다. 이후 제어 주파수 2Hz에서 엔드 이펙터 속도 명령을 계산해 이 웨이포인트를 궤적으로 변환한다. 연속한 두 웨이포인트마다 속도 벡터를 계산하고, 고정된 제어 간격 안에 엔드 이펙터가 다음 지점에 도달하도록 크기를 조정한다.
데이터셋 생성
관측, 행동, 보상, 다음 관측으로 구성된 전이 튜플을 생성하기 위해 속도 행동 궤적을 시뮬레이션에서 재생하고 각 시간 단계의 전이를 기록한다. 성공적인 구성에서 끝나는 궤적만 보존한다.
궤적 수준의 데이터셋을 구성하기 위해 작업 공간 전체에서 전정 지점을 균일하게 샘플링한다. 전체적으로 1,000개의 서로 다른 나무에서 5,000개의 고유한 전정 지점을 생성하고, UFO와 V-Trellis 각각에 대해 합성 데이터 생성 파이프라인을 적용한다.
실패한 시도를 필터링한 최종 데이터셋은 다음과 같다.
| 아키텍처 | 성공적인 전정 궤적 |
|---|---|
| V-Trellis | 4,282 |
| UFO | 4,424 |
시각운동 전정 정책 학습
근접 정책 최적화(Proximal Policy Optimization, PPO)는 시각운동 전정 정책을 학습하는 데 성공적으로 사용되어 왔다. 최근 연구에 따르면 강화학습에 성공적인 궤적의 오프라인 데이터셋을 결합하면 강화학습만 사용하는 경우보다 성능이 향상될 수 있다. 이러한 결과에 착안해 성공적인 궤적을 합성한 데이터셋으로 학습 과정을 보강한다.
합성 데이터 생성 파이프라인은 시뮬레이션에서 이용 가능한 전체 환경 상태를 사용하지만, 학습된 정책은 부분 관측 아래에서 작동한다. 따라서 이러한 궤적을 그대로 모방하면 최적이 아닌 행동으로 이어질 수 있다. 예를 들어 정책이 관련 가지를 보기 전에 엔드 이펙터를 회전하기 시작할 수 있다.
이 데이터셋에 행동 복제를 직접 적용하면 이러한 비최적 행동이 재현된다. 따라서 우리의 목표는 오프라인 궤적과 온라인 궤적을 이어 붙이면서 오프라인 데이터에 포함된 나쁜 행동에서 효율적으로 벗어나는 알고리즘을 개발하는 것이다.
행동 복제 손실을 온라인 업데이트에 추가하는 PPO와 행동 복제의 결합 방식은 이 문제를 일부 완화할 수 있지만, 비최적 행동을 명시적으로 배제하지는 않는다. 서로 경쟁하는 손실 항은 성능을 저하시킬 수 있다. 실제로 하이브리드 강화학습 알고리즘은 행동 복제 손실만 추가한 기준선보다 자주 더 나은 성능을 보인다.
우리는 오프폴리시 데이터를 보정하기 위해 의사결정별 중요도 샘플링을 도입하고 이를 PPO 프레임워크에 통합하는 하이브리드 근접 정책 최적화 방법을 제안한다. 이를 통해 시뮬레이션 롤아웃과 오프라인 데이터를 동시에 활용할 수 있다.
이러한 어드밴티지 가중 방식은 크리틱이 오프라인 행동의 가중치를 다시 조정할 수 있게 한다. 비최적 행동에 더 낮은 어드밴티지 추정값을 부여하면 정책이 오프라인 데이터셋에서 해당 행동을 선호하는 것을 막을 수 있다.
알고리즘은 전정 작업에서 온라인 전용 PPO 기준선, 오프라인 전용 행동 복제 기준선, 단순한 PPO-행동 복제 결합 기준선과 비교한다.
문제 정의
학습된 정책은 신경망으로 매개변수화된 스쿼시드 가우시안 정책이다. 정책의 평균은 정책 관측값을 조건으로 예측하며, 출력은 스쿼싱 함수를 통과한다. 표준편차는 상태와 무관하며 학습되는 파라미터다.
배포
실험에서는 PyTreesROS로 구축한 행동 트리 아키텍처를 사용해 상위 수준의 의사결정과 작업 순서를 구현했다. 현장 테스트에서 쉽게 조작할 수 있도록 행동 트리에 PlayStation 컨트롤러를 통합해 사용자 상호작용과 수동 오버라이드를 제공했다.
현장 설정
실제 평가에서는 상용 UFO 및 V-Trellis 과수원의 아래쪽 세 트렐리스 와이어에 있는 전정 지점으로 대상을 제한했다. 실험실 설정에서는 아래쪽 두 와이어만 사용했다.
실험 설정
실험 평가는 네 가지 핵심 질문에 답하도록 설계했다.
알고리즘 검증
시뮬레이션된 V-Trellis 구조에서 제안한 Hybrid-PPO 알고리즘은 행동 복제, 표준 PPO, PPO-행동 복제 결합 기준선과 비교해 어떤 성능을 보이는가?
시뮬레이션에서 아키텍처별 정책 평가
철저하고 다양한 시뮬레이션 실험에서 V-Trellis와 Upright Fruiting Offshoots(UFO) 캐노피 아키텍처 모두에 대해 학습된 정책의 전반적인 성능은 어떠한가?
실제 환경의 Sim-to-Real 전이
학습된 정책은 실제 상용 V-Trellis 과수원과 실험용 UFO 과수원에서 운용 조건에 맞춰 별도의 추가 학습 없이 바로 전이될 수 있는가?
RRT-Connect 기준선 비교
실험실 환경의 V-Trellis 나무에서 실제 하드웨어를 사용했을 때 강화학습 정책은 기존 RRT-Connect 모션 플래닝 기준선과 비교해 어떤 성능을 보이는가?
시뮬레이션에서 아키텍처별 정책 평가
작업 공간에서 학습된 정책의 성능을 평가하기 위해 V-Trellis와 UFO 아키텍처 모두에서 위치와 방향에 걸쳐 전정 지점을 균일하게 샘플링하고 철저한 시뮬레이션 실험을 수행한다.
또한 완전한 환경 정보와 충분한 계산 예산을 가진 오라클 RRT-Connect 플래너를 실행해 성공률의 상한선을 설정한다. 이러한 종합적인 시뮬레이션 실험을 통해 모든 가능한 가지 구성을 철저하게 평가할 수 있다. 이는 물리적 현장 실험으로 평가하기에는 물류상 지나치게 어렵고 하드웨어 위험도 크다.
현실에서 정밀하고 잡음이 없는 3차원 메시를 얻는 일은 매우 어렵기 때문에 이러한 설정은 실제 현장 적용에는 비현실적이다. 그러나 이 엄격한 평가는 완벽한 인식이 주어졌을 때 기존 플래너가 달성할 수 있는 절대적인 최선의 성능 한계를 제시한다.
강화학습 정책
학습된 강화학습 정책은 네트워크가 예측한 최우도 행동을 실행하는 방식으로 수행한다. 각 절단 지점에 대해 학습 과정과 마찬가지로 정책을 2Hz에서 100개 시뮬레이션 단계 동안 실행하거나 종료 조건에 도달할 때까지 실행한다.
실제 환경의 Sim-to-Real 전이
학습된 정책의 sim-to-real 전이를 검증하기 위해 두 가지 설정으로 나눈 보고된 실제 실험 횟수에 걸쳐 시스템을 평가한다.
- 구축한 V-Trellis 설정에서 수행한 보고된 통제 실험 횟수.
- 운용 중인 현장 조건에서 상용 V-Trellis 사과 과수원과 실험용 UFO 체리 과수원에 걸쳐 수행한 보고된 야외 현장 실험 횟수.
실험이 수행된 과수원은 미국 워싱턴주 프로서에 위치한다. 야외 현장 실험은 흐린 하늘, 안개, 약한 비, 부분적으로 흐린 날씨, 강한 직사광선 등 다양한 환경 및 대기 조건에서 진행되었다.
V-Trellis와 UFO 아키텍처는 기하 구조가 서로 다르므로 각각에 대해 별도의 정책을 학습하고 배포했다. 공동 학습을 통해 캐노피 유형 간에 공유되는 구조적 표현을 활용할 수 있는지는 향후 연구 과제로 남아 있다.
결과
이 절에서는 네 가지 연구 질문에 대한 결과를 제시한다.
알고리즘 검증
Hybrid-PPO는 행동 복제, 표준 PPO, PPO-행동 복제 결합 기준선보다 높은 평균 성공률을 달성한다.
시뮬레이션에서 아키텍처별 정책 평가
철저한 시뮬레이션 실험에서 정책은 V-Trellis 아키텍처에서 보고된 성공률, UFO 아키텍처에서 보고된 성공률을 달성하며 기존 벤치마크 성능을 향상시킨다.
실제 환경의 Sim-to-Real 전이
학습된 정책은 다양한 야외 환경 조건에서 보고된 현장 실험 횟수와 보고된 실험실 실험 횟수에 걸쳐 별도의 추가 학습 없이 성공적으로 실행된다.
RRT-Connect 기준선 비교
실제 하드웨어에서 강화학습 제어기는 재구성한 포인트 클라우드를 사용하는 기존 RRT-Connect 플래너보다 전체 성공률이 높다.
다음 절에서 이러한 결과를 자세히 설명한다.
알고리즘 검증
세 개의 무작위 시드로 각 방법의 학습 보상 곡선을 비교한 결과, 표준 PPO는 시드에 따른 분산이 눈에 띄게 높았다. Hybrid-PPO와 PPO-행동 복제 결합 방식은 방법 간 보상 분포가 겹치는데도 일관되게 더 높은 평균 보상을 달성했다.
원시 보상 크기는 작업 수행과 항상 직접적으로 상관하지 않는다. 보상 형성이 어긋나 있거나 보상 해킹이 발생하는 경우가 흔하기 때문이다. 따라서 주요 평가는 실제 전정 성공을 직접 측정하는 작업 성공률을 기준으로 삼았다.
자주 묻는 질문
전정 작업에는 어떤 로봇을 사용하는가? 이 작업에서는 전정 커터가 장착된 UR5e 로봇을 사용한다.
정책은 무엇을 관측하는가? 정책은 절단 지점 목표, 광류 이미지, 로봇 고유감각 정보를 관측한다.
합성 학습 데이터는 어떻게 생성하는가? RRT-Connect가 샘플링된 엔드 이펙터 구성에서 충돌 없는 궤적을 생성하고, 이를 시뮬레이션에서 재생해 전이 튜플을 만든다.
이 방법은 왜 특권 크리틱을 사용하는가? 특권 크리틱은 학습 중에만 이용할 수 있는 나무 기하 구조 특징을 사용해 오프라인 행동의 가중치를 다시 조정하면서, 배포된 정책은 부분 관측 상태로 유지한다.