LiDAR와 비전으로 논 잡초를 관리하는 자율주행 트랙터 (2026)

정밀 농업은 필요한 곳에만 자원을 투입해 작물 수확량을 높이는 동시에 자원 낭비를 최소화하는 것을 목표로 한다. 벼농사에서 특히 중요한 과제 중 하나는 잡초 관리다. 기존의 광역 제초제 살포 방식은 잡초가 없는 곳에도 약제를 뿌려 화학물질을 낭비하고 작물에 피해를 줄 수 있다. 작물 열 사이를 주행하고, 실시간으로 잡초를 감지하며, 잡초가 확인된 위치에만 약제를 살포하는 자율주행 트랙터라면 제초제 사용량과 인건비를 크게 줄일 수 있다.

시스템 개요

이 논문은 이러한 세 가지 과제를 하나의 통합 시스템으로 해결하기 위해 Florida Gulf Coast University에서 설계·구현한 자율주행 논 트랙터 AgriNav를 소개한다. 시스템 아키텍처는 Robot Operating System(ROS)을 통해 통신하는 세 개의 협력 모듈로 구성된다. 전체 데이터 흐름은 원시 센서 입력에서 인식과 위치 추정에 이르기까지 이어진다.

세 모듈은 다음과 같다.

두 가지 병렬 구현을 갖춘 비전 기반 객체 검출 하위 시스템이다. 하나는 WeedDet를 충실히 재구현한 버전이고, 다른 하나는 CPU에서 학습할 수 있는 경량 버전이다. 여기에 벼 클래스를 보호하는 역논리 판별 모듈이 더해진다.
LiDAR 기반 작물 열 검출 모듈이다. 주행 기준점을 제공하는 동시에 카메라 처리 파이프라인에 관심 영역 마스크를 전달한다.
GNSS, IMU, 휠 오도메트리를 융합하는 6상태 EKF와, 수관 아래에서 작동하는 별도의 LiDAR-IMU EKF로 구성된 융합 위치 추정 스택이다.

시스템 차원의 핵심 통합 지점은 LiDAR-카메라 브리지다. 주행에 사용하는 동일한 2D LiDAR가 카메라 파이프라인에 투영된 열 경계 마스크를 전달하고, 카메라 파이프라인은 이를 이용해 추론 영역을 제한한다. 이 단일 채널은 검출 연산량을 약 30~50% 줄이고, 열 사이 영역 바깥의 오검출을 제거하며, 살포 액추에이터에 필요한 월드 좌표계 지면 투영 정보를 제공한다. 또한 이 방식은 이미 주행을 위해 플랫폼에 탑재된 센서를 활용하므로 추가 하드웨어 없이 소프트웨어만으로 통합할 수 있다.

기술적 기여

이 연구의 기술적 기여는 다음과 같다.

하드코딩된 벼 차단 기능을 적용한 역논리 판별

판별 모듈은 비대칭 비용 문제를 해결하기 위해 신뢰도 게이트로 벼 클래스를 보호한다. 이 게이트는 이후 어떤 모듈에서도 무시할 수 없다.

EKF 추적을 적용한 LiDAR 작물 열 검출

K-means 클러스터링과 RANSAC 파이프라인으로 좌우 경계를 추출하고, 각 열을 독립적인 2상태 EKF로 추적한다. LiDAR가 잠시 가려지는 동안에도 예측 전용 모드로 추적을 유지할 수 있다.

3단계 GNSS 두절 보간 기능을 갖춘 6상태 CVTR EKF

일정 속도·선회율 기반 위치 추정 필터가 GNSS, IMU, 휠 오도메트리를 융합하고, AVAILABLE, DEGRADED, OUTAGE의 세 가지 상태를 명시적으로 모델링한다. 추측 항법 중에는 프로세스 잡음을 선형적으로 증가시키며, 시뮬레이터의 실제값을 기준으로 위치 드리프트를 2.46 m 이내로 제한한 20초간의 GNSS 차단 시뮬레이션을 통해 검증했다.

네 가지 메커니즘으로 구성된 LiDAR-카메라 융합 브리지

주요 시스템 차원의 기여는 관심 영역 마스킹, 바운딩 박스의 월드 좌표 투영, 지면 필터링, 양방향 신뢰도 융합으로 구성된다. 네 메커니즘 모두 주행에 이미 사용 중인 센서를 활용하므로 추가 하드웨어가 필요하지 않다.

ROS 기반 종단 간 통합

정의된 ROS 토픽 인터페이스 계약은 클래스별 비대칭 임계값과 다운스트림 시간 정렬 융합을 위한 타임스탬프 메시지를 규정한다.

LiDAR 기반 작물 열 검출

Liu 연구진은 조명, 그림자, 식생 밀도가 변하는 환경에서 기존의 비전 기반 열 추종이 불안정해지는 농경지 수관 위 자율주행 문제를 다뤘다. 이들은 먼저 K-means 클러스터링으로 LiDAR 점군을 좌우 작물 열 클러스터로 분할한 뒤, RANSAC으로 각 클러스터에 직선을 맞춰 열의 기하 정보를 추출하고, 마지막으로 Extended Kalman Filter를 사용해 시간에 따라 각 열을 추적하는 파이프라인을 제안했다.

이 시스템은 옥수수와 대두가 여러 생육 단계로 자라는 Gazebo 시뮬레이션 환경에서 실물 크기의 Amiga 로봇을 이용해 검증됐다. 잡초와 열 단절이 포함된 까다로운 시나리오도 평가에 포함됐다.

수관 아래 열 추종을 위한 다중 센서 융합

Higuti 연구진은 수관 아래에서 운용되는 소형 농업 로봇의 자율 열 추종 신뢰성 문제를 다뤘다. IMU 데이터를 LiDAR 측정값과 Extended Kalman Filter로 융합하면 센서 잡음, 부분적인 가림, 짧은 열 간극이 발생해도 주행 연속성이 크게 향상된다는 사실을 보였다.

EKF 기반 센서 융합을 적용하자 큰 간극이 없는 밭에서 수동 개입 사이의 평균 주행 거리가 EKF를 사용하지 않았을 때의 51.6 m에서 400 m로 늘어 약 7.7배 향상됐다.

LIO-EKF: 고주파 LiDAR-관성 오도메트리

Wu 연구진은 고전적인 EKF 기반 방식이 LiDAR-관성 오도메트리 분야에서 최신 팩터 그래프 및 최적화 기반 접근법과 여전히 경쟁력을 갖는지 검토했다. 이들은 점대점 정합과 고전적 EKF 구조를 결합한 경량 시스템 LIO-EKF를 제안했다. LIO-EKF는 100 Hz IMU 프레임 속도에 가까운 자세 추정을 수행하면서도 더 복잡한 방법에 필적하는 정확도를 달성한다.

이 결과는 계산 구조가 단순하고 지연 시간을 예측할 수 있어야 하는 실시간 로봇 애플리케이션에서 고전적인 EKF 정식화가 여전히 강력한 선택임을 보여준다.

AgriNav에서의 적용

AgriNav가 LIO-EKF를 직접 구현한 것은 아니지만, 이 결과는 위치 추정 스택 전반에 슬라이딩 윈도우 최적화기나 팩터 그래프 대신 고전적 EKF를 사용하는 아키텍처 선택에 근거를 제공한다. 위치 추정 스택은 이 원칙을 GNSS-IMU-오도메트리 융합에 적용해 수관 아래 논 환경에서의 견고성을 확보하고, 더 단순한 튜닝과 예측 가능한 실시간 성능을 달성하고자 한다.

기반 검출 구성 요소

다른 여러 연구는 수정 대상이 아니라 직접적인 구성 요소로 활용됐다.

Smooth L1 손실은 이상치에 강한 바운딩 박스 회귀를 제공한다. Generalized IoU 손실은 예측 박스와 정답 박스가 겹치지 않을 때도 0이 아닌 그래디언트를 제공해 초기 학습 단계에서 Smooth L1을 보완한다.

DeepWeeds 데이터셋과 벤치마킹 연구는 유사한 아키텍처의 일반적인 성능 범위를 제시했으며, 더 높은 학습 해상도에서 기대할 수 있는 성능 한계를 설정하는 데 근거가 됐다.

WeedDet: 실시간 논 잡초 검출을 위한 개선된 RetinaNet

AgriNav를 위해 개발된 검출 로직은 일반적인 잡초 검출 파이프라인과 의도적으로 반대 방향으로 설계됐다. 잡초 종을 일일이 분류하는 대신, 시스템은 단일 벼 클래스를 높은 신뢰도로 식별하고 신뢰도 높은 벼 영역에 속하지 않는 모든 대상을 잡초로 간주한다.

이 접근은 위험 비용이 비대칭이라는 판단에 기반한다. 벼를 놓치는 오검출 누락은 작물에 제초제 피해를 줄 수 있으므로, 잡초를 놓치는 것보다 본질적으로 더 심각하다. 이 분야의 기반 연구 두 편 모두 손실 함수, 평가 지표, 액추에이션 정책에서 이러한 비대칭성을 다루지 않았다.

WeedDet 아키텍처

검출 모델은 RetinaNet을 기반으로 단일 클래스 벼 검출 작업에 맞게 수정한 WeedDet의 PyTorch 커스텀 구현이다. 이 아키텍처는 기본 RetinaNet에 세 가지 구조적 변경을 적용했다.

효율적인 특징 피라미드 네트워크

넥은 3단계 특징 피라미드 네트워크로 구성된다. 측방향 1×1 합성곱은 C3, C4, C5를 256개 채널로 줄인다. 상향식이 아닌 하향식 업샘플링과 덧셈 융합을 통해 P3, P4, P5를 생성한다.

기본 RetinaNet의 P6와 P7 단계는 의도적으로 제외했다. 식물 크기의 객체에서는 여러 옥타브에 걸친 극단적 스케일 처리가 필요하지 않기 때문에, 이를 생략해도 정확도 손실 없이 약 771만 개의 파라미터를 절약할 수 있다.

데이터 파이프라인

Roboflow에서 단일 벼 검출 데이터셋을 수집했으며, 식물별 바운딩 박스가 정밀하게 주석 처리된 약 4,041개의 이미지로 구성됐다. 가로 뒤집기와 노이즈 주입을 통해 1,347개의 증강 이미지를 추가로 생성했다. 두 데이터셋 모두 Pascal VOC XML 형식으로 내보냈다.

학습 설정 및 결과

먼저 데이터 파이프라인의 정상 작동 여부를 확인하기 위해 기본 torchvision retinanet_resnet50_fpn을 학습했다. 하이퍼파라미터는 다음과 같다.

옵티마이저: SGD
학습률: 0.001
모멘텀: 0.9
가중치 감쇠: 정규화 계수이며 수치값은 제공되지 않음
배치 크기: 2
스케줄러: 9번째 에포크 이후 곱셈 계수 0.1을 적용하는 StepLR
그래디언트 클리핑: 최대 노름 1.0
총 학습 기간: 12 에포크

기본 모델은 평균 손실 약 0.63으로 수렴했다.

커스텀 WeedDet 모델은 Google Colab의 실행 시간 제한으로 여러 세션에 걸쳐 94 에포크 동안 학습했다. 설정은 다음과 같다.

옵티마이저: SGD
초기 학습률: 0.01
모멘텀: 0.9
가중치 감쇠: 정규화 계수이며 수치값은 제공되지 않음
배치 크기: 2
그래디언트 클리핑: 최대 노름 1.0
학습률 스케줄: 웜 리스타트를 적용한 코사인 스케줄

학습 데이터에는 가로 뒤집기, 무작위 이동, 무작위 밝기 변화, 가우시안 블러, CLAHE를 적용해 증강했다. 검증 손실이 학습 손실에서 벗어나기 시작해 과적합이 나타나는 시점에 학습을 중단했다. 관측된 최저 손실은 약 1.2346이었다.

정량적인 mAP 평가는 연구 범위 내에서 완료하지 못했으며, 이는 한계로 인정된다. 검증은 정성적으로 수행했다.

벼 줄기가 겹쳐 있는 조밀한 지상 논 이미지에서 학습된 모델은 신뢰도 0.32~0.88로 벼 인스턴스 약 60개를 검출했다. 밝은 자갈 위에 어린 벼가 서로 떨어져 있는 희소한 항공 시점 이미지에서는 신뢰도 0.33~0.77로 약 22개를 검출했다. 물과 진흙의 대비가 큰 침수 후 이미지에서는 검출 신뢰도가 0.40~0.95로 나타났다.

판별 모듈: 반전 방식의 벼 보호

판별 모듈은 검출 모델과 살포 액추에이터 사이에 위치한다. 이 모듈은 검출 목록을 각 노즐의 제초제 살포 여부로 변환한다. 높은 신뢰도의 벼 바운딩 박스로 덮이지 않은 모든 이미지 영역은 잠재적 잡초 구역으로 분류된다.

살포 밸브가 열리기 전에 모든 살포 후보는 다음 두 조건을 동시에 요구하는 신뢰도 게이트를 통과해야 한다.

벼 검출의 IoU 인지 분류 점수가 0.5를 초과해야 한다.
예측 클래스가 벼가 아니어야 한다.

두 번째 조건이 하드코딩된 벼 차단 기능이다. 벼 클래스가 어떤 신뢰도에서든 예측되면 spray = False를 무조건 반환하도록 구현됐다. 이 차단 기능은 이후 어떤 모듈에서도 무시할 수 없다.

선택적으로 Excess Green에서 Excess Red를 뺀(ExGR) 전처리 변환을 사용할 수 있다. 이 변환은 정규화된 초과 적색 강도를 정규화된 초과 녹색 강도에서 빼서 녹색 식물 물질과 토양 또는 물 배경의 대비를 높인다.

ExGR은 주변 조명에 따라 효과가 달라지므로 고정된 구성 요소가 아니라 조정 가능한 전처리 옵션으로 취급한다.

추론 후처리

추론 과정에서는 클래스별 신뢰도 임계값을 넘는 앵커를 유지하고, IoU 임계값 0.45에서 비최대 억제(Non-Maximum Suppression)를 적용해 중복 검출을 제거한다. 원문은 권장되는 비대칭 임계값을 언급하지만, 그 수치값은 제공하지 않는다.

이러한 비대칭 임계값은 작업의 비용 비대칭성을 반영한다. 잡초를 놓치면 나중에 보완할 수 있지만, 벼를 놓치면 작물에 제초제가 살포될 수 있다. 다운스트림 판별 모듈이 2단계 필터 역할을 하므로, 검출 모듈은 의도적으로 높은 재현율을 목표로 조정됐다.

검출 성능

경량 모델은 원문에 학습 해상도가 제시되지 않음 조건에서 CPU로 12 에포크 동안 학습했다. 코사인 어닐링을 적용했을 때 손실 수렴은 안정적으로 나타났다. 테스트 분할에 대한 검출 결과는 표에 언급되어 있지만, 제공된 본문에는 표 데이터가 포함되어 있지 않다.

AP@IoU0.5 지표에서는 예측 박스가 정답과 최소 50% 이상 겹쳐야 한다. 원문에 이미지 해상도가 제시되지 않음 조건에서는 작은 잡초 인스턴스가 불과 몇 픽셀에 걸쳐 나타나므로 정밀한 위치 추정이 어렵다. 그 결과 정확한 영역을 찾았더라도 IoU가 0.5 아래로 떨어질 수 있다. 이는 아키텍처의 한계가 아니라 학습 해상도에서 비롯된 현상이다.

모델의 분류 능력은 신뢰도 분포를 통해 확인된다. 잡초 영역은 최대 0.995의 점수를 받았으며, 정성적 검토에서도 잡초 군집의 공간적 위치를 정확히 찾아낸 것으로 나타났다.

전체 시스템 관점에서 이는 의도된 동작이다. 검출 모듈이 높은 재현율의 후보를 생성하고, 뒤따르는 판별 모듈이 실제 살포 전에 오검출을 걸러낸다. 원문에 이미지 해상도가 제시되지 않음 조건에서 GPU로 충분히 학습하면 잡초 AP가 30%를 넘고 mAP가 60%를 넘을 것으로 예상된다. 이는 유사한 아키텍처에 대해 문헌에서 보고된 결과와도 일치한다.

LiDAR 기반 작물 열 검출

LiDAR 기반 열 검출 모듈은 비전만 사용하는 접근법이 불안정해지는 환경에서 열 주행을 지원하도록 설계됐다. 조명 변화, 그림자, 불규칙한 식생은 카메라 기반 방법의 성능을 저하시킬 수 있다. LiDAR는 이러한 조건에 대체로 영향을 받지 않는 기하학적 구조를 제공하며, 해석 가능한 필터링과 직선 피팅 단계로 처리할 수 있다.

처리 순서는 LiDAR 스캔, 거리 및 기하 필터링, 열 경계 추출, 중심선 추정으로 이어진다.

들어오는 각 LaserScan 메시지는 로봇 좌표계의 직교 좌표로 변환된다. 점들은 좌우 클러스터로 나뉘고 예상되는 열 간격을 기준으로 필터링된다. 각 측면 안에서는 K-means 클러스터링을 적용해 같은 열에 속한 점들을 묶는다. 이후 RANSAC 직선 피팅으로 100회 반복과 0.05 m 인라이어 임계값을 사용해 열의 파라미터를 추출한다.

필터링된 점 클러스터, 피팅된 경계선, 중심선 등 이 파이프라인의 중간 출력은 해석하고 시각화하기 쉽다. 각 단계에서 디버깅과 검증을 수행할 수 있다는 점은 종단 간 블랙박스 방식에 비해 실용적인 장점이다.