본 연구에서는 RGB-D 입력을 처리하고 어포던스 맵을 제어 로직에 전달하는 엔드투엔드 파이프라인을 설계하기 위해 두 가지 접근법을 검토한다. 이 작업은 센서와 연결된 소형 회로를 휴대형 프레임워크 안에 통합해 수행된다. 두 접근법 모두에서 핵심 과제는 정확도 요구사항을 충족하는 동시에 에너지 소비와 실시간 성능 제약을 만족하는 임베디드 디바이스에서 실행되는 엔드투엔드 파이프라인을 개발하는 것이다.
하드웨어 인지 신경망 아키텍처 탐색
HW-NAS는 대상 하드웨어 플랫폼에 맞춰 네트워크 아키텍처를 설계할 수 있기 때문에, 일반적으로 초소형이면서 하드웨어 효율적인 DNN 모델을 개발하는 데 활용된다. HW-NAS를 적용하려면 탐색 공간, 선택 기준, 탐색 전략을 정의해야 한다.
탐색 공간은 허용 가능한 후보 네트워크의 집합을 의미한다. 여러 연구에서 탐색 공간의 설계가 최종 성능에 결정적인 영향을 미친다는 사실이 밝혀졌다. 범용으로 사용할 수 있는 대표적인 탐색 공간도 이미 정립되어 있다.
RGB-D 데이터를 위한 DNN 기반 효율적 휴대형 센싱 시스템 설계
RGB-D 입력을 처리하고 어포던스 맵을 제어 로직에 전달하는 엔드투엔드 파이프라인을 설계하기 위해 두 가지 접근법을 검토한다. 이 작업은 센서와 연결된 소형 회로를 휴대형 프레임워크 안에 통합해 수행된다.
두 접근법에서 공통적으로 해결해야 할 핵심 과제는 a) 정확도 요구사항을 충족하고, b) 에너지 소비와 실시간 성능 제약을 만족하는 임베디드 디바이스에서 실행되는 엔드투엔드 파이프라인을 개발하는 것이다.
파인튜닝 기반 접근법
HW-NAS에는 몇 가지 한계가 있을 수 있다. 첫째, 학습에 상당한 연산 비용이 필요할 수 있다. 둘째, 대규모 라벨링 데이터셋이 요구된다. 어포던스 세그멘테이션을 위한 라벨 마스크를 확보하는 데 많은 시간이 들기 때문에 적용 범위가 제한될 수 있다. 마지막으로 어포던스의 정의는 맥락에 따라 달라질 수 있으며, 그에 따라 네트워크를 다시 학습해야 할 수도 있다.
이에 따라 HW-NAS를 사용하지 않는 대안적 설계 전략을 고안했다. 핵심 목표는 RGB 입력에 최적화된 사전 학습 아키텍처에 깊이 정보를 포함하도록 파인튜닝하는 것이다.
추가 레이어를 아키텍처에 통합하고, 해당 필터 값은 일반적인 역전파를 통해 학습한다. 이를 통해 기존 가중치 구성을 유지하면서 입력 매핑을 최적화할 수 있다. 딥 네트워크의 기반 레이어를 변경하면 파인튜닝의 취지가 훼손되는 것 아니냐는 의문이 제기될 수 있다. 일반적으로 재학습은 최상위 레이어에 영향을 주기 때문이다. 그러나 깊이 맵은 RGB 데이터와 구조적으로 유사한 부분이 많다. 따라서 RGB 이미지에 최적화된 특징은 깊이 데이터에도 잘 작동할 가능성이 높다. 덕분에 최적화 과정에서 저수준 특징을 조정하고 깊이 정보를 통합하면서도 원래 네트워크 구성에는 큰 영향을 주지 않을 수 있다.
실험 설정
코드는 TensorFlow와 Keras 라이브러리를 사용해 Python으로 개발했다. 벤치마크에는 널리 알려진 두 데이터셋인 UMD와 IIT를 사용했다. University of Maryland(UMD) 데이터셋은 7개 물체 범주에 걸친 28,843장의 RGB-D 이미지로 구성되며, 각 물체를 여러 각도에서 촬영한 이미지가 포함되어 있어 프레이밍 변화에 대한 모델의 대응 능력을 평가할 수 있다.
Italian Institute of Technology(IIT) 데이터셋은 다양한 프레이밍, 조명 조건, 가림 정도, 해상도에서 촬영한 8,835장의 이미지로 구성된다. 각 데이터셋은 서로 다른 물체 집합을 포함하므로 독립적인 벤치마크로 활용된다.
검증 세트는 표준 홀드아웃 방식을 사용해 학습 세트에서 구성했으며, 테스트 패턴은 파라미터나 하이퍼파라미터 조정에 전혀 사용하지 않았다.
파인튜닝 기반 접근법에서는 MobileNetV3를 백본으로 채택했다. MobileNetV3는 ImageNet 분류와 같은 일반적인 컴퓨터 비전 작업에서 만족스러운 성능을 유지하면서도 연산 요구량이 비교적 낮다. ImageNet 데이터셋으로 사전 학습된 모델 체크포인트는 Keras 애플리케이션 저장소에서 내려받았다. 원 논문에서 설명한 동일한 세그멘테이션 헤드를 아키텍처에 통합했다. NAS로 최종 선택된 아키텍처에 사용한 설정도 파인튜닝 과정에 동일하게 적용했다.
네트워크의 하드웨어 요구사항은 파라미터 수와 FLOPS를 사용해 추정했다. 이 지표는 실제 배포 대상 디바이스와 무관한 추정치를 제공한다. 다만 하드웨어를 직접 연결한 상태에서 측정하는 대상 하드웨어별 지표는 사용하는 SDK에 따라 다른 경향을 보일 수 있다.
깊이 정보의 효율적 활용
제안한 접근법이 깊이 정보를 얼마나 효율적으로 활용하는지는 일반화 성능과 하드웨어 요구사항을 함께 분석해 평가했다. 그림 2는 깊이 데이터 사용 여부에 따른 두 접근법의 UMD 데이터셋 일반화 성능을 보여준다. 두 경우 모두 레이더 플롯에는 세 가지 클래스의 정확도와 평균 분류 점수가 표시되며, RGB-D 데이터를 입력으로 받는 엔드투엔드 파이프라인을 RGB 데이터만 입력으로 받는 파이프라인과 비교했다.
HW-NAS 접근법에서는 깊이 정보를 사용하지 않는 실험에서 깊이 백본을 제거해 탐색 공간을 단순화했다. 깊이 정보를 활용하자 모든 클래스에서 정확도가 향상됐다. 특히 일반적으로 더 어려운 'Grasp'와 'Don't Grasp' 클래스에서 각각 2.8%씩 가장 큰 개선폭이 나타났다.
파인튜닝 기반 접근법에서도 깊이 데이터를 사용한 네트워크는 'Grasp'와 'Don't Grasp' 클래스에서 기준 모델보다 각각 2.6%와 3.6% 높은 성능을 보였다. 'Background' 클래스에서는 0.3%의 미미한 성능 저하가 관찰됐는데, 이는 최적화 과정의 통계적 변동에 따른 결과일 수 있다. 두 실험 모두 깊이 정보가 모델의 일반화 성능 향상에 기여한다는 사실을 확인했다.
입력 크기가 성능에 미치는 영향
FLOPS는 여전히 추론 시간을 추정하는 가장 적절한 디바이스 비종속 지표다. 연산 장치의 코어 수가 적을수록 이 추정치의 신뢰도는 높아진다. 예를 들어 마이크로컨트롤러에서는 FLOPS와 추론 시간의 상관관계가 1에 가까워진다.
출력 분석
깊이 센서가 어포던스 세그멘테이션에 미치는 실제 영향은 물체에 따라 크게 달라질 수 있다. Unreal Engine 5로 생성한 테스트 세트를 사용해 분석을 수행했다. 이 방식에서는 시뮬레이터를 활용해 RGB-D 이미지와 어포던스 마스크로 구성된 테스트 패턴을 생성함으로써, 비용 효율적으로 다양한 이미지를 대량 제작할 수 있었다.
UMD 데이터셋에서 사용된 것과 동일한 클래스에 속하는 물체로 2,000장의 테스트 세트를 구성했다. 이후 UMD로 학습한 모델을 이 테스트 세트에서 평가한 결과, 깊이 정보를 사용했을 때 평균 정확도가 11.5% 향상됐다. 시뮬레이터로 생성한 이미지에서 흔히 발생하는 도메인 간 차이를 완화하기 위해 데이터 증강을 적용하자 이 격차는 4.6%로 줄어들었다. 이러한 결과는 깊이 정보가 제공하는 기하학적 정보 덕분에 보지 못한 테스트 물체에 대한 일반화 성능을 높일 수 있음을 보여준다.
임베디드 가속기 배포
RGB-D 데이터를 사용하는 두 제안 모델을 널리 활용되는 RGB-D 카메라인 RealSense 카메라와 연결한 Jetson Nano 프로토타입에 배포했다. Jetson Nano는 사용 가능한 임베디드 가속기 중 성능과 전력 소비의 균형이 뛰어나 선택했다.
비교 대상은 네 가지 모델이었다. NAS RGBD와 Mob3 RGBD의 기본 TensorFlow 구현, 그리고 TRT 옵티마이저를 사용해 float16 양자화를 적용한 NAS RGBD와 Mob3 RGBD의 최적화 버전(_opt)이다.
지연 시간과 메모리 사용량에 관한 모든 데이터는 카메라로 촬영한 RGB-D 이미지에 대해 100회 추론을 수행해 얻었다. 별도로 명시하지 않은 경우 보고된 지표는 평균값이다. 메모리 사용량은 운영체제 유틸리티를 사용해 모니터링했다. 전력 소비량은 전력계를 이용해 보드 전원 입력부에서 소모되는 전류를 측정했다. 프레이밍 조건은 입력 이미지와 무관하게 하드웨어 요구사항이 결정되므로 하드웨어 요구사항에는 큰 영향을 주지 않았다.
첫 번째 분석에서는 Jetson Nano의 두 전력 설정인 5W와 10W에서 모델의 추론 시간을 평가했다. 두 경우 모두 해당 값은 추정된 최대 피크 전력 소비량을 의미한다. 표에는 각 모델이 한 프레임을 처리하는 데 필요한 시간과 초당 프레임 수로 나타낸 프레임률이 제시되어 있다.
결과를 보면 최적화가 두 모델의 추론 시간에 큰 영향을 미쳤다. 두 최적화 버전 모두 120ms 이내에 추론을 완료해, 사람 사용자를 대상으로 하는 실시간 작업에 적합한 비교적 빠른 처리를 지원했다.
결론
본 논문에서는 웨어러블 센싱 시스템에 어포던스 세그멘테이션을 배포하기 위한 두 가지 설계 전략을 분석했다. RGB-D 센서를 센싱 파이프라인에 포함하면 RGB 카메라만 사용하는 구성보다 일반화 성능을 향상할 수 있다는 결과를 얻었다. 두 개의 잘 알려진 실제 환경 벤치마크에서 광범위한 실험을 수행한 결과, 제안한 전략으로 일반화 성능과 하드웨어 요구사항 측면에서 파레토 최적 프런트에 위치하는 아키텍처를 생성할 수 있음이 입증됐다. 제안한 전략으로 생성한 아키텍처는 Jetson Nano와 RealSense RGB-D 카메라 기반 프로토타입에서 허용 가능한 전력 소비량으로 이미지를 실시간 처리할 수 있었다.
현재 버전의 시스템은 전경 이미지에 대해 평가되었으며, 사용자가 올바른 프레이밍을 직접 맞춰야 한다. 이는 실제 사용에서 어려움이 될 수 있다. 향후 버전에는 물체 위치 추정 기능을 추가해 더 단순한 프레이밍 설정을 지원할 예정이다. 또한 전용 탐색 공간을 설계하거나 위치 인코딩을 사용하는 모델에 맞게 파인튜닝 접근법을 조정해, 동일한 기법을 트랜스포머 모델에도 적용할 계획이다. 제안 시스템을 전체 제어 파이프라인에 포함하는 반자율 파이프라인에서 사용자가 체감하는 이점을 확인하려면 임상시험도 필요하다. 이를 통해 효율적인 어포던스 세그멘테이션이 사용자 상호작용을 어떻게 개선하는지 심층적으로 분석할 수 있을 것이다.
자주 묻는 질문
이 논문에서 RGB-D 어포던스 세그멘테이션을 위해 검토한 두 가지 주요 설계 전략은 무엇인가? 이 논문에서는 하드웨어 인지 신경망 아키텍처 탐색(HW-NAS)과 파인튜닝 기반 접근법을 검토한다. 파인튜닝 기반 접근법은 사전 학습된 RGB 모델에 학습 가능한 입력 레이어를 추가해 깊이 정보를 통합한다.
깊이 정보는 클래스별 정확도를 얼마나 향상하는가? 깊이 정보를 사용하면 HW-NAS에서 'Grasp'와 'Don't Grasp' 클래스의 정확도가 최대 2.8% 향상된다. 파인튜닝 접근법에서는 2.6~3.6% 향상되며, 'Background' 클래스의 정확도는 거의 변하지 않는다.
제안한 모델은 임베디드 하드웨어에서 실시간으로 실행할 수 있는가? 그렇다. 두 최적화 모델 모두 RealSense RGB-D 카메라와 연결된 Jetson Nano에서 120ms 이내의 추론 시간을 달성해 사용자 대상 실시간 동작을 지원했다.
이 시스템의 향후 연구 방향은 무엇인가? 향후에는 더 간단한 프레이밍을 위해 물체 위치 추정 기능을 추가하고, 이 기법을 트랜스포머 모델로 확장할 예정이다. 또한 완전한 반자율 제어 파이프라인에서 사용자가 얻는 이점을 평가하기 위한 임상시험도 진행할 계획이다.