AI는 시선·움직임·영상으로 운전자 기능 저하 감지를 학습한다

AI는 시선·움직임·영상으로 운전자 기능 저하 감지를 학습한다

John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell +5개 더

6 분 읽기•2026년 11월 18일

운전자의 시선, 차량 움직임, 도로 영상, 기능 저하 라벨을 함께 학습하는 AI 모델은 운전자 기능 저하 감지 성능을 높이는 동시에 운전자가 바라보는 곳과 차량의 움직임도 예측합니다. 이 연구는 ID-MAE 모델과 103시간 분량의 시뮬레이터 데이터셋 DIVERT를 결합했습니다. 109명의 참가자와 여러 통제된 기능 저하 시나리오를 포함하는 이 데이터셋은 위험한 사람 행동을 인식해야 하는 시스템을 연구하는 데 더 풍부한 시험 환경을 제공합니다.

연구진은 무엇을 개발했나요?

연구진은 다중 모달리티 AI 모델 Impaired Driving MAE, 즉 ID-MAE와 DIVERT라는 주행 데이터셋을 개발했습니다. ID-MAE는 여러 신호, 즉 시선, 차량 궤적, 주행 장면 영상, 운전자의 기능 저하 상태를 설명하는 라벨을 함께 학습해 운전자 기능 저하를 감지하도록 설계되었습니다. 기능 저하 여부만 분류하는 것이 아니라 시선과 차량 움직임도 예측하도록 학습합니다.

DIVERT는 이러한 모델의 개발과 평가에 활용할 수 있는 데이터를 확충합니다. 연구진은 통제된 주행 과제와 위험 상황을 설정한 CARLA 주행 시뮬레이터에서 데이터를 수집했습니다. 전체 데이터셋에는 109명의 참가자가 주행한 103.3시간 분량의 데이터가 포함됩니다. 이 가운데 46.42시간은 유도된 기능 저하 상황으로, 인지적 주의 분산, 좌절 및 스트레스, 시각적 주의 분산, 인지 부하 등 네 가지 범주에 걸친 10가지 기법을 포함합니다.

이 데이터셋은 규모가 작거나 영상·움직임 데이터가 없고, 차량 자동화 수준이 제각각이거나 기능 저하 유형이 제한적이었던 기존 데이터셋의 공백을 보완하기 위해 만들어졌습니다. DIVERT는 풍부한 데이터 모달리티를 일관되게 제공하면서 다양한 조건을 포괄합니다.

ID-MAE의 다중 모달리티 인코더-디코더 아키텍처 개요

주요 결과는 무엇인가요?

ID-MAE는 DIVERT와 기존 Impaired Driving Dataset(IDD)에서 연구진이 평가한 기준 모델보다 우수한 성능을 보였습니다. 또한 마스킹된 시선 및 궤적 데이터를 복원하는 학습 방식은 기능 저하 라벨만으로 학습하는 것보다 기능 저하 감지 성능을 높였다고 논문은 보고합니다. 다시 말해, 모델이 운전자 행동의 패턴을 학습하도록 하는 것은 분류 과제 자체를 넘어 유용한 학습 신호를 제공합니다.

저자들은 기능 저하 유형별 결과도 살펴보고 여러 유형을 함께 학습할 때의 이점을 평가합니다. 한 가지 기능 저하 범주로 학습한 감지기가 다른 범주에는 잘 적용되지 않을 수 있으므로 이는 중요합니다. 여러 유형을 함께 학습하면 모델은 공통된 행동 패턴을 학습하면서도 각 기능 저하 범주를 개별적으로 평가할 수 있습니다.

제공된 논문 본문에는 감지 점수나 AUC 값의 수치가 포함되어 있지 않아 성능 향상의 규모를 여기에서 제시할 수는 없습니다. 다만 데이터셋 규모는 참고할 만합니다. DIVERT는 참가자 109명의 총 103.3시간 분량을 포함하며, IDD는 참가자 52명의 23.7시간 분량으로 구성되어 있고 진술 이해, 1-back 과제, 알코올 중독 등 세 가지 기능 저하 조건을 다룹니다. 연구 결과는 이 접근법을 뒷받침하지만, 점수 세부 정보가 없어 성능 향상 폭을 직접 비교하기는 어렵습니다.

DIVERT 데이터에 포함된 주행 위험 상황의 예

ID-MAE는 어떻게 작동하나요?

ID-MAE는 인코더-디코더 트랜스포머를 사용합니다. 이는 정보의 시퀀스를 처리하고 각 요소 사이의 관계를 학습하는 신경망입니다. 카메라 프레임이나 시선 측정값을 각각 독립된 입력으로 취급하는 대신, 영상, 시선, 차량 궤적, 기능 저하 정보를 하나의 모델로 통합합니다.

학습 방식은 마스킹 확산의 한 형태입니다. 간단히 말해 입력의 일부를 숨기거나 손상시킨 뒤 모델이 원래 데이터를 복원하도록 학습합니다. 이를 통해 자기 지도 학습 과제를 수행할 수 있습니다. 즉, 기능 저하 라벨에 전적으로 의존하지 않고 센서 신호 자체의 구조를 학습합니다. 기능 저하 상태는 이산 토큰으로 처리하고, 시선과 궤적은 연속 신호로 다룹니다.

모델은 기하학적 상대 어텐션을 사용해 공간적 관계에 따라 토큰 간 연결을 돕습니다. 어텐션은 트랜스포머가 어떤 입력끼리 관련이 있는지 가중치를 부여하는 메커니즘이며, 여기에 더해지는 기하 기반 편향은 토큰들이 서로에 대해 어떤 위치에 있는지 알려줍니다. 이는 모델이 주행 장면과 행동의 여러 부분에서 나온 신호를 서로 연관 짓도록 돕기 위한 것입니다.

서로 다른 예측 대상을 위해 별도의 출력 헤드를 둡니다. 기능 저하 헤드는 각 기능 저하 유형에 대한 점수를 산출합니다. 시선 헤드는 각 눈의 요와 피치, 즉 눈 움직임의 방향을 예측합니다. 궤적 헤드는 가속도와 요레이트, 즉 차량이 얼마나 빠르게 진행 방향을 바꾸는지를 예측한 뒤, 이 값들을 적분해 속도, 위치, 진행 방향을 추정합니다. 기능 저하 라벨과 함께 이러한 행동 지표를 예측하면 모델이 운전 행동을 더 종합적으로 학습할 수 있습니다.

로봇공학에는 왜 중요한가요?

사람 주변에서 작동하는 로봇은 물리적 환경뿐 아니라 사람의 주의, 작업 부하, 행동도 고려해야 하는 경우가 많습니다. ID-MAE는 운전 연구 시스템이지 범용 로봇 안전 제품은 아닙니다. 하지만 시각적 맥락과 행동 신호를 결합하고 일부 데이터가 가려진 상태에서 학습한다는 핵심 아이디어는 다른 인간-기계 환경의 모니터링에도 참고가 될 수 있습니다.

자율주행차에서 기능 저하 징후를 감지하면 운전자에게 경고하거나 차량 작동 방식을 조정하는 안전 기능을 지원할 수 있습니다. 이 연구는 실제로 도입된 개입 기능을 입증하지는 않지만, 라벨만 사용하는 것 이상의 정보를 바탕으로 감지기를 개발하는 방법을 제시합니다. 또한 이 데이터셋은 모델이 한 가지 유형뿐 아니라 여러 종류의 기능 저하를 인식하는지 시험할 수 있는 체계적인 출발점을 연구자들에게 제공합니다.

이와 같은 과제는 사람과 자동화 시스템이 함께 작업하고 작업자의 주의가 안전한 협업에 영향을 미칠 수 있는 산업 현장에도 존재합니다. 창고 로봇을 평가하는 팀은 로봇 센싱 및 작업 절차와 더불어 사람의 상태 모니터링을 전체 안전 시스템의 한 요소로 고려할 수 있습니다. 이러한 방법을 실제로 사용하려면 실제 작업자와 실제 환경의 센서를 대상으로 검증해야 합니다.

한계와 남은 질문은 무엇인가요?

DIVERT는 공공 도로보다 과제와 위험 요소를 더 일관되게 통제할 수 있는 시뮬레이터에서 수집되었습니다. 따라서 실험을 반복하기에는 유리하지만, 실제 차량이나 다른 카메라·조명·운전자 집단, 자연적으로 발생하는 기능 저하 상황에서도 모델이 똑같이 작동한다는 점을 입증하지는 않습니다. 이 연구는 네 가지 유도된 범주를 다뤄 많은 데이터셋보다 범위가 넓지만, 안전하지 않은 운전의 모든 원인이나 정도를 대표하지는 않습니다.

보고된 결과는 정성적인 개선을 보여 주지만, 제공된 본문에는 정확한 벤치마크 점수가 없어 개선 폭과 신뢰성을 판단하거나 다른 시스템과 수치로 비교하기 어렵습니다. 모델이 얼마나 빠르게 작동하는지, 누락되거나 잡음이 있는 센서 데이터를 어떻게 처리하는지, 안전이 중요한 의사결정을 뒷받침할 만큼 예측이 신뢰할 수 있는지 등도 추가로 살펴봐야 합니다. 유망한 벤치마크 결과와 실제 운영 도구 사이에는 이러한 검증 단계가 필요합니다.

자주 묻는 질문은 무엇인가요?

ID-MAE는 무엇을 감지하나요? 시선, 차량 궤적, 장면 영상, 기능 저하 라벨을 사용해 기능 저하 상태를 분류합니다. 논문은 통제된 기능 저하 조건에서 모델을 평가하며, 임상 진단 시스템으로 평가하지는 않습니다.

DIVERT란 무엇인가요? DIVERT는 참가자 109명의 103.3시간 분량 주행 데이터가 담긴 CARLA 시뮬레이터 데이터셋입니다. 네 가지 기능 저하 범주에 걸친 10가지 유도 기법을 포함합니다.

ID-MAE는 기능 저하 분류만 하나요? 아니요. 시선 방향과 가속도 및 요레이트를 포함한 차량 움직임도 예측합니다. 이런 추가 예측 과제는 모델이 라벨뿐 아니라 행동에서도 학습하도록 돕습니다.

실제 도로에서 모델을 시험했나요? 설명된 DIVERT 데이터는 주행 시뮬레이터에서 수집되었습니다. 제공된 본문에는 실제 도로에서의 배치 시험 결과가 보고되어 있지 않습니다.

핵심 요점은 무엇인가요?

ID-MAE는 기능 저하 분류와 운전자 행동의 복원 및 예측 학습을 결합하며, 두 가지 주행 데이터셋에서 보고된 기준 모델보다 우수한 성능을 보였습니다. DIVERT는 다양한 통제된 기능 저하 조건에서 이러한 모델의 성능을 연구할 수 있도록 더 크고 다양한 시뮬레이터 데이터를 제공합니다.