FAITH는 로봇에 학습된 안전 필터를 적용해, 각 신체 부위가 보호 구역에 들어가지 않도록 하는 행동인지 확인합니다. 이와 별도로 작업 정책은 지정된 임무를 수행합니다. 시뮬레이션과 정성적 휴머노이드 실험에서 안전한 행동이 가능할 때는 작업 성능을 유지했고, 밀침으로 접촉을 피할 수 없게 되면 예상 피해가 더 적은 방향으로 움직였습니다.
목차
연구진은 무엇을 만들었나요?
FAITH는 작업을 수행하면서 신체가 보호 구역에 들어가지 않도록 해야 하는 로봇을 위한 강화학습 프레임워크입니다. 이 문제는 로봇이 한순간에 안전한지만 확인하는 것보다 어렵습니다. 다족 보행 로봇은 지금 장애물과 떨어져 있어도 다음 순간에는 피하기 어려울 만큼 빠르게 움직이고 있을 수 있으며, 외란을 받으면 충돌을 막을 방법이 없을 수도 있습니다.
이 시스템은 작업 수행과 안전 확보를 분리합니다. 작업 정책은 작업 보상을 사용해 목표를 추구하는 방법을 학습합니다. 별도의 학습된 안전 필터는 안전한 행동이 여전히 가능한지에 따라 정책의 행동을 평가하고 조정합니다. 이 필터는 로봇의 현재 위치에만 반응하는 것이 아니라 미래의 안전까지 고려하도록 설계되었습니다.
FAITH는 안전한 행동을 취할 수 없는 상황도 처리합니다. 별도의 비상 제어기로 전환하는 대신, 동일한 필터가 예상되는 최대 피해가 가장 적은 행동을 선택하도록 합니다. 연구진은 이 접근법을 이중 적분기 시스템, Safety Gym 환경, 고차원 휴머노이드 시뮬레이션에서 시험한 뒤 실제 휴머노이드에서 시연했습니다.
주요 결과는 무엇인가요?
시뮬레이션 전반에서 연구진은 안전 제약 위반을 피할 수 있는 상황에서 FAITH가 높은 작업 성능을 달성하면서 안전을 유지했다고 보고했습니다. 여기서 ‘실현 가능’이란 로봇이 안전 제약을 위반하지 않을 방법을 여전히 찾을 수 있다는 뜻입니다. 안전을 더 이상 확보할 수 없게 되면, 제어기는 안전한 선택지가 있는 것처럼 행동하는 대신 예상 피해를 줄였습니다.
평가에서는 세 가지 질문을 살펴봤습니다. 이 방법이 안전을 지키면서 작업 보상을 유지할 수 있는지, 위반을 피할 수 없을 때 피해를 줄일 수 있는지, 그리고 휴머노이드의 전신 제약까지 확장할 수 있는지입니다. 비교 대상에는 실현 가능성을 고려한 원시-쌍대 방법인 RCRL, 원시 방법을 실현 가능성에 맞게 조정한 RC-CRPO, 그리고 차수 축소 모델에 기반한 제어 장벽 함수 접근법이 포함됐습니다.
실물 시연에서는 밀침의 강도에 따라 두 가지 반응을 확인했습니다. 약한 밀침을 받은 뒤 휴머노이드는 상자를 피하면서 균형을 회복했습니다. 더 강한 밀침을 받았을 때는 보호 구역에서 멀어지는 방향으로 넘어져, 페널티가 부과된 머리나 손 대신 다리와 몸통으로 착지했습니다. 제공된 텍스트에는 수치 벤치마크 점수가 없으므로 정확한 성능 차이는 보고할 수 없습니다.
FAITH는 어떻게 작동하나요?
핵심 요소는 ‘최적 안전 비평가’의 근사치입니다. 강화학습에서 비평가는 행동이나 상태가 얼마나 바람직할지 추정합니다. FAITH의 안전 비평가는 대신 미래의 행동으로 로봇이 안전 제약 안에 머물 수 있는지 판단하도록 돕습니다. 운동량, 신체 형태, 회복 능력에 따라 지금은 안전한 경로도 잠시 뒤에는 위험해질 수 있는 다족 보행 로봇에서 이는 특히 중요합니다.
제어 과정에서 작업 정책이 행동을 제안하면 학습된 피드포워드 안전 필터가 이를 확인합니다. 해당 행동이 학습된 안전 조건을 위반할 수 있다면, 필터는 로봇이 실현 가능한 안전 영역 안에 머물도록 행동을 바꿉니다. 필터는 학습을 통해 만들어지므로 매 단계마다 고차원 행동 공간을 대상으로 계산량이 큰 온라인 탐색을 수행하지 않고도 조정할 수 있습니다.
작업 정책은 일반적인 강화학습 기법인 PPO를 사용해 안전 페널티가 아닌 작업 보상으로 학습합니다. 이렇게 분리하면 하나의 정책 목표에서 안전과 작업 진척을 맞바꾸도록 할 필요가 없습니다. 논문에 명시된 가정, 즉 완벽한 필터와 성공적인 전역 정책 최적화가 성립하면, 필터링된 정책은 실현 가능한 상태에서 제약이 있는 최적해를 회복합니다. 이는 조건부 결과이며, 추정 오류가 있는 학습 시스템을 보장하는 것은 아닙니다.
필터가 안전한 행동은 없다고 판단하면, 대신 예상되는 최대 피해가 최소인 행동을 선택하도록 유도합니다. 이 방식은 별도의 모드 전환이나 대체 정책 없이도 실현 가능한 상황과 불가능한 상황에 걸쳐 연속적으로 대응할 수 있게 합니다. 단순히 행동을 가장 가까운 안전 대안으로 투영하는 방식과 달리, 이 필터는 미래의 안전을 중심으로 설계됐으며 안전 행동 집합이 비어 있는 상태에도 대응합니다.
로보틱스에서 왜 중요한가요?
사람, 장비 또는 깨지기 쉬운 물체 가까이에서 작동하는 로봇은 현재 순간에 안전해 보이는 자세만으로는 충분하지 않습니다. 신체 전체가 위험 요소를 피해야 하며, 밀침이나 빠른 움직임 이후 로봇이 회복할 수 있는지도 제어기가 고려해야 합니다. FAITH는 특히 여러 관절 부위가 연결되어 있고 즉시 멈추기 어려운 다족 보행 및 휴머노이드 시스템에서 이러한 문제를 직접 다룹니다.
작업 학습과 안전 필터링을 분리하면 안전 계층을 추가하면서도 유용한 동작을 유지하기 쉬워질 수 있습니다. 원칙적으로 안전한 행동이 가능한 동안 로봇은 작업 보상과 끊임없이 경쟁하는 안전 페널티 없이 지정된 임무를 계속 수행할 수 있습니다. 외란으로 안전하게 회복할 수 없게 되면 예상 피해를 최소화하는 방식이 원래 작업만 계속 추구하는 것보다 신중한 대응을 제공할 수 있습니다.
이번 시연은 Robot Overflow의 휴머노이드 로봇과 관련이 있습니다. 보호 구역에서 로봇의 몸 전체를 벗어나게 하는 더 넓은 개념은 사람과 기반 시설 주변에서 작업하는 창고 로봇에도 중요합니다. 이번 결과는 그러한 환경을 향한 초기 단계이지, 해당 방법이 이미 사람 주변의 일상적 배치에 적합하다는 증거는 아닙니다.
한계와 미해결 과제는 무엇인가요?
FAITH의 학습된 구현은 안전성이나 최적성에 대한 공식적인 보장을 제공하지 않습니다. 논문은 할인 처리, 유한 근사, 학습 오류 때문에 실제 제어기가 이상적인 결과와 달라질 수 있다고 설명합니다. 또한 평면상의 보호 구역을 중심으로 평가했으며, 충격의 심각도나 인명 피해는 평가하지 않았습니다.
실물 휴머노이드 결과는 정성적 시연이지 통계적인 안전성 평가가 아닙니다. 논문은 LiDAR 노이즈, 제어 지연, 통신 지연이 결과에 미치는 영향을 정량화하지 않았습니다. 사람 주변 배치에 대한 주장을 뒷받침하려면 이러한 요소를 측정하고, 더 현실적인 3차원 위험 요소를 대상으로 추가 시험을 해야 합니다.
자주 묻는 질문
FAITH는 로봇이 안전 제약을 절대 위반하지 않는다고 보장하나요? 아니요. 이상화된 방법은 조건부 결과를 제시하지만, 학습 오류와 기타 근사로 인해 실제 구현된 제어기에 공식적인 보장은 없습니다.
충돌을 더 이상 피할 수 없으면 어떻게 되나요? 필터는 안전한 행동이 가능하다고 가정하는 대신, 예상되는 최대 피해가 가장 적은 행동을 선택하도록 합니다.
작업 정책은 보상과 안전 페널티 사이에서 절충해야 하나요? 아니요. FAITH는 작업 보상으로 작업 정책을 학습하고 별도로 학습된 필터로 안전을 확보합니다.
FAITH를 실제 로봇에서 시험했나요? 예. 휴머노이드는 약한 밀침을 받은 뒤 균형을 회복했고, 더 강한 밀침을 받은 뒤에는 보호 구역에서 멀어지는 방향으로 넘어지는 모습을 보였습니다.
결론
FAITH는 작업 학습과 안전 필터링을 분리하고, 회복 가능한 위험과 피할 수 없는 위험 모두에 대응할 수 있도록 제어기를 설계했습니다. 시뮬레이션과 휴머노이드 시연은 유망하지만, 정량적인 하드웨어 시험과 더욱 엄격한 안전성 검증이 여전히 중요합니다.