CoFiT는 런타임 안전 필터를 고려해 휴머노이드 추적 정책을 미세 조정하는 방법으로, 다양한 제약 상황과 Unitree G1 하드웨어에서 위반 시간을 줄였다. 이 결과는 Arxiv에 처음 보고됐다. 이 방법은 필터링으로 실행 동작과 정책이 유도하는 상태 분포가 달라지는 점을 반영하며, 테스트에서 위반 시간과 안전 필터 보정량이 모두 감소했다.
비정형 환경에 휴머노이드 로봇을 배치하려면 안전한 전신 동작이 필수적이다. 휴머노이드 제어에서는 일반적으로 기준 동작의 설정과 실행을 분리한다. 플래너, 원격 조작자 또는 동작 생성기가 기준 동작을 제공하고, 강화학습 정책은 동적으로 실행 가능한 전신 제어를 통해 이를 추종한다.
런타임 안전 필터는 새롭게 도입된 제약 조건을 적용하기 위해 추적기 출력에 개입할 수 있다. 이러한 개입은 실행 동작과 정책이 유도하는 상태 분포를 바꾼다. 추적 정책과 필터를 별도로 다루면 동역학, 목표, 정보 측면에서 불일치가 발생한다.
사례 연구에서는 이 세 가지 불일치 유형을 분리해 살펴보고 근본 원인을 분석한다. CoFiT는 Constrained Filter-aware Tuning의 약자로, 정책과 필터 간 상호작용을 고려해 사전 학습된 추적기를 미세 조정한다.
다양한 제약 상황에서 CoFiT는 필터 단독 학습과 비교해 TWIST2에서 위반 시간을 91%, SONIC에서 21% 줄였으며, 안전 필터 보정량도 줄였다. 보고된 결과에는 위반 시간, 필터 보정량, 운영자 개입 여부가 포함된다.
Unitree G1 하드웨어에서 CoFiT는 TWIST2의 위반 시간을 83% 줄였고, 운영자 개입 없이 모든 시험을 완료했다. 기준 모델의 시험에서는 50%의 경우 운영자가 정지시켜야 했다.