실험
이 절에서는 연구 질문을 검토하기 위해 수행한 실험과 함께 평가 데이터셋, 평가지표, 구현 세부 사항을 소개한다.
환경 맥락과 사회적 맥락의 분리
도메인 증분 학습에서 제안 전략의 효과를 평가하기 위해, 명시적 분리 이중 분기 네트워크(Explicit Disentanglement Dual-Branch Network, EDD)를 다음 세 유형의 최신 기준선 모델과 비교했다.
- 사회적 적절성을 다루는 로봇공학 특화 지속적 학습 방법.
- 최근의 도메인 증분 컴퓨터 비전 방법.
- 사전 학습된 비전-언어 모델.
기준선 모델의 세부 사항과 선정 근거는 해당 비교 표에 제시했다.
전반적 적절성 예측
EDD의 전반적 적절성 예측 성능을 기준선 방법들과 비교했다. EDD는 가장 낮은 평균제곱근오차(RMSE)와 가장 높은 피어슨 상관계수(PCC), 일치 상관계수(CCC)를 기록했다. 이는 비교한 기준선보다 행동 적절성을 더 정확하고 일관되게 예측한다는 뜻이다.
FedLGR은 가장 높은 오차와 0에 가까운 PCC 및 CCC를 보여 비교 모델 가운데 전반적인 성능이 가장 낮았다. DARE++는 기준선 중 가장 높은 상관을 보였고, 그 뒤를 DUCA가 이었다. Qwen2.5-3B-Instruct, LLaVA-OV-0.5B, DeepSeek-1.3B-Chat을 포함한 비전-언어 모델 방법들은 더 낮은 PCC와 CCC 값을 기록했다.
지속적 학습 절제 실험
서로 다른 학습 체계에서 EDD의 절제 모델들을 비교했다. 제안 방식에 해당하는 이중 분기 지속적 학습은 이미지 분해를 사용하지 않는 단일 분기 절제 모델보다 오차가 낮고 PCC와 CCC가 높았으며, 후방 전이(BWT)로 측정한 망각도 더 적었다.
리플레이를 사용하지 않는 파인튜닝은 두 구조 모두의 성능을 떨어뜨렸다. RMSE를 높이고 PCC와 CCC를 낮추며 BWT를 증가시켰다.
모든 도메인에 동시에 접근할 수 있는 공동 학습 변형은 경험적 상한선으로 볼 수 있으며, 전반적으로 가장 높은 정확도를 달성했다. 이중 분기 지속적 학습 모델은 단일 분기 지속적 학습 모델보다 이 상한선에 더 가까운 성능을 보였다.
전체적으로 EDD는 기준선 및 분리되지 않은 변형과 비교해 모든 평가지표에서 일관되게 우수한 성능을 보였고, 사람이 부여한 적절성 점수와 더 잘 부합했으며, 망각도 더 낮았다. 이러한 결과는 사회적으로 적절한 로봇 행동을 도메인 증분 방식으로 학습하는 능력이 향상되었음을 시사한다.
분리 전략의 영향
이중 분기 네트워크에 적용할 수 있는 여러 이미지 분해 전략을 비교했다. 모든 분할에서 바운딩 박스 전략이 가장 낮은 RMSE와 가장 높은 PCC 및 CCC를 기록했다.
로봇 클로즈업 전략과 분해 없음 전략은 비슷한 RMSE 값을 보였으며, 두 방법 모두 실루엣 전략보다 낮았다. 분해 없음 전략은 로봇 클로즈업 및 실루엣 전략보다 일관되게 높은 상관을 나타냈다.
망각 지표인 BWT는 모든 변형에서 낮게 유지되었다. 바운딩 박스와 로봇 클로즈업 전략은 가장 낮은 BWT를 기록해 실루엣 및 분해 없음 전략보다 도메인 간 망각이 적음을 보여 주었다.
전체적으로 모든 방법의 성능은 서로 비슷했지만, 바운딩 박스 전략이 가장 낮은 예측 오차와 가장 강한 상관을 보였다.
논의, 결론 및 향후 연구
이 연구는 사회적으로 적절한 로봇공학의 지속적 학습에서 중요한 통찰을 제시한다. 환경적 단서와 사회적 단서를 명시적으로 분리하면 도메인 변화 속에서도 행동의 적절성을 학습하는 데 도움이 될 수 있다는 점이다.
이 설정에서 이러한 단서는 명시적 분리 이중 분기 프레임워크를 통해 다뤄진다. 이 프레임워크는 입력 단계에서 두 단서를 분리하고, 리플레이 기반 재현 학습으로 훈련한 이중 분기 구조를 통해 이를 융합한다.
실험 결과, EDD 프레임워크는 여러 최신 기준선보다 우수한 성능을 보였으며, 서로 보완적인 평가지표 전반에서 사람이 부여한 점수와 더 밀접하게 부합하는 적절성 점수를 생성했다. 또한 이러한 명시적 분리는 분리 전략과 도메인 순서가 사회적으로 적절한 행동의 지속적 학습 성능에 미치는 영향을 구체적으로 분석할 수 있게 한다.
향후 연구에는 여러 방향이 남아 있다. EDD를 현재의 단일 로봇 구현을 넘어 확장하고, 로봇 구현체가 바뀌는 상황에서 그 견고성을 검토할 수 있다.
또한 합성 장면을 넘어 실제 환경으로 일반화되는지를 평가하기 위해 실제 환경에서 EDD를 추가로 검토할 수 있다. 여기에는 합성 환경에서 실제 환경으로의 변화에 대한 견고성과, 환경-사회 분해에 불완전한 파놉틱 분할이 미치는 영향이 포함된다.
EDD의 구조는 설명 가능성 연구에도 새로운 가능성을 열어 준다. 향후 연구에서는 각 분기가 무엇을 학습하는지, 그리고 예측이 환경적 단서와 사회적 단서에 각각 어떻게 의존하는지를 분석할 수 있다.
또 다른 유망한 방향은 적응형 융합이다. 이는 로봇의 행동과 같은 과업 맥락, 그리고 가정이나 사무실과 같은 상호작용 환경에 따라 모델이 두 분기의 반영 비중을 동적으로 조절하는 방식이다.
자주 묻는 질문
명시적 분리 이중 분기 네트워크란 무엇인가? EDD는 입력 단계에서 환경적 단서와 사회적 단서를 분리한 뒤, 이를 융합해 사회적으로 적절한 로봇 행동을 학습하는 이중 분기 프레임워크다.
EDD는 평가한 기준선 모델과 비교해 어떤 성능을 보이는가? EDD는 가장 낮은 RMSE와 가장 높은 PCC 및 CCC를 달성해, 더 정확하고 일관된 적절성 예측을 보여 준다.
어떤 이미지 분해 전략이 가장 우수한가? 평가한 분할 전반에서 바운딩 박스 전략이 가장 낮은 예측 오차와 가장 강한 상관을 기록했다.
향후 연구의 주요 방향은 무엇인가? 향후 연구에는 로봇 구현체 변화, 실제 환경 평가, 합성-실제 환경 변화에 대한 견고성, 설명 가능성, 그리고 과업 및 상호작용 맥락에 따른 적응형 융합이 포함된다.