인간 필기 데이터셋
인간의 필기와 그리기 행동을 연구하기 위해 여러 데이터셋이 제안되어 왔다. 초기 연구인 IAM 필기 데이터베이스와 최근의 EMNIST 같은 데이터셋은 인식 작업을 위해 손글씨 문자를 표준화된 이미지 형식으로 수집했다. 이후에는 시간 정보와 운동학적 정보까지 포함하는 데이터셋도 등장했다.
그러나 기존 데이터셋의 대부분은 여전히 이미지 기반이며, 동적 정보를 포함하는 경우에도 주로 위치와 획의 시간 정보만 기록하고 접촉력은 제한적으로 고려한다. OnHW와 같이 추가적인 센싱 모달리티를 포함하는 데이터셋도 있지만, 대체로 참가자가 글자의 구조, 크기, 획순에 대한 별도의 안내 없이 종이에 자유롭게 쓰는 비제약 환경에서 수집된다. 센서는 필기 과정 전체의 데이터를 기록한다. 그 결과 데이터의 변동성이 매우 커져 로봇 학습 파이프라인에 바로 활용하거나 로봇 제어 요구사항에 맞는 일관된 궤적으로 변환하기가 어렵다. 따라서 물리적 상호작용 작업에서 인간과 유사한 움직임을 학습하는 데에는 활용도가 제한적이다.
반면 이 연구에서는 데이터를 수집할 때 시뮬레이션 로봇을 원격 조작하도록 하며, 엔드 이펙터의 최대 속도와 같은 현실적인 제약을 적용해 참가자가 그에 맞춰 궤적을 조정하도록 했다. 또한 인터페이스를 통해 미리 정의된 문자 템플릿, 글자 크기, 획순을 안내했다. 그 결과 로봇 궤적 생성 학습법을 훈련하고 평가하는 데 더 적합한, 구조적이고 일관된 시연 데이터를 확보할 수 있었다.
GMM+GMR을 활용한 시연 기반 로봇 학습
시연 기반 학습을 사용하면 로봇은 명시적으로 프로그래밍하지 않아도 인간의 시연을 관찰해 새로운 기술을 습득할 수 있다. 이를 통해 로봇 프로그래밍의 진입장벽이 낮아지고, 비전문가도 직관적으로 로봇에게 새로운 작업을 가르칠 수 있다.
최근에는 확산 모델 기반 정책이나 트랜스포머 기반 행동 시퀀스 모델을 비롯한 모방 학습 기법이 장기간에 걸친 행동 시퀀스를 모델링하고 더 큰 규모의 시연 데이터셋을 활용할 수 있게 되었다. 그러나 이러한 방법은 일반적으로 더 많은 데이터와 계산 자원을 필요로 하며, 확률적 궤적 모델보다 해석 가능성이 낮다. 이 연구에서 다루는 제한된 저데이터 환경에서는 Gaussian Mixture Model과 Gaussian Mixture Regression(GMM+GMR)이 표현력, 해석 가능성, 계산 효율성, 구현 용이성 사이에서 실용적인 균형을 제공한다.
기존의 GMM+GMR 기반 시연 학습 방식 대부분은 입력 공간을 공간적 위치와 시간으로 제한하며, 궤적이 연속적이라고 가정한다. 본 연구는 두 가지 측면을 확장했다. 먼저 힘과 정규화된 시간을 추가 차원으로 포함해 인간 움직임을 더 풍부하게 표현하고, 향후 다른 모달리티를 유연하게 통합할 수 있도록 했다. 또한 이 프레임워크를 연속적이지 않은 다중 세그먼트 궤적에 맞게 조정했다. 아울러 기존 데이터는 원격 조작이나 로봇 엔드 이펙터의 수동 유도를 통해 수집되는 경우가 많은데, 이러한 방식은 기록된 궤적에 로봇의 동역학을 포함시킨다. 따라서 순수하게 인간이 생성한 움직임만을 분리하기가 어렵다.
인간과 유사한 로봇 움직임 및 사용자 평가
본 연구는 알파벳 대문자와 소문자 52개 전체에 대한 시연에서 인간의 움직임 동역학을 포착하고, 학습된 필기 궤적이 인간이 인식하는 움직임 동역학과 얼마나 유사한지 사용자 중심의 평가를 제시한다.
방법론
두 개의 পৃথ পৃথ user study를 진행했다. 첫 번째 연구에서는 참가자가 시뮬레이션 로봇을 원격 조작하면서 인간의 필기 궤적 데이터를 수집했으며, 위치·속도·힘을 기록했다. 두 번째 연구에서는 이 데이터를 학습한 로봇이 원래 글꼴과 비교해 인간과 유사한 움직임을 생성하는지 평가했다. 대상 문자는 라틴 알파벳 26개의 대문자와 소문자였다. 이 문자들은 비선형적이고 복잡하며, 불연속성이 있어 수작업으로 프로그래밍하기 어렵다.
참가자
평가자들이 로봇의 움직임이 인간의 시연으로 학습되었다는 사실을 사전에 알지 못하도록 각 연구 단계마다 서로 다른 참가자 집단을 모집했다. 두 연구에는 총 43명이 참여했으며, 22명은 시연 데이터 수집에 참여했고 21명은 생성된 로봇 움직임의 인간다움을 평가했다.
첫 번째 사용자 연구에는 남성 14명과 여성 8명, 총 22명이 참여했으며, 연령은 22~57세였다(M = 31.45, SD = 10.60). 이 가운데 오른손잡이는 21명, 왼손잡이는 1명이었다. 스타일러스 사용 경험에 대해서는 11명이 가끔 사용한다고 답했고, 6명은 정기적으로, 4명은 전혀 사용하지 않았으며, 1명은 한두 번만 사용한 경험이 있다고 답했다.
두 번째 사용자 연구에는 남성 14명과 여성 7명, 총 21명이 참여했으며, 연령은 21~53세였다(M = 27.24, SD = 8.47).
윤리
두 연구 단계 모두 University of the West of England 연구윤리위원회의 승인을 받았다(참조 번호: 13470965). 모든 참가자에게 동의서를 받기 전에 연구 참가자 안내문을 제공했으며, 실험 시작 전에 서명한 동의서를 수집했다.
연구 전 과정에서 참가자의 기밀성과 데이터 보안을 보장하기 위한 적절한 조치를 취했다. 참가자는 언제든 참여를 철회할 수 있었으며, 참여 후 7일 이내에는 자신의 데이터 삭제를 요청할 권리가 있었다.
인간 입력 데이터셋
참가자 2가 두 번째로 작성한 대문자 B의 궤적 예시를 2차원과 3차원으로 나타냈다. x축과 y축은 밀리미터 단위의 위치를, z축은 초 단위의 타임스탬프를 나타낸다. 색상 지도는 뉴턴 단위의 접촉력을 표시하며, 파란색은 낮은 힘, 빨간색은 높은 힘을 의미한다.
학습 알고리즘
인간의 시연을 통한 로봇 움직임 학습에는 GMM+GMR을 사용했다. 필기 궤적 학습의 요구사항을 충족하기 위해 두 가지 작업별 조정을 도입했다.
첫째, 상태 벡터를 공간 좌표만으로 구성하지 않고 접촉력과 정규화된 시간을 추가 학습 차원으로 포함했다. 이를 통해 로봇은 필기의 기하학적 형태뿐 아니라 움직임의 동역학과 접촉 행동까지 재현할 수 있다.
둘째, 학습에 앞서 세그먼트 검출 단계를 적용했다. 각 시연을 개별 획으로 나누고 각 세그먼트를 독립적으로 학습함으로써, 획과 획 사이에서 펜을 들어 올릴 때 발생하는 불연속성으로 인해 궤적이 손상되는 문제를 해결했다.
각 시연 궤적은 다음과 같은 4차원 상태 벡터로 표현된다.
상태 벡터는 각 시간 단계의 2차원 위치, 접촉력, 정규화된 시간을 포함한다.
논의
생성된 궤적은 인간의 시연과 비슷한 공간적 범위를 보이면서도 지속 시간은 더 일관되고 힘 프로파일은 더 매끄러웠다. 이는 학습 알고리즘의 정규화 효과를 보여준다.
인간 시연 데이터셋에서는 인간 필기에 내재한 자연스러운 변동성이 드러났다. 지속 시간은 0.302~14.674초, 표준편차는 1.543초였으며, 접촉력은 0.100~5.380N 범위였다. 이는 참가자와 반복 시도에 따른 개인차가 상당함을 보여준다.
이러한 변동성에도 불구하고 데이터셋은 각 문자의 공간적·동적 특성을 종합적으로 담고 있어 확률적 학습에 충분히 풍부한 기반을 제공한다. 인간 시연의 평균 경로 길이는 65.31mm, 로봇 생성 궤적은 63.87mm로 서로 유사했다. 이는 GMM+GMR 방식이 공간 구조를 성공적으로 보존했음을 확인해 준다.
본 연구는 시연 기반 로봇 학습에 다음 세 가지 기여를 한다.
- 위치, 시간, 힘 데이터를 포함하는 공개 필기 데이터셋을 제공해 학습 방법을 벤치마킹할 수 있는 자원을 마련했다.
- 접촉력과 정규화된 시간을 GMM+GMR 프레임워크에 추가해 공간적 경로를 넘어 인간 시연의 전체 동역학을 포착하고, 불연속성이 있는 복잡한 다중 세그먼트 궤적을 생성할 수 있도록 확장했다.
- 시뮬레이션 로봇을 사용해 생성 궤적을 사용자 평가하고, 인간과 유사하다고 인식되는 정도에 대한 실증적 근거를 제시했다.
이 연구는 프로그래밍 전문 지식 없이도 물리적 시연을 통해 로봇을 가르칠 수 있는 터치스크린 기반 인터페이스를 제시한다. 이는 접근성 높은 인간–로봇 상호작용의 진입장벽을 낮춘다. 라틴 알파벳 문자로 검증했지만, 이 파이프라인은 원리상 복잡한 모든 표면 궤적에 적용할 수 있어 인간과 유사한 움직임이 필요한 다양한 작업으로 확장될 가능성이 있다.
한계로는 각각 22명과 21명에 그친 참가자 수, 그리고 각 연구가 단일 실험실 환경에서 진행되었다는 점을 들 수 있다. 이는 연구 결과의 일반화 가능성을 제한할 수 있다. 획 사이의 자유공간 이동은 기록하지 않았기 때문에 선형 보간으로 처리했으며, 원격 조작 중 펜의 방향도 기록하지 않았다.
사전에 프로그래밍된 궤적 제어 조건이 없어 직접적인 비교가 제한된다. 시연은 미리 정해진 지침을 따랐기 때문에 개인별 필기 전략을 충분히 반영하지 못했을 가능성이 있으며, 이는 일반화에도 제약이 될 수 있다. 펜의 방향과 힘 조절이 더 중요한 필기체나 캘리그래피 같은 표현력이 풍부한 필기 스타일은 향후 연구 과제로 남아 있다.
마지막으로 하드웨어 접근성의 제약으로 인해 평가는 실제 로봇이 아닌 시뮬레이션 로봇으로 진행되었다. 따라서 실제 환경에서의 배치 조건을 완전히 반영하지 못할 수 있다.
결론
연구 결과는 시연 기반 확률적 학습이 인간과 유사한 궤적을 생성하는 데 효과적임을 보여준다. 또한 공개 데이터셋과 구현 코드는 오픈소스 벤치마크 자원으로 활용될 수 있다.
자주 묻는 질문
필기 데이터셋은 어떤 데이터를 수집하나요? 이 데이터셋은 인간의 시연에서 위치, 시간, 접촉력 데이터를 수집한다.
GMM+GMR은 필기 궤적 학습을 어떻게 지원하나요? 공간적 위치, 접촉력, 정규화된 시간을 모델링하고, 불연속성을 처리하기 위해 각 획을 পৃথ পৃথ 학습한다.
두 연구에는 몇 명의 참가자가 참여했나요? 총 43명이 참여했다. 22명은 시연 데이터를 수집했고 21명은 로봇 움직임을 평가했다.
연구의 주요 한계는 무엇인가요? 참가자 수가 적고 단일 실험실 환경에서 진행되었으며, 펜의 방향과 획 사이의 자유공간 이동을 기록하지 못했다는 점이 한계다. 또한 실제 로봇이 아닌 시뮬레이션 로봇으로 평가했다.