부분적으로 관측된 표면 근전도(sEMG) 신호로부터 다자유도(DoF) 관절 운동학을 추정하기 위해 생리학적 제약을 갖춘 근골격 신경망(MSK-NN)을 제안한다. 이 프레임워크는 신경 활성화 추정기와 내장된 근골격 전방 동역학 모듈을 통합하며, 운동학 감독, 측정된 근육에 대한 상승작용 정규화, 측정되지 않은 근육에 대한 해부학적 경향 정규화를 결합한 복합 손실 함수를 통해 종단간 학습된다.
MSK-NN 프레임워크
활성화 추정기와 MSK 전방 동역학 모듈은 운동학 감독, 측정된 근육에 대한 상승작용 정규화, 측정되지 않은 근육에 대한 해부학적 경향 정규화를 결합한 복합 물리-생리 손실을 통해 종단간 역전파로 함께 최적화된다.
데이터 수집 및 처리
실험 프로토콜은 맨체스터 대학교 연구윤리위원회(참조번호 2024-20628-36971)의 승인을 받았다. 6명의 건강한 피험자가 서면 동의를 받고 참여했다. 데이터 수집 전 키, 체중, 손 길이가 기록되었다. 실험 중 참가자는 중립적인 팔뚝 자세를 유지하고 팔뚝 회내와 회외를 피한 앉은 자세에서 손목 움직임을 수행했다.
각 참가자는 속도나 진폭에 제약 없이 네 가지 유형의 연속 손목 움직임 패턴을 수행했다: 시계 방향(CW), 반시계 방향(CCW), 8자 모양, 무작위(RND). 각 패턴에 대해 6회의 30초 트라이얼이 기록되었으며, 과도 효과를 제거하기 위해 중간 20초가 유지되었다.
원시 sEMG 신호는 대역통과 필터(20–450 Hz, 4차 버터워스)를 거쳐 정류되고 저역통과 필터(4 Hz, 4차 버터워스)를 적용하여 sEMG 포락선을 얻었다. 각 근육의 최대 수의적 수축(MVC)이 실험 전에 기록되었으며, 포락선은 각 근육의 MVC 최대 진폭으로 정규화되었다. 처리된 sEMG 포락선은 운동학 샘플링 속도와 일치시키기 위해 100 Hz로 재샘플링되었다.
MSK-NN 학습
전처리된 데이터셋은 트라이얼 수준에서 학습, 검증, 테스트 세트로 4:1:1 비율로 분할되었다. 네 가지 운동을 모두 합쳐 피험자별 모델이 학습되었으며, 각 운동 유형별로 별도 평가가 수행되었다.
결과
제안된 MSK-NN은 네 가지 관점에서 평가된다. 첫째, 다자유도 운동학 예측 성능을 최첨단 딥러닝 기준선과 비교한다. 둘째, 추론된 입력 제외 척측수근신근(ECRB) 활성화를 기록된 ECRB sEMG 포락선과 비교하는데, 이는 입력에서 제외되고 생리학적 타당성 평가에만 사용된다. 셋째, 최적화된 MSK 파라미터가 생리학적 범위 내에 있는지 검토한다. 마지막으로, 측정되지 않은 근육이 운동학 추정 성능에 기여하는 정도를 평가하기 위해 근육 제거 분석을 수행한다.
측정되지 않은 근육 제거 분석
이러한 결과는 네트워크가 접근할 수 없는 근육을 포함함으로써 근육 구동 표현의 완전성을 향상시키고 부분적 sEMG 관측 가능성 하에서 더 정확한 다자유도 손목 운동학 추정에 기여함을 보여준다.
논의
제안된 MSK-NN 프레임워크는 모듈성 및 확장성, 부분 관측 sEMG 하에서 근육 활성화 추정 능력, 실시간 실행을 위한 계산 가능성의 세 가지 관점에서 논의된다.
프레임워크의 모듈성 및 확장성
MSK-NN은 신경 활성화 추정기와 내장된 MSK 전방 동역학 모듈의 두 구성 요소를 원활하게 통합하며, 이들은 데이터 기반 단계와 물리 기반 단계 사이의 명확한 생리학적 인터페이스 역할을 하는 근육 활성화 벡터를 통해서만 연결된다. 이러한 구성적 구조는 전체 프레임워크를 변경하지 않고 각 구성 요소를 독립적으로 교체할 수 있게 한다.
실시간 실행을 위한 계산 가능성
제안된 MSK-NN은 NVIDIA GeForce RTX 4080 Laptop GPU, Intel Core i9-13980HX 프로세서, 32GB RAM을 장착한 노트북에서 250 Hz로 단일 스텝 모델 지연 시간을 평가했다. CNN 기반 근육 활성화 추정기는 0.55 ms(95백분위수: 0.66 ms), 근힘줄 동역학 모듈은 1.38 ms(95백분위수: 1.60 ms), 관절 동역학 모듈은 0.43 ms(95백분위수: 0.51 ms)가 소요되었다. 스텝당 총 추론 계산 시간은 2.65 ms(95백분위수: 3.17 ms)였다. 이러한 결과는 MSK-NN의 계산 핵심이 250 Hz에서 실시간 실행에 적합함을 나타낸다.
자주 묻는 질문
MSK-NN은 부분적으로 관측된 sEMG 신호를 어떻게 처리하나요? 이 프레임워크는 측정된 근육에 대한 상승작용 정규화와 측정되지 않은 근육에 대한 해부학적 경향 정규화를 사용하여 관측된 신호로부터 누락된 활성화를 추론합니다.
모델 평가에 어떤 손목 움직임 패턴이 사용되었나요? 참가자는 속도나 진폭에 제약 없이 시계 방향, 반시계 방향, 8자 모양, 무작위의 네 가지 연속 움직임 패턴을 수행했습니다.
MSK-NN은 표준 하드웨어에서 실시간으로 실행될 수 있나요? 네, RTX 4080 GPU를 탑재한 노트북에서 스텝당 총 추론 시간이 250 Hz에서 2.65 ms로 실시간 요구 사항을 충족합니다.
MSK-NN 프레임워크가 모듈식이고 확장 가능한 이유는 무엇인가요? 신경 활성화 추정기와 근골격 전방 동역학 모듈은 근육 활성화 벡터를 통해서만 연결되어 있어 각 구성 요소를 독립적으로 교체할 수 있습니다.