본 연구는 이진 분류 작업을 위한 새로운 데이터 엔진을 제안합니다. 이 방법은 "고비용 검증"과 "모델 예측"이라는 두 가지 서로 다른 검증 방법을 사용하여 높은 신뢰성과 빠른 실행 시간을 동시에 확보합니다. Wilson-Score 방법을 사용하여 모델 예측에 대한 신뢰 구간을 얻을 수 있습니다. 신뢰도가 설정된 신뢰 구간을 벗어나면 고비용 검증을 선택함으로써 시스템의 오류율을 제어합니다.
관련 연구
먼저 우리와 유사한 시스템에서의 고장 예측 방법에 대한 개요를 제공합니다. 그런 다음 이진 분류에서 신뢰도를 계산하는 방법을 검토하고, 데이터 전처리를 위해 차원 축소를 사용하므로 이러한 분야의 관련 연구에 대해 보고합니다.
조립 공정에서의 고장 예측
제조 공정의 중단은 비용이 매우 크기 때문에 고장 감지에 대한 연구가 광범위하게 수행되었습니다. 결함을 피하는 한 가지 접근 방식은 센서 데이터를 사용하여 이상 징후를 예측하는 것입니다.
우리의 방법과 유사한 방법이 제시되었으며, 삽입 작업 중 힘 데이터를 기록하고 오류 예측을 위한 여러 분류기를 테스트합니다. UCI 벤치마크 데이터 세트에서 좋은 분류 결과를 보여주며, Naive Bayesian 분류기가 가장 잘 작동하는 것으로 나타났습니다. 그러나 그들은 분류기에 대한 어떤 종류의 신뢰 구간도 사용하지 않습니다.
의사 결정 트리도 힘 데이터를 사용한 오류 분류에 사용되었습니다. 앞서 언급한 방법과 유사하게 이 접근 방식은 UCI 벤치마크 데이터 세트에서 테스트되었습니다. 우리는 UCI 벤치마크 데이터 세트를 사용하지 않는데, 그 이유는 샘플링 속도와 데이터 세트 크기가 우리의 접근 방식보다 훨씬 작기 때문입니다.
이러한 방법들은 모두 수집된 데이터의 지도 학습에 의존합니다. 따라서 훈련 데이터를 수집하려면 실행 중인 조립 시스템과 분리된 실험 설정이 필요하며, 이는 비용이 많이 드는 절차입니다.
또 다른 해결책은 시스템이 실패할 때 데이터를 수집하는 것입니다. 그러나 많은 경우 시스템 실패가 많이 발생할 수 있기 때문에 매우 비용이 많이 듭니다. 그러나 이것은 시스템에 추가 기능으로 추가될 수 있습니다. 따라서 결함을 피해야 함에도 불구하고 발생하면 기록된 데이터를 사용하여 시스템을 개선할 수 있습니다. 우리는 이 기능을 시스템에 추가하여 시스템 오류를 기록하고 라벨링하여 시스템을 개선합니다.
Wilson-Score 방법을 분류에 사용함으로써 우리 시스템은 최대 고장 빈도에 대한 한계를 제공하여 더 안정적인 프로세스를 가능하게 합니다.
이진 분류를 위한 신뢰 구간
이진 분류에서 불확실성을 정량화하는 여러 가지 방법이 있습니다. 언급했듯이 k-NN 분류기는 이웃 점들의 샘플링 불확실성을 고려하지 않기 때문에 신뢰도를 추정하는 간단하지만 부정확한 방법을 제공합니다.
불확실성 추정을 위한 더 원칙적인 방법은 가우시안 프로세스 분류입니다. 이 방법론은 잘 수행되지만 계산 비용이 많이 드는 방법이므로 실행 중인 시스템에서 발생할 수 있는 대규모 데이터 세트에는 근사 방법이 필요합니다.
차원 축소
차원 축소 기법은 고차원 데이터를 다룰 때 무의미하거나 중복된 정보 제거, 훈련 시간 단축, 모델 성능 향상, 과적합 완화, 데이터 시각화 용이성, 예측 정확도 향상 등 여러 가지 장점을 제공합니다. 이는 이전 연구에서 저자들이 신경망을 사용한 로봇 보조 수술에서 힘 추정에 이러한 기법이 어떻게 영향을 미칠 수 있는지 탐구한 것에서 입증되었습니다.
최근의 인기 있는 차원 축소 기법으로는 UMAP(Uniform Manifold Approximation and Projection)이 있습니다. 이는 매니폴드 학습 기법으로, 지역적 이웃 관계를 보존하면서도 어느 정도 전역 구조를 유지하며, 이러한 측면에서 다른 여러 비선형 차원 축소 방법보다 우수한 것으로 나타났습니다. 우리는 UMAP을 채택하는데, 이는 크고 고차원적인 데이터 세트를 시각화하고 해석하는 데 특히 효과적이기 때문입니다.
방법
우리 방법의 핵심은 온라인 데이터 엔진으로, 삽입 품질 분류 사용 사례를 위해 기계 학습 모델과 고비용 검증 방법을 모두 사용할 수 있습니다. 이를 통해 시스템은 효율성을 유지하면서 잘못된 분류를 최소화할 수 있습니다.
다음 섹션에서는 시스템의 개별 구성 요소를 자세히 설명합니다. 데이터 수집 프로세스("고정장치에 삽입" 및 "데이터 획득")로 시작한 다음 차원 축소 기법("UMAP")을 수행합니다. 그런 다음 채택된 기계 학습 모델("반경 이웃 분류")을 수행하고 신뢰 구간 계산을 위해 "Wilson Score" 방법을 적용합니다.
마지막으로 이러한 구성 요소가 완전한 데이터 엔진(아래 "모델 예측")에 어떻게 통합되는지 보여줍니다. 기계 학습 모델이 아직 예측을 수행하기에 너무 불확실할 때(즉, 예측이 필요한 신뢰 구간 내에 있지 않을 때) "고비용 검증"에 의존합니다.
고비용 검증 단계의 목적은 로봇 작업의 올바른 라벨링을 보장하는 것입니다. 이 연구에서는 높이 확인이라는 단일 작업으로 구현되며 다음 섹션에서 자세히 설명합니다.
고비용 검증이 사용될 때마다 시스템은 기계 학습 모델을 추가로 개선하기 위해 훈련 데이터를 수집합니다("데이터베이스에 저장"). 예측 결과에 따라 시스템은 그에 따라 실행하고 모델 개선을 위한 추가 데이터를 생성합니다. 시스템의 신뢰 구간은 필요한 고비용 검증의 수를 줄이면서 고장률에 대한 한계를 보장합니다.
아래 섹션에서는 이러한 단계를 자세히 설명합니다.
데이터 수집
일반적으로 고비용 검증은 일련의 작업이 될 수 있지만 절대적으로 확실한 완벽한 라벨을 제공해야 합니다.
차원 축소
먼저 UMAP을 사용하여 고차원 특징 공간을 2차원 표현으로 줄입니다.
첫째, UMAP은 선택된 거리 측정 기준에 따라 각 점을 가장 가까운 이웃에 연결하여 지역 구조를 포착하는 고차원 이웃 그래프를 구성합니다. 이 그래프는 퍼지 위상 표현으로 변환됩니다. 그런 다음 UMAP은 원래 고차원 공간에서 저차원 공간으로 데이터를 매핑하면서 이웃 관계와 전역 구조를 보존하는 저차원 임베딩을 수행합니다. 위 그림은 실험 종료 시 훈련 데이터의 시각화 예를 보여줍니다.
데이터 엔진
Wilson 점수가 신뢰 구간을 출력한 후 하한 값을 평가합니다. 선택한 임계값 T를 초과하면 UMAP 변환이 샘플을 유사한 점으로 밀집된 영역에 배치하여 모델이 클래스를 더 높은 신뢰도로 예측할 수 있음을 나타냅니다.
잘못된 삽입 예측의 경우 객체는 빈으로 반환되고 시스템은 다음 샘플로 진행합니다. 그렇지 않으면 표준 로봇 동작 순서를 진행합니다. 이 단계에서 문제가 발생하면(우리의 경우 시스템 정지) 이전에 이루어진 분류가 거짓 양성임을 알게 되어 사용자가 개입하여 프로세스를 다시 시작해야 하는 시스템 정지가 발생합니다. 결과적으로 이 샘플을 데이터베이스에 저장할 수 있으며, 추가 실행 시간이 발생함을 고려합니다.
주기적인 삽입 반복 후 시스템의 모델은 모델이 낮은 신뢰도를 보인 샘플과 "데이터베이스에 저장" 구성 요소에서 얻은 거짓 양성 샘플로 구성된 증가하는 데이터베이스를 사용하여 재훈련될 수 있습니다.
데이터 엔진은 CPU에서만 테스트되었으며 훈련 시간은 현재 데이터 세트 크기에서 평균 약 80초인 전체 로봇 사이클 시간보다 짧은 것으로 측정되었습니다.
결과: Wilson Score
고정된 alpha와 다른 임계값 T에 대해 정밀도는 일관되게 임계값 이상입니다. 임계값 T는 정밀도 하한에 직접적인 영향을 미칩니다. 임계값이 높을수록 정밀도가 높아지고 거짓 양성이 줄어들지만 전체 예측 수가 줄어들어 실행 시간이 길어집니다.
대신 alpha는 Wilson Score 경계에 직접적인 영향을 주어 모델이 예측을 시작하는 시점을 결정합니다. alpha 값이 낮을수록 하한이 줄어들어 예측이 지연되고, 엔진이 확신 있는 예측을 내리기 전에 더 많은 데이터를 축적하도록 유도합니다.
절제 연구: 이항 구간 점수를 사용한 기준 결과
우리는 기준 방법인 이항 구간 점수와 결과를 비교합니다. 예시 결과는 아래 그림에서 볼 수 있으며, 테스트된 다양한 구성의 결과가 나열되어 있습니다.
두 방법을 비교할 때, Wilson Score 접근 방식은 신뢰도가 축적됨에 따라 고비용 검증에 대한 의존도를 줄이는 경향이 있습니다. 그 결과 거짓 양성이 줄어들고 확실한 예측의 비율이 높아집니다.
결론
본 연구는 이진 분류 작업을 위한 새로운 데이터 엔진을 제안합니다. 이 방법은 "고비용 검증"과 "모델 예측"이라는 두 가지 서로 다른 검증 방법을 사용하여 높은 신뢰성과 빠른 실행 시간을 동시에 확보합니다. Wilson-Score 방법을 사용하여 모델 예측에 대한 신뢰 구간을 얻을 수 있습니다. 신뢰도가 설정된 신뢰 구간을 벗어나면 고비용 검증을 선택함으로써 시스템의 오류율을 제어합니다.
향후 연구
향후 연구에서는 부품, 고정장치, 재료의 변형이 있는 작업과 유사한 문제를 다루는 다른 영역으로 접근 방식을 확장하여 데이터 엔진의 일반화 가능성을 입증할 계획입니다. 분류를 위한 입력 데이터가 명확하게 정의되고 고비용 검증 구성 요소가 안정적이고 정확한 라벨링을 제공하는 한, 제안된 데이터 엔진을 체계적으로 적용할 수 있습니다.
자주 묻는 질문
이 논문의 주요 기여는 무엇인가요? 이 논문은 로봇 삽입 작업에서 이진 분류를 위한 새로운 데이터 엔진을 제안하며, 기계 학습 모델과 고비용 검증 방법을 결합하고 Wilson-Score 신뢰 구간을 사용하여 오류율을 제어하면서 고비용 검증을 최소화합니다.
Wilson-Score 방법은 분류 신뢰성을 어떻게 향상시키나요? Wilson-Score 방법은 모델 예측에 대한 신뢰 구간을 제공하여 신뢰도가 낮을 때 고비용 검증에 의존할 수 있게 하여 필요한 고비용 검증의 수를 줄이면서 고장률에 대한 한계를 보장합니다.
UMAP은 시스템에서 어떤 역할을 하나요? UMAP은 고차원 특징 공간을 2차원 표현으로 줄이는 데 사용되며, 지역적 이웃 관계와 전역 구조를 보존하여 크고 고차원적인 데이터 세트를 효과적으로 시각화하고 해석할 수 있게 합니다.
시스템은 거짓 양성 예측을 어떻게 처리하나요? 거짓 양성이 발생하여 시스템 정지가 발생하면 샘플은 라벨과 함께 데이터베이스에 저장되고, 낮은 신뢰도와 거짓 양성 샘플로 구성된 증가하는 데이터베이스를 사용하여 모델을 주기적으로 재훈련하여 향후 예측을 개선합니다.