CoWAM은 동기화, 역할, 충돌 의무를 조정 계약으로 표현하는 선택적 개입 계층입니다. 각 계약은 타입이 지정된 허용 가능 술어, 이벤트 조건 학습 증거, 보정된 개입 게이트를 결합합니다. 대안이 모든 활성 의무를 충족하고, 낮은 위험을 유지하며, 작업 유틸리티를 보존하고, 보정된 개입 임계값을 통과하지 않는 한, 명목상의 행동은 유효합니다. 그렇지 않으면 CoWAM은 명목상의 행동을 유지하거나 사전 정의된 기권 대체를 호출합니다.
이 계약 관점은 제안 생성과 개입을 분리합니다. CoWAM은 새로운 행동 생성기를 훈련하지 않으며 후보 풀을 변경하지 않습니다. 대신 모든 선택기는 동일한 정렬된 후보를 받고, 시뮬레이터 결과가 제공되기 전에 결정을 내리며, 하나의 공유 오라클 라벨링 패스로 감사를 받습니다. 이 프로토콜은 결과 블라인드 동일 풀 평가라고 합니다. 따라서 평가는 조정 유효 선택, 거짓 및 유해한 개입, 자연 폐쇄 루프 성공, 제안 헤드룸을 구분합니다.
세계-행동 후보 인터페이스
재계획 시점에 고정된 제안기는 정렬된 후보 풀을 반환합니다. 컨트롤러는 세 가지 결정 중 하나를 반환합니다: 유지는 명목상의 행동을 실행하고, 재정의는 검증된 대안 중 하나를 실행하며, 기권은 허용 가능한 후보가 없을 때 작업 정의 대체를 호출합니다. 이는 미래 생성이 아닌 정책 개입을 메서드의 대상으로 만듭니다.
조정 계약
비활성 이벤트 유형은 제약을 부과하지 않지만, 모든 활성 술어는 통과해야 합니다. 술어는 쌍을 이루는 행동 및 미래 증거를 사용합니다: 예로는 제한된 팔 간 거리, 호환 가능한 객체 할당, 동기화된 접촉 진행, 비발산 공유 객체 운동이 있습니다. 계약은 또한 보정된 결정 임계값과 계약 실패와 연관된 대체를 저장합니다.
정성적 사례
세 가지 작업 수준 예제가 메서드를 설명합니다. 냄비 들어 올리기 사례는 CoWAM이 명목상의 실패를 동일한 풀에서 조정 유효한 성공 대안으로 대체하는 것을 보여줍니다. 바구니에 캔 넣기 및 쓰레기통에 병 넣기는 순차적 운반, 다중 객체 역할 할당, 상보적 카메라 뷰의 종료 완료를 통해 CoWAM의 성공적인 조정을 보여줍니다.
결정 절차
완전한 결정 절차는 다음과 같습니다:
- 정렬된 쌍 후보 풀을 수신하고 저장합니다.
- 작업 및 이벤트 상태에서 활성 조정 계약을 인스턴스화합니다.
- 결과 라벨에 접근하지 않고 모든 후보에 대해 타입 술어 및 이벤트 조건 증거를 평가합니다.
- 보정된 위험 및 유틸리티 경계를 구성하고 모든 선택적 게이트를 평가합니다.
- 가장 높은 점수의 적격 대안으로 재정의하거나, 계약 유효한 명목 행동을 유지하거나 고정된 대체를 통해 기권합니다.
- 공유 오라클 평가 전에 선택된 인덱스, 결정 모드, 계약 결과, 점수, 경계 및 후보 풀 다이제스트를 저장합니다.
동일한 인터페이스가 모든 절제를 정의합니다. 계약 전용은 타입 술어를 유지하지만 학습된 검증 및 전체 게이트 스택을 제거합니다. 스칼라 검증기는 이벤트 조건 출력을 하나의 학습된 점수로 대체합니다. 불확실성 경계 없음은 점 추정을 사용하고, 기준선 보존 없음은 명목 행동에 대한 상대적 보호를 제거합니다. 전체 CoWAM만이 제안된 메서드입니다.
결과 블라인드 페어링
각 평가 단위는 모든 선택기가 공유하는 하나의 정렬된 후보 풀을 구체화합니다. 후보 ID, 순서, 행동 및 예측 미래는 메서드 간에 동일합니다. 선택기는 오라클 호출 전에 선택한 인덱스와 완전한 결정 레코드를 기록합니다. 이후 하나의 시뮬레이터 배치가 모든 후보에 라벨을 지정합니다. 이 프로토콜은 모든 선택기에 대해 동일한 결과 정보 경계를 유지하고 오라클 제안 상한을 독립적으로 측정합니다.
이벤트 유효성의 경우, 결과 검사 전에 180개의 이벤트 스트레스 클러스터가 구성됩니다. 오라클은 조정 유효한 대안이 하나 이상 포함된 150개의 클러스터를 표시합니다. 또한 모든 180개 클러스터는 명목 행동이 계약 유효한 일치하는 음성 하나를 제공합니다. 자연 폐쇄 루프는 작업당 30개의 보류된 시드에서 전체 쌍 에피소드를 평가합니다. 후보 확장 접두사는 각 복원된 상태 내에 중첩되므로 과학적 단위는 개별 후보가 아닌 상태입니다.
지표 및 통계 테스트
엄격한 작업 성공은 고정된 시간 내 시뮬레이터 완료입니다. 조정 유효성은 모든 활성 이벤트 의무가 유지되어야 합니다. 구조는 실패한 명목 행동을 수리하는 대안을 선택하고 다른 필수 결과를 잃지 않는 것입니다. 거짓 개입은 작업 또는 조정 지원 없이 명목 행동을 변경하고, 유해한 개입은 하나 이상의 필수 결과를 잃습니다. 개입률은 오류와 함께 보고되어 선택적 정확성과 비활동을 구분합니다.
M1 비교는 쌍 클러스터 불일치와 양측 정확한 McNemar 검정을 사용합니다. M2 비교는 쌍 작업 시드 에피소드와 동일한 정확한 검정을 사용합니다. 풀 내 후보 레코드는 독립적으로 취급되지 않습니다. 순위 지표는 작업 시드 분리 그룹에서 계산되며, 보정은 기대 보정 오류와 Brier 점수로 측정됩니다. 고정된 분모는 실험 원장에 보고된 블록 할당과 정확히 일치합니다.
분모 원장
원장은 재사용된 모든 테이블 행을 합산하는 대신 독립적인 과학 단위를 계산합니다. 조정 절제 및 이벤트 패밀리 분해는 메인 조정 풀을 재사용합니다. 위험-커버리지 행은 학습된 순위 그룹을 재사용합니다. 타이밍 반복은 시스템 비용을 특성화하며 과학적 총계에서 제외됩니다.
런타임 환경 및 아티팩트
모든 실행은 작업, 시드, 후보 수, 제안기, 활성 계약, 계약 결과, 검증기 출력, 선택된 행동, 개입 유형, 결과 라벨 및 소스 해시를 기록합니다. 기계 판독 가능한 매니페스트는 각 결정을 후보 풀 다이제스트, 작업 시드 단위, 결과 레코드 및 집계 테이블 항목에 연결합니다.
주장 재현 순서
최소 재현 경로는 다음과 같습니다: 1. 시뮬레이터, 제안기, 검증기 및 구성 개정을 검증합니다. 2. 고정된 이벤트 및 자연 작업 시드 행렬을 구체화합니다. 3. 각 정렬된 후보 풀을 한 번 생성하고 다이제스트를 저장합니다. 4. 오라클 액세스 없이 모든 선택기를 실행하고 결정을 저장합니다. 5. 공유 후보 풀 및 폐쇄 루프 실행에 라벨을 지정합니다. 6. 쌍 수, 정확한 테스트, 보정 지표 및 분모 검사를 집계합니다. 7. 고정된 집계에서 메인 및 부록 테이블을 재생성합니다.
제출된 아티팩트에는 구성, 실행 매니페스트, 선택기 레코드, 집계 테이블, 통계 스크립트 및 대표 미디어가 포함됩니다. 대규모 사전 훈련된 제안기 가중치는 중복 대신 공개 모델 개정 및 체크섬으로 참조됩니다.
논의 및 한계
결과는 조정 계약이 예측과 제어 사이의 인터페이스 역할을 지원합니다. 타입 의무는 조정 요구 사항을 식별하고, 이벤트 조건 검증은 후보 만족도를 추정하며, 보정된 게이트는 증거가 개입을 보증하는지 결정합니다. 계약 전용은 구조를 순위화하지 않으며, 불확실성 또는 기준선 보존을 제거하면 거짓 및 유해한 개입이 증가합니다. 예측 품질과 개입 결정은 별도로 평가되어야 합니다.
제안 품질과 개입 품질은 상보적 축을 형성합니다. 오라클 상한은 사용 가능한 행동 공간 기회를 측정하는 반면, CoWAM은 보수적 기준 하에서 온라인 전환을 측정합니다. 후보 확장 및 교차 제안기 결과는 다양한 풀이 기회를 만들고 CoWAM이 무조건적인 재순위화의 오류 성장을 피하는 동안 기회를 제공함을 보여줍니다. 더 풍부한 풀은 선택 가능한 선택을 확장하고, 보정된 증거는 자신 있게 선택된 하위 집합을 확장합니다. 개선은 여덟 가지 이매뉴얼 작업, 세 가지 이벤트 패밀리, 후보 수, 순차적 지평 및 제안기 소스에서 일관되게 유지되어 다양한 구조 및 WAM 후보 분포에서 조정 계약을 지원합니다. 이러한 폭은 평가된 변형 전반에 걸쳐 공통 선택기 구조를 설정합니다. 추가 작업 및 구현은 개입 규칙을 유지하면서 계약 인스턴스화 및 보정을 통해 들어옵니다.
평가 범위
자연 평가는 8개 작업 정의 모두에서 보류된 시드를 포함합니다. 이벤트 감사는 동기화, 역할 및 충돌 기회를 다루며 이벤트 수준 선택 품질을 자연적으로 발생하는 폐쇄 루프 조정 결과에 연결합니다. 교차 제안기 평가는 X-WAM, LeWorldModel 및 혼합 후보 풀을 다룹니다. 이러한 블록은 하나의 결과 블라인드 동일 풀 프로토콜 하에서 작업, 조정 모드, 후보 수, 지평 및 제안기 소스 전반에 걸쳐 선택적 개입 이점을 설정합니다.
결론
CoWAM은 예측된 미래를 사용하여 이매뉴얼 정책 행동을 수정하기 전에 조정 계약을 평가합니다. 타입 의무, 학습된 검증 및 보정된 게이트는 유지, 재정의 또는 기권을 결정합니다. 결과 블라인드 동일 풀 평가는 낮은 거짓 및 유해한 개입률로 더 높은 조정 유효 선택 및 자연 작업 성공을 보여줍니다. 이러한 이점은 작업, 이벤트 패밀리, 후보 수, 지평 및 제안기 전반에 걸쳐 지속됩니다. 절제는 조정 구조, 시간적으로 정렬된 미래 및 보정의 상보적 기여를 식별합니다. 후보 확장은 CoWAM이 무조건 재순위화 오류 성장 없이 더 풍부한 풀을 유효한 개입으로 전환함을 보여줍니다. 교차 제안기 전송은 동일한 선택기가 변경되지 않은 생성기로 WAM 후보 분포 전반에 걸쳐 작업 성공을 증가시킴을 보여줍니다. 함께 CoWAM은 세계-행동 예측과 조정된 이매뉴얼 제어 사이의 재사용 가능한 인터페이스로 조정 계약을 설정합니다.
자주 묻는 질문
CoWAM에서 조정 계약이란 무엇인가요? 조정 계약은 동기화, 역할 및 충돌 의무를 인코딩하는 타입이 지정된 허용 가능 술어, 이벤트 조건 학습 증거 및 보정된 개입 게이트를 묶습니다. 대안 행동이 명목 정책 출력을 재정의하려면 모든 활성 술어가 통과해야 합니다.
CoWAM은 새로운 행동 생성기 훈련과 어떻게 다른가요? CoWAM은 순수한 선택적 개입 계층으로, 새로운 생성기를 훈련하거나 후보 풀을 변경하지 않습니다. 계약 평가에 따라 유지, 재정의 또는 기권을 결정하기 위해 모든 선택기가 받는 동일한 정렬된 후보를 소비합니다.
결과 블라인드 동일 풀 평가란 무엇인가요? 모든 선택기는 동일한 후보 풀을 보고 시뮬레이터 결과 라벨이 제공되기 전에 결정을 내려야 합니다. 하나의 공유 오라클 패스가 모든 후보에 라벨을 지정하여 동일한 정보 경계를 유지하고 개입 품질을 직접 비교할 수 있게 합니다.
CoWAM은 지표에서 어떤 개입을 구분하나요? 평가는 구조(실패한 명목 행동을 수리하는 대안), 거짓 개입(작업 또는 조정 지원 없이 변경), 유해한 개입(필수 결과를 잃는 변경)을 엄격한 작업 성공 및 개입률과 함께 구분합니다.