The Verge가 처음 보도한 METR의 11주 조사에 따르면, Anthropic 모델은 1년 전보다 약 두 배 빠른 속도로 개선되고 있다. 연구진은 10월 기준 가속의 대부분이 AI에서 비롯됐다고 분석했지만, Anthropic이 광범위하게 내용을 삭제한 탓에 대중은 연구 결과와 그 불확실성을 판단할 근거를 충분히 확보하지 못했다.
METR의 벤치마크 결과는 Anthropic이 지난 1년 동안 과거 약 2년에 해당하는 진전을 이뤘음을 시사했다. 연구진은 AI 발전의 주요 동력이었던 학습 연산량의 증가만으로 이런 가속을 설명할 수는 없다고 확신한다고 밝혔다.
비공식 Slack 설문과 직원 인터뷰도 이러한 평가를 뒷받침했다. Anthropic의 가장 강력한 내부 모델을 사용한 직원들은 AI 지원이 없었을 때와 비교해 각자 맡은 업무의 생산성이 평균 약 12배 높아졌다고 직접 보고했다. 이는 몇 달 전 Mythos 5를 사용하던 직원들이 보고한 수치의 약 두 배였다.
METR에 따르면 가속의 상당 부분은 AI가 독립적으로 작업한 결과가 아니라 인간 연구자를 지원하면서 나타난 것으로 보인다. 연구진은 수익 체감이 시작됐거나 더 빠른 가속을 막을 만한 병목 현상이 관찰된다는 뚜렷한 징후를 찾지 못했다. 또한 완전 자율적인 AI의 기여가 머지않아 더 큰 역할을 할 수 있다는 징후도 확인했다.
Anthropic은 지난 6개월 동안 공개되지 않은 모델 3개의 학습을 완료했다. Model 2는 7월, Model 3은 8월~9월, Model 4는 9월~10월에 완료됐다. METR은 2022년으로 거슬러 올라가는 Unreleased 2022라는 미공개 모델도 확인했다.
Anthropic은 기밀 연구 자료와 모델 성능 데이터, 직원 인터뷰를 METR에 제공했지만 제한 없는 접근 권한은 허용하지 않았다. METR이 가장 유익하다고 본 증거의 대다수는 Anthropic이 공개하지 않았고, 일부 데이터 요청도 거부됐다.
이번 평가는 벤치마크의 진전과 직원들이 직접 보고한 생산성 수치를 제시하는 한편, METR이 가장 유익하다고 판단한 증거의 대부분이 빠진 공개 설명을 내놓았다. Anthropic 공동 창업자 Sam McCandlish는 삭제 조치가 상업적으로 민감한 정보를 보호하고 경쟁사에 앞서 나갈 방법을 알려주는 것을 막기 위한 것이라고 밝혔다. 그는 Anthropic이 앞으로 몇 주 안에 AI 발전에 관한 자체 보고서를 발표하고 새로운 안전 조치도 공개할 계획이라고 말했다.