Amazon Web Services가 AI 스타트업의 PyTorch 앱을 자사의 Trainium 칩으로 옮길 수 있게 해주는 도구 TorchNeuron을 공개했다고 TechCrunch가 처음 보도했다. 이 도구는 스타트업이 Amazon의 칩을 더 쉽게 사용할 수 있도록 하는 동시에, AI 앱의 기본 선택지로 Nvidia 하드웨어가 자리 잡는 데 기여한 Nvidia의 소프트웨어 우위에 도전한다.
TorchNeuron은 개발자가 AI 모델을 구축하고 학습시키고 실행하는 데 사용하는 오픈소스 도구 모음 PyTorch와 함께 작동한다. Amazon은 설정 한 줄만 바꾸면 코드를 다시 작성하지 않고도 앱을 Trainium에서 실행할 수 있다고 밝혔다. 이 도구는 PyTorch를 기반으로 만들어졌기 때문에 이미 이 프레임워크를 아는 개발자는 별도의 학습 없이 사용할 수 있다.
Nvidia는 PyTorch로 작성한 AI 앱이 Nvidia GPU와 기타 Nvidia 하드웨어에서 작동하도록 CUDA 소프트웨어를 지원하는 데 수년을 투자해왔다. Amazon에 따르면 AI 앱의 약 85%가 PyTorch로 작성되며, Nvidia 하드웨어는 이제 사실상 기본값으로 PyTorch 도구 모음에 깊숙이 자리 잡았다.
Amazon은 PyTorch의 메인 프로젝트에도 변경 사항을 기여하고 있으며, 특정 칩에 프레임워크를 종속시키는 코드를 제거하기 위해 PyTorch 커뮤니티와 협력하고 있다. 명시된 목표는 Trainium 사용자뿐 아니라 개발자 커뮤니티 전반에서 PyTorch가 특정 하드웨어에 덜 종속되도록 하는 것이다.
AWS는 자사 클라우드가 스타트업에 프로토타입부터 실제 서비스까지 이어지는 데 필요한 인프라를 제공한다고 주장한다. 단일 목적의 컴퓨팅 제공업체에 의존해 나머지 모든 것을 그 기반으로 구축할 필요가 없다는 것이다. 회사는 AWS가 토큰당 최저가를 제공하지 않더라도 스타트업의 비용을 절감할 수 있다고 밝혔다. Trainium이 하나의 칩에서 학습과 추론을 처리하고, 스타트업에 필요한 인프라와 긴밀하게 통합되어 있기 때문이다.
AWS Annapurna Labs의 기술 소프트웨어 부문 부사장인 Colin Brace는 Deepgram이 기본 PyTorch 지원을 바탕으로 Trainium으로 전환한 뒤, 실제 서비스 수준의 정확도를 유지하면서 달러당 오디오 처리량을 70% 늘렸다고 전했다.
두 가지 노력은 서로 다른 수준에서 작동한다. TorchNeuron은 PyTorch 앱이 Trainium을 이용하는 방식을 바꾸고, PyTorch 프로젝트에 대한 기여는 프레임워크를 특정 칩에 종속시키는 코드를 겨냥한다. Nvidia와의 결합을 완화하면 Amazon의 약속처럼 개발자에게 더 많은 선택지와 저렴한 옵션을 제공할지, 아니면 설정 작업이 늘어날지는 아직 지켜봐야 한다.