Amazon Web Services lanzó TorchNeuron, una herramienta que permite a las startups de IA migrar aplicaciones PyTorch a su chip Trainium, según informó primero TechCrunch. Esto ofrece a las startups una vía más sencilla para usar el chip de Amazon y, al mismo tiempo, enfrenta la herramienta a la ventaja de Nvidia en software, que ha contribuido a convertir el hardware de Nvidia en la opción predeterminada para las aplicaciones de IA.
TorchNeuron funciona con PyTorch, el conjunto de herramientas de código abierto que usan los desarrolladores para crear, entrenar y ejecutar modelos de IA. Amazon afirma que una aplicación puede ejecutarse en Trainium con una sola línea de configuración, sin reescribir el código; como la herramienta está adaptada a PyTorch, los desarrolladores que ya conocen el framework también saben cómo usarla.
Nvidia lleva años asegurándose de que su software CUDA sea compatible con aplicaciones de IA escritas con PyTorch que se ejecutan en sus GPU y otros componentes de hardware. Amazon afirma que cerca del 85% de las aplicaciones de IA están escritas con PyTorch, y que el hardware de Nvidia está ahora profundamente integrado en el conjunto de herramientas, prácticamente por defecto.
Amazon también está aportando cambios al proyecto principal de PyTorch y colaborando con su comunidad para eliminar código que vincula el framework a chips específicos. El objetivo declarado es que PyTorch sea más independiente del hardware para la comunidad de desarrolladores, no solo para quienes usan Trainium.
AWS sostiene que su nube proporciona a las startups la infraestructura necesaria para pasar del prototipo a la producción, en lugar de depender de un proveedor de computación dedicado a una sola tarea y construir todo lo demás a su alrededor. La empresa afirma que su nube permitirá a las startups ahorrar dinero aunque AWS no ofrezca el precio más bajo por token, porque Trainium se encarga del entrenamiento y la inferencia en el mismo chip y está estrechamente integrado con la infraestructura que necesitan las startups.
Colin Brace, vicepresidente de Software de Tecnología de AWS Annapurna Labs, citó a Deepgram como ejemplo: tras migrar a Trainium con compatibilidad nativa con PyTorch, procesa un 70% más de audio por dólar con una precisión de nivel de producción.
Las dos iniciativas actúan en niveles distintos: TorchNeuron cambia la forma en que las aplicaciones PyTorch acceden a Trainium, mientras que la contribución al proyecto principal apunta al código que vincula PyTorch a chips específicos. La pregunta abierta es si reducir esos vínculos con Nvidia dará a los desarrolladores más opciones y alternativas asequibles, como promete Amazon, o si implicará más trabajo de configuración.