Amazon Web Services 发布了 TorchNeuron，这款工具可帮助 AI 初创公司将 PyTorch 应用迁移到其 Trainium 芯片上。此消息最早由 TechCrunch 报道。这为初创公司提供了更简便的方式来使用 Amazon 的芯片，同时也让这款工具直面 Nvidia 的软件优势——正是这种优势让 Nvidia 硬件成为 AI 应用的默认选择。
TorchNeuron 兼容 PyTorch。这是一款开源工具包，开发者用它来构建、训练和运行 AI 模型。Amazon 表示，只需一行配置，应用就能在 Trainium 上运行，无需重写代码；由于这款工具基于 PyTorch 改造而来，熟悉该框架的开发者也就知道如何使用它。
多年来，Nvidia 一直在完善 CUDA 软件，确保它能支持通过 PyTorch 编写、运行于 Nvidia GPU 及 Nvidia 其他硬件上的 AI 应用。Amazon 表示，约 85% 的 AI 应用是用 PyTorch 编写的，而 Nvidia 硬件如今已深度融入这一工具包，几乎成了默认选项。
Amazon 还在向 PyTorch 主项目上游贡献代码改动，并与 PyTorch 社区合作，移除将该框架与特定芯片绑定的代码。其宣称的目标是让 PyTorch 对开发者社区而言更加不受硬件限制，而不仅仅服务于 Trainium 用户。
AWS 表示，其云服务能为初创公司提供从原型开发走向正式生产所需的基础设施，避免它们依赖单一用途的计算服务商、再围绕该服务商搭建其他一切。公司称，即使 AWS 不提供最低的每 token 价格，其云服务仍能帮助初创公司省钱，因为 Trainium 可在同一款芯片上完成训练和推理，并与初创公司所需的基础设施紧密集成。
AWS Annapurna Labs 技术软件副总裁 Colin Brace 举例称，Deepgram 在迁移到 Trainium 并使用原生 PyTorch 支持后，在达到生产级准确度的同时，每美元可处理的音频量提升了 70%。
这两项工作作用于不同层面：TorchNeuron 改变 PyTorch 应用接入 Trainium 的方式，而上游代码贡献则针对那些将 PyTorch 与特定芯片绑定的代码。悬而未决的问题是，放松 PyTorch 与 Nvidia 的绑定，是否能像 Amazon 承诺的那样，为开发者带来更多选择和更实惠的方案，还是会增加配置工作。