Hugging Face открыла бету TorchNeuron — нативного бэкенда PyTorch для AWS Trainium

Hugging Face объявила о публичной бете TorchNeuron — нового нативного бэкенда PyTorch для чипов AWS Trainium, который с 20 октября 2026 года можно будет поставить командой pip install torch-neuronx. Раньше работа с Trainium и Inferentia шла через библиотеку optimum-neuron поверх torch-neuronx на базе PyTorch XLA, а это требовало «мышления компилятора»: ленивых тензоров вместо обычного исполнения, только статических форм и перекомпиляции при каждом разрыве графа. TorchNeuron встраивается прямо в PyTorch и превращает neuron в обычное устройство с eager-режимом, torch.compile и штатными распределёнными примитивами вроде DTensor и FSDP2. Библиотеки Transformers, Diffusers, Accelerate, PEFT и TRL теперь запускаются на Trainium так же, как на любом другом ускорителе, и авторы советуют пользователям Neuron обращаться к ним напрямую, минуя прослойку Optimum Neuron. Чтобы перенести модель на чипы, достаточно указать device_map="neuron". Из коробки поддерживаются 89% из сотни самых востребованных архитектур для генерации текста против 46% у Optimum Neuron v0.4.5, и для генерации рекомендуется статический кэш, чтобы избежать частых перекомпиляций.