Installazione su NPU Ascend

Xinference può essere eseguito su Ascend NPU. Installare utilizzando il seguente comando.

Avvertimento

La versione open source dipende da Transformers per l’inferenza, il che può causare problemi di lentezza su chip come il 310p3. Forniamo una versione enterprise che supporta il motore MindIE, con prestazioni più elevate e migliore compatibilità per supportare Ascend NPU. Per maggiori dettagli, consulta Xinference versione enterprise

Installa PyTorch e l’estensione Ascend

Installa la versione CPU di PyTorch e l’estensione Ascend corrispondente.

Prendendo PyTorch v2.1.0 come esempio.

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

Successivamente, installare l” estensione PyTorch di Ascend.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

Esegui il seguente comando per verificare; se funziona correttamente, verrà stampato il numero di NPU Ascend.

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

Installa Xinference

pip3 install xinference

Ora puoi fare riferimento alla documentazione per utilizzare Xinference. Transformers è l’unico motore open source che supporta l’NPU Ascend.

Supporto aziendale

Se riscontri problemi di performance o di altro tipo con Ascend NPU, ti invitiamo a contattare Xinference Enterprise Edition. Puoi contattarci qui.