Installa Xinference nel cluster Kubernetes#

Basato sul metodo nativo di Helm#

Xinference fornisce un metodo di installazione basato su Helm nativo nei cluster Kubernetes.

Preparare le condizioni#

  • Un cluster Kubernetes funzionante.

  • In Kubernetes, per abilitare il supporto delle GPU, fare riferimento qui.

  • Installa correttamente Helm.

Passaggi specifici#

  1. Aggiunto il repository Helm di Xinference

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. Aggiornare l’indice del repository e verificare le versioni installabili.

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. Installazione

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

Installazione personalizzata#

Il metodo di installazione sopra descritto installa un Xinference simile a una macchina singola, ovvero con un solo nodo, mentre tutti gli altri parametri di avvio rimangono con i valori predefiniti.

Di seguito sono mostrate alcune configurazioni di installazione personalizzata comuni.

  1. Ho bisogno di scaricare il modello da ModelScope.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. Voglio utilizzare l’immagine di Xinference per CPU (o altre versioni dell’immagine).

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. Ho bisogno di avviare 4 nodi worker Xinference, ciascuno dei quali gestisce 4 GPU.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

L’installazione sopra descritta si basa sull’opzione Helm --set. Per scenari di installazione personalizzata più complessi, ad esempio più worker che condividono lo storage, è fortemente consigliato utilizzare il proprio file values.yaml e poi procedere all’installazione tramite l’opzione Helm -f.

The default values.yaml file is located here. Some examples can be found here.

Basato sul metodo KubeBlocks di terze parti#

Puoi anche installare Xinference in un cluster K8s tramite il progetto di terze parti KubeBlocks. Questo metodo non è ufficialmente mantenuto da Xinference, quindi non può garantire aggiornamenti tempestivi e disponibilità. Consulta la documentazione .