Guida introduttiva

• Installazione
  • Motore Transformers
  • Motore vLLM
  • Motore Llama.cpp
  • Motore SGLang
  • Motore MLX
  • Altre piattaforme
• Use
  • Esecuzione locale di Xinference
  • Distribuzione di Xinference in un cluster
  • Distribuisci Xinference con Docker
  • Altro
• log
  • Livello di log
  • File di log
  • Environment Variables
• Immagine Docker
  • Lavori preparatori
  • Immagine Docker
  • Immagine personalizzata
  • Usa l’immagine
  • Montaggio della directory del modello
• Installa Xinference nel cluster Kubernetes
  • Basato sul metodo nativo di Helm
  • Basato sul metodo KubeBlocks di terze parti
• Risoluzione dei problemi
  • Nessun permesso per il repository huggingface
  • Driver NVIDIA e versione di PyTorch non corrispondono
  • I sistemi esterni non possono accedere al servizio Xinference tramite <IP>:9997.
  • L’avvio del modello integrato richiede molto tempo e talvolta il download del modello fallisce.
  • Quando si utilizza l’immagine Docker ufficiale, RayWorkerVllm muore a causa di OOM, impedendo il caricamento del modello.
  • Caricamento del modello LLM: manca il parametro model_engine
  • Risoluzione del conflitto nel livello di threading MKL
  • Configurare un mirror PyPI per accelerare l’installazione dei pacchetti.
  • Installazione di Xinference 1.12.0 con uv fallita (a novembre 2025)
  • vLLM + Torch + Xinference problemi di compatibilità (errore di segmentazione)
• Variabili d’ambiente
  • XINFERENCE_ENDPOINT
  • XINFERENCE_MODEL_SRC
  • XINFERENCE_HOME
  • XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
  • XINFERENCE_HEALTH_CHECK_INTERVAL
  • XINFERENCE_HEALTH_CHECK_TIMEOUT
  • XINFERENCE_DISABLE_HEALTH_CHECK
  • XINFERENCE_DISABLE_METRICS
  • XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
  • XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
  • XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
  • XINFERENCE_MAX_TOKENS
  • XINFERENCE_ALLOWED_IPS
  • XINFERENCE_BATCH_SIZE
  • XINFERENCE_BATCH_INTERVAL
  • XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
  • XINFERENCE_LAUNCH_STRATEGY
  • XINFERENCE_MAX_CONCURRENT_LAUNCHES
  • XINFERENCE_ENABLE_VIRTUAL_ENV
  • XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
  • XINFERENCE_CSG_TOKEN
  • XINFERENCE_CSG_ENDPOINT
  • XINFERENCE_QWEN3_RERANK_TEMPLATE
  • XINFERENCE_LAUNCH_HISTORY_DB_PATH
• Note di rilascio della versione