Esempio

Qui puoi trovare esempi e risorse didattiche su come utilizzare Xinference.

Esempio

Utilizzo di applicazioni end-to-end con Xinference:

• Podcast: Conversazione vocale con un agente AI su M2 Max

• Interazione con un modello LLM: esempio da riga di comando

• Interazione con modelli LLM: esempio di pagina chat Gradio

• Chatbot PDF con LLM locale e modello di embedding

• Dialogo locale con documenti utilizzando LangChain e Streamlit

Se incontri altri esempi nel tuo flusso di lavoro, ti incoraggiamo a inviare una PR!

Tutoriale

Il seguente tutorial copre le basi dell’utilizzo di Xinference in diversi scenari:

• [Notebook] Applicazione di Q&A (QA) con Xinference, Milvus e LangChain

• Utilizzare modelli LLM locali di Xinference con LlamaIndex

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

Integrazione di librerie di terze parti

Xinference è in grado di integrare e distribuire senza soluzione di continuità modelli AI open-source, supportando quindi i principali toolkit nel campo dell’AI. Xinference può essere utilizzato con le seguenti librerie di terze parti:

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM