Esempio: Chatbot PDF 📚#

Descrizione:

Questo esempio mostra come costruire un chatbot per PDF utilizzando un LLM locale e un modello di embedding.

Tecnologie coinvolte:

@ Xinference come servizio di hosting per modelli LLM

@ LlamaIndex viene utilizzato per orchestrare l’intera pipeline RAG.

@ Streamlit per interfaccia utente interattiva

Spiegazione dettagliata delle funzionalità dimostrative:

  • Ho creato un Dockerfile, semplificando il processo di deployment tramite Docker e garantendo una facile riproducibilità.

  • Utilizza Xinference per avviare i modelli LLM ed embedding, ed esponi due porte per accedervi.

  • Implementazione di un caricamento file senza soluzione di continuità e comunicazione interattiva con il motore di chat tramite Streamlit.

  • La velocità di embedding dei documenti è 5 volte superiore a quella dell’API di OpenAI.

  • Utilizza la potenza di GGML per eseguire i modelli sulla GPU, garantendo un’accelerazione e riducendo i tempi di attesa per i risultati.

Codice sorgente