Esempio: Chatbot a riga di comando 🤖️#

Descrizione:

Dimostra come interagire con Xinference, utilizzando la funzione di chat basata su LLM nella riga di comando per interagire con l’agente AI. 💻

Tecnologie coinvolte:

@ ggerganov ggml

@ Xinference come piattaforma

Tutti i modelli LLaMA e Chatglm supportati da Xinference inference.

Spiegazione dettagliata sulle funzionalitĂ  demo:

  1. Accetta l’input da riga di comando dell’utente nel terminale e ottiene i parametri necessari per avviare il modello.

  2. Avviare il framework Xinference e distribuire automaticamente il modello richiesto dall’utente nel cluster.

  3. Inizializza una cronologia chat vuota per memorizzare tutto il contesto della stanza di chat.

  4. Richiedi ricorsivamente l’input dell’utente come prompt, facendo sì che il modello generi una risposta basata sul prompt e sulla cronologia della chat. Mostra l’output della risposta nel terminale.

  5. Memorizza l’input dell’utente e le risposte dell’agente nella cronologia chat, come contesto per i prossimi turni di dialogo.

Codice sorgente: