Benvenuto in Xinference!#
Xorbits Inference (Xinference) è una piattaforma open-source progettata per semplificare l’esecuzione e l’integrazione di vari modelli di intelligenza artificiale. Con Xinference, puoi eseguire inferenze su qualsiasi LLM open-source, modello di embedding e modello multimodale, sia nel cloud che in ambienti locali, e creare potenti applicazioni AI.
Utilizzo Xinference per sviluppare applicazioni AI in scenari reali#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
Guida introduttiva#
Installa Xinference su Linux, Windows e macOS.
Prima di tutto, esegui Xinference sul computer locale.
Esplora i vari modelli supportati da Xinference.
Registrare i pesi del modello e convertirli in API.
API di esplorazione#
Impara a chattare con LLM in Xinference.
Impara a connettere un LLM con strumenti esterni.
Impara come creare un embedding testuale in Xinference.
Impara come utilizzare il modello di riordinamento in Xinference.
Impara a usare Xinference per generare immagini.
Impara a utilizzare LLM per elaborare immagini e audio.
Impara come utilizzare Xinference per convertire audio in testo o testo in audio.
Impara a generare video con Xinference.
Scopri come utilizzare Xinference per inferire modelli di machine learning tradizionali.
Partecipa con noi#
Ultime notizie
Seguici su Twitter
Chiedere aiuto.
Comunità Discord
Iscriviti al gruppo Telegram
Segnala un problema su Github
contributo
Apri una PR su Github