ollama

Par mkurman · zorai

Exécuteur LLM local. Configuration en une seule commande pour Llama, Mistral, Gemma, Qwen, DeepSeek, Phi et plus de 100 modèles. API compatible OpenAI, gestion des modèles, accélération GPU et création de Modelfile personnalisés.

npx skills add https://github.com/mkurman/zorai --skill ollama

Aperçu

Ollama exécute les LLMs localement avec une seule commande. Supporte Llama 3, Mistral, Gemma, Qwen 2.5, DeepSeek, Phi et 100+ modèles avec accélération GPU (CUDA/Metal), API compatible OpenAI et Modelfiles personnalisés pour la configuration.

Installation

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

Utilisation basique

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain quantum computing"

API Python

import openai
client = openai.OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "What is ML?"}],
)
print(resp.choices[0].message.content)

Modelfile personnalisé

FROM llama3.1:8b
PARAMETER temperature 0.3
SYSTEM "You are a medical coding assistant."
ollama create my-coder -f Modelfile

Références

Skills similaires

nemoclaw-user-configure-inference
nvidia / skills

Configurer un sous-agent spécialisé dans un sandbox NemoClaw avec OpenClaw.

1 033
ad-model-onboard
nvidia / skills

Automatiser l'intégration de modèles HuggingFace dans AutoDeploy avec tests et rapport.

1 033
trtllm-moe-develop
nvidia / skills

Auditer et aligner le code MoE TensorRT-LLM avec l'architecture de référence.

1 033
claude-api
anthropics / skills

Construire des applications LLM avec Claude via le SDK officiel adapté au langage.

146 952
eval-bootstrap
datadog-labs / agent-skills

Générer du code d'évaluation Python à partir de traces de production LLM Datadog.

126