Installer un modèle IA local avec Ollama

Objectif

Installer et utiliser des modèles d'intelligence artificielle localement sur Debian 12 avec Ollama, sans GPU nécessaire.

Prérequis

• Système Debian 12

• Accès root (les commandes sont exécutées en super-utilisateur)

• 8 Go de RAM minimum (16 Go recommandé)

• 20 Go d'espace disque libre

1. Mettre à jour le système

apt update && apt upgrade -y

2. (Facultatif) Installer Docker si nécessaire

apt install -y docker.io
systemctl enable docker
systemctl start docker
usermod -aG docker $USER

💡 Déconnexion/reconnexion requise pour appliquer les droits Docker.

3. Installer Ollama

Option A : Installation native (recommandée)

curl -fsSL https://ollama.com/install.sh | sh

✅ Vérification :

ollama --version

Option B : Via Docker

docker run -d -p 11434:11434 --name ollama ollama/ollama

4. Lancer un modèle IA

Télécharger et exécuter un modèle :

ollama run mistral

📦 D'autres modèles disponibles : llama2, gemma, phi, codellama, etc.

👉 Liste complète : https://ollama.com/library

5. (Optionnel) Ajouter une interface web (Open WebUI)

git clone https://github.com/open-webui/open-webui.git
cd open-webui
docker compose up -d

Accès via navigateur :

http://192.168.X.X:3000

Conclusion

Ollama permet de faire tourner des modèles d’IA localement sans GPU, avec de très bonnes performances sur des modèles quantisés. Il s'intègre facilement dans un usage personnel, professionnel ou de développement.

💡 Pour aller plus loin :

• Utiliser l’API HTTP Ollama dans vos scripts Python

• Tester via Text Generation WebUI, LM Studio, etc.

• Déployer sur d'autres serveurs via Portainer ou Swarm