🌐 Gestion de plusieurs modèles Ollama sur serveur distant (multi-ports)

Tu as accès à Ollama sur un serveur distant via l’IP suivante :
➡️ http://217.182.105.173:11434

Mais tu veux pouvoir :

✅ Lancer plusieurs modèles sur des ports séparés
✅ Gérer facilement leur activation/désactivation
✅ Éventuellement avoir une interface de contrôle locale ou Web

🧠 1. Lancer des modèles sur des ports spécifiques depuis ton serveur

Connecte-toi en SSH à ton serveur :

ssh ubuntu@217.182.105.173

Puis, exécute chaque commande dans un terminal séparé ou via tmux :

🔹 Port 11434 – Chat (Mistral)

OLLAMA_HOST=0.0.0.0:11434 ollama run mistral:latest

🔹 Port 11435 – Vision (LLaVA)

OLLAMA_HOST=0.0.0.0:11435 ollama run llava:34b-v1.6-fp16

🔹 Port 11436 – Embedding (Nomic Embed Text)

OLLAMA_HOST=0.0.0.0:11436 ollama run nomic-embed-text:137m-v1.5-fp16

🔹 Port 11437 – Reranker (BGE Re-ranker)

OLLAMA_HOST=0.0.0.0:11437 ollama run linux6200/bge-reranker-v2-m3:latest

🧩 2. Suggestions pour une gestion simplifiée

✅ Solution 1 : Script Bash de lancement automatique

Crée un fichier start_ollama_ports.sh sur le serveur :

#!/bin/bash

echo "Démarrage des instances Ollama :"

tmux new-session -d -s ollama_chat "OLLAMA_HOST=0.0.0.0:11434 ollama run mistral:latest"
tmux new-session -d -s ollama_vision "OLLAMA_HOST=0.0.0.0:11435 ollama run llava:34b-v1.6-fp16"
tmux new-session -d -s ollama_embed "OLLAMA_HOST=0.0.0.0:11436 ollama run nomic-embed-text:137m-v1.5-fp16"
tmux new-session -d -s ollama_rerank "OLLAMA_HOST=0.0.0.0:11437 ollama run linux6200/bge-reranker-v2-m3:latest"

echo "Tout est lancé dans des sessions tmux indépendantes."

Lancer tous les modèles :

chmod +x start_ollama_ports.sh
./start_ollama_ports.sh

⛔ Stopper un seul modèle

tmux kill-session -t ollama_chat
tmux kill-session -t ollama_vision

📺 Surveiller l'état d’un modèle

tmux attach -t ollama_chat
# CTRL+B puis D pour détacher

🖥️ Option future : Interface Web de monitoring

Tu peux créer :

Un petit script Flask / FastAPI avec boutons start/stop
Un panneau HTML pour démarrer/arrêter chaque modèle
Une API REST locale sur le serveur

Souhaites-tu un exemple de script Flask pour ça ?

📌 Récapitulatif des ports

Port	Modèle / Rôle
11434	Chat - Mistral
11435	Vision - LLaVA
11436	Embedding - Nomic
11437	Reranker - BGE

Tu peux maintenant utiliser ces adresses dans Ragflow :

http://217.182.105.173:11434  → Mistral (chat)
http://217.182.105.173:11435  → LLaVA (vision)
http://217.182.105.173:11436  → Embedding
http://217.182.105.173:11437  → Reranker

Souhaites-tu aussi une version en .sh prêtes à télécharger ?

3.0 KiB Raw Blame History Unescape Escape