mirror of
https://github.com/Ladebeze66/llm_lab_perso.git
synced 2025-12-16 00:36:50 +01:00
37 lines
1.7 KiB
Python
37 lines
1.7 KiB
Python
from core.base_llm import BaseLLM
|
|
import requests
|
|
|
|
class CodeLlama13bPython(BaseLLM):
|
|
def __init__(self):
|
|
# Nom du modèle spécifique
|
|
model_name = "codellama:13b-python"
|
|
# Moteur utilisé pour l'inférence
|
|
engine = "Ollama"
|
|
|
|
# Paramètres par défaut spécifiques à CodeLlama13bPython
|
|
default_params = {
|
|
"temperature": 0.6, # Contrôle la créativité : plus bas pour code
|
|
"top_p": 0.95, # Nucleus sampling : sélectionne les tokens jusqu'à une probabilité cumulative
|
|
"top_k": 40, # Considère les top_k tokens les plus probables pour chaque étape de génération
|
|
"repeat_penalty": 1.2, # Pénalise les répétitions : important pour le code
|
|
"num_predict": 1024, # Nombre maximum de tokens à générer dans la réponse - plus grand pour le code
|
|
"stop": ["```"], # Arrête sur code block
|
|
"seed": None, # Graine pour la reproductibilité
|
|
"stream": False, # Si True, la réponse est envoyée en flux (streaming)
|
|
"raw": False # Si True, désactive le prompt système automatique
|
|
}
|
|
|
|
super().__init__(model_name=model_name, engine=engine, base_params=default_params)
|
|
|
|
def generate(self, user_prompt):
|
|
prompt = self._format_prompt(user_prompt)
|
|
payload = self.params.copy()
|
|
payload["prompt"] = prompt
|
|
|
|
response = requests.post("http://localhost:11434/api/generate", json=payload)
|
|
if not response.ok:
|
|
raise Exception(f"Erreur API Ollama : {response.status_code} - {response.text}")
|
|
|
|
result = response.json().get("response", "")
|
|
self._log_result(user_prompt, result)
|
|
return result |