Organisation des notes et questions

✅ Partie 1 : Liens entre Questions et Réponses

🔄 Correspondances identifiées

Question	Réponse(s) correspondante(s)
Pipeline nodes vs FastAPI	❌ Non abordé clairement dans la réunion
Validation format JSON	❌ Non abordé directement
Mise en place de scripts	✅ Création de petits scripts + plus gros pour recherche + scripts autonomes
Argument + script pour exécution	✅ Utilisation possible dans un cadre automatisé avec LLMs / agents
Bibliothèque de scripts pour données	✅ Extraction depuis tickets / traitement dans scripts structurés / stockage JSON
Création de base de données	✅ ElasticSearch pour structuration + consultation des tickets résolus
Déplacement des données résolues	✅ Données déplacées après clôture ticket, nettoyées pour intégration finale
Quel LLM pour scripts ?	✅ Plusieurs options : LLava, LangChain, LlamaIndex, Ollama, agents multiples
Fine-tuning besoin ?	✅ Oui, prévu régulièrement (mensuel) avec LoRA après nettoyage + synthèse
Interface locale ?	✅ Interface type Gradio, conversations sauvegardées et réinjectées dans JSON

📑 Partie 2 : Résumé structuré de la réunion

📚 1. Base de données et stockage des tickets

Utilisation d'ElasticSearch comme base centrale.
Contenu : fils de discussions clients/support + tickets clos.
Extraction automatique de paires Q/R dès qu'un ticket est considéré comme résolu.
Traitement des images : conversion en texte explicatif pour intégration dans la synthèse.

⚙️ 2. Organisation des scripts d'automatisation

Mise en place d’une bibliothèque de scripts :
- Scripts courts : tâches ciblées (extraction JSON, filtre, nettoyage)
- Scripts intermédiaires : automatisation du tri, création des fichiers finaux
- Scripts lourds/autonomes : exécutions régulières, recherche sur ensemble ElasticSearch
Une fois les tickets traités, génération d’un JSON final prêt à l’injection dans le LLM ou RAG.
Suppression automatique des fichiers temporaires obsolètes.

🤖 3. Architecture LLMs et agents

Utilisation de plusieurs agents spécialisés :
- Résumer la question
- Résumer ou formuler la réponse
- Ajouter du contexte ou détecter les problèmes récurrents
- Analyse d’image (via LLaVA ou autre LLM vision)
Modèles suggérés :
- LLava / LLaMA-Vision : traitement image + texte
- LangChain / LlamaIndex : gestion du RAG
- Ollama : LLM local, agents affectés à différentes tâches
Agents configurés dans VSCode via API Ollama, avec rôles assignés par prompt ou tag

🧠 4. Stratégie hybride : RAG + Fine-tuning

Pipeline proposé :
- RAG pour indexation / requêtes rapides sur base ElasticSearch
- Fine-tuning via LoRA chaque mois pour apprentissage des nouveaux cas validés
- Nettoyage systématique du dataset avant fine-tune
Possibilité de retraining ciblé en cas de réponse erronée ou incohérente
Système de signalement de cas récurrents à intégrer dans le flux de traitement

💬 5. Interface utilisateur locale

Création d’une interface locale (Gradio ou équivalent) pour dialogue avec LLM
- Conversation sauvegardée (logs)
- Intégration de ces échanges dans JSON pour enrichissement automatique
- Tests d’efficacité en comparant les réponses sur différents tickets ou variantes

🧪 6. Intégration dans VSCode avec Ollama

Agents configurés directement dans VSCode via Ollama API
Exemple de cas :
- Agent : “Convertis ce code WLangage en Python”
- Action : détecte les fichiers concernés, applique une conversion
- Permet de contextualiser le prompt selon la tâche
Lié à des scripts personnalisés : enrichissement automatique, tri, filtrage, injection

📊 7. Sources de données / datasets

HuggingFace : datasets généraux pour LLMs
Kaggle : datasets spécialisés (math, domaine du béton)
Postgres : possibilité de structurer localement des jeux de données internes
Objectif : construire des datasets similaires pour entraînement/fine-tuning

📌 Synthèse et prochaines étapes

Ce résumé permet de :

Poser une roadmap technique : LLMs, scripts, interface, collecte, injection
Créer une structure de traitement des tickets et extraction Q/R automatisée
Définir des rôles pour chaque agent (résumeur, nettoyeur, image, contrôleur, etc.)
Identifier les briques logicielles à mettre en place (VSCode, Ollama, RAG, Gradio)

Voici les éléments préparés pour t’aider à structurer ton suivi de projet dans Obsidian :

📄 Template de note par ticket

# 📝 Ticket #[ID] - [Objet de la demande]

## 🔎 Résumé
- **Client** :
- **Date** :
- **Statut** : 🟡 En cours / ✅ Résolu / ⛔ À revoir

## ❓ Question / Problème
- Description de la demande ou du bug :
- Captures ou données associées :

## ✅ Réponse / Solution proposée
- Résumé de la réponse apportée :
- Étapes réalisées :
  - [ ] Analyse
  - [ ] Script exécuté : `[nom_script].py`
  - [ ] Vérification / test

## 📎 Fichiers liés
- Script utilisé : `[lien vers script]`
- JSON généré : `[nom_fichier].json`
- Image(s) : `[capture1.png]`, `[capture2.jpg]`

## 🧠 À injecter dans :
- [ ] Base RAG
- [ ] Dataset fine-tuning
- [ ] Non pertinent

---

🧠 Dashboard d’actions (boutons avec Templater ou Shell Commands)

# 🧪 Dashboard - Automatisations Git/LLM

```button
name Lancer traitement script
action shell-commands:Run: Script Principal

name Générer JSON final
action shell-commands:Run: Générer JSON

name Injecter dans LLM RAG
action shell-commands:Run: Injecter RAG

name Envoyer pour fine-tune
action shell-commands:Run: Fine-Tune Export


➡️ À lier avec tes commandes Shell définies dans le plugin `Shell commands`

---

## 📁 Arborescence Obsidian recommandée pour ton projet

MonVault/ ├── tickets/ │ ├── ticket-001.md │ ├── ticket-002.md │ └── ticket-templates.md │ ├── scripts/ │ ├── script_cleaner.py │ └── extract_json.py │ ├── data/ │ ├── raw/ │ ├── processed/ │ └── outputs/ │ └── final_dataset.json │ ├── logs/ │ └── git-log.md │ ├── agents/ │ ├── résumé-agent.md │ ├── image-agent.md │ └── prompt-guides.md │ ├── dashboards/ │ └── llm-dashboard.md │ └── templates/ └── ticket-template.md


---
- 📄 Un **template de note de ticket** (titre, Q/R, images, statut, script lié)
- 🧠 Un **dashboard d’actions** avec boutons (lancer script, exporter JSON, injecter dans LLM)
- 📁 Un plan d’organisation de ton vault Obsidian pour ce projet ?

6.9 KiB Raw Permalink Blame History Unescape Escape