mirror of
https://github.com/Ladebeze66/coffreobsidian.git
synced 2025-12-16 00:36:49 +01:00
Mise à jour rapide
This commit is contained in:
parent
cd8ca51e86
commit
b089a66a55
34
.obsidian/workspace.json
vendored
34
.obsidian/workspace.json
vendored
@ -97,12 +97,12 @@
|
||||
"state": {
|
||||
"type": "markdown",
|
||||
"state": {
|
||||
"file": "inbox/DOC mistral.md",
|
||||
"file": "inbox/traitement_normes_ragflow.md",
|
||||
"mode": "preview",
|
||||
"source": false
|
||||
},
|
||||
"icon": "lucide-file",
|
||||
"title": "DOC mistral"
|
||||
"title": "traitement_normes_ragflow"
|
||||
}
|
||||
},
|
||||
{
|
||||
@ -482,42 +482,42 @@
|
||||
},
|
||||
"active": "196937ffa83ea10b",
|
||||
"lastOpenFiles": [
|
||||
"inbox/Notes traitement des documents Ragflow.md",
|
||||
"inbox/DOC mistral.md",
|
||||
"inbox/Configuration_Ragflow_Profil_Leger_Ollama_FR.md",
|
||||
"inbox/Ragflow modérée-avancée.md",
|
||||
"inbox/Documentation RAG + RAGFLOW.md",
|
||||
"inbox/Test Cline.md",
|
||||
"inbox/StreamDeck config.md",
|
||||
"inbox/Scripts requêtes Odoo.md",
|
||||
"inbox/Résumé LLM-lab.md",
|
||||
"inbox/Recherches LLama Vision 3.2 90b.md",
|
||||
"inbox/RAGFlow_KB_Normes_Schemas.md",
|
||||
"inbox/Ragflow modérée-avancée.md",
|
||||
"inbox/RAGFLOW - Traitement des Normes Techniques avec Schémas (v1.0).md",
|
||||
"inbox/Documentation méthode traitement Normes.md",
|
||||
"inbox/Documentation RAG + RAGFLOW.md",
|
||||
"inbox/Sans titre.md",
|
||||
"inbox/traitement_normes_ragflow.md",
|
||||
"inbox/Non confirmé 76314.crdownload",
|
||||
"inbox/DOC mistral.md",
|
||||
"inbox/Notes traitement des documents Ragflow.md",
|
||||
"inbox/Configuration_Ragflow_Profil_Leger_Ollama_FR.md",
|
||||
"inbox/Notes essentielles Doc RAG + RAGFLOW.md",
|
||||
"inbox/Prompt_Cursor_Complet_Agents_LLM_Pretraitement.md",
|
||||
"inbox/Gestion_Multi_Ollama_Ports_avec_Serveur_Remote.md",
|
||||
"inbox/Non confirmé 623149.crdownload",
|
||||
"inbox/Multi_Ollama_Config_Docker_Memo.md",
|
||||
"inbox/Non confirmé 586728.crdownload",
|
||||
"inbox/RAGFLOW - Traitement des Normes Techniques avec Schémas (v1.0).md",
|
||||
"inbox/Résumé LLM-lab.md",
|
||||
"inbox/Non confirmé 427724.crdownload",
|
||||
"inbox/Architecture_Agents_LLM_et_Configurations_RAGFLOW.md",
|
||||
"inbox/Documentation méthode traitement Normes.md",
|
||||
"command_list/Git commands.md",
|
||||
"inbox/Plan_Architecture_Programme_Pretraitement_RAGFLOW.md",
|
||||
"command_list/Commandes Nvidia.md",
|
||||
"command_list/Ollama commands.md",
|
||||
"inbox/Recherches LLama Vision 3.2 90b.md",
|
||||
"inbox/Prompt_Cursor_Complet_Agents_LLM_Pretraitement (1).md",
|
||||
"inbox/prompt.md",
|
||||
"inbox/Plan_Ragflow_Ollama_LLM_Vision.md",
|
||||
"inbox/Odoo.md",
|
||||
"inbox/Notes RAGFLOW.md",
|
||||
"inbox/Notes projet LLM.md",
|
||||
"inbox/Non confirmé 226509.crdownload",
|
||||
"inbox/Non confirmé 930335.crdownload",
|
||||
"inbox/Prompt_Cursor_Programme_Pretraitement_RAGFLOW.md",
|
||||
"inbox/Non confirmé 535765.crdownload",
|
||||
"inbox/Non confirmé 63479.crdownload",
|
||||
"inbox/Non confirmé 777860.crdownload",
|
||||
"inbox/Non confirmé 113752.crdownload",
|
||||
"inbox/Non confirmé 68845.crdownload",
|
||||
"captures/Capture d'écran 2025-03-26 173121.png",
|
||||
"captures/signature.png",
|
||||
"captures/Capture d'écran 2025-03-20 150304.png",
|
||||
|
||||
98
inbox/traitement_normes_ragflow.md
Normal file
98
inbox/traitement_normes_ragflow.md
Normal file
@ -0,0 +1,98 @@
|
||||
|
||||
# 📘 Traitement des Documents Normatifs dans Ragflow avec l'API Mistral & Ollama H100
|
||||
|
||||
## 🎯 Objectif
|
||||
Constituer une base de données RAG de haute qualité, adaptée aux documents métier du secteur du béton (normes, essais, formulations), exploitable via un chatbot LLM.
|
||||
|
||||
---
|
||||
|
||||
## 🧱 Types de Documents Concernés
|
||||
|
||||
| Type de Document | Contenu | Spécificités |
|
||||
|-----------------------|--------------------------------------|----------------------------------------|
|
||||
| Norme Produit (AFNOR) | Textes, schémas, tableaux, formules | Langage technique normatif |
|
||||
| Formulation Béton | Formules, compositions, dosages | Notation mathématique, mesures |
|
||||
| Norme Essai | Protocoles, mesures, équipements | Vocabulaire métrologique, symboles |
|
||||
| Logiciel BRG-LAB | Interface, scripts, doc technique | Terminologie logicielle, procédurale |
|
||||
|
||||
---
|
||||
|
||||
## 🔄 Workflow Global (diagramme synthétique en cours de création)
|
||||
|
||||
1. Ingestion du PDF (ex : NF P 11-300)
|
||||
2. Extraction pré-traitée : texte, tableaux, images
|
||||
3. Traduction ciblée si nécessaire (schémas pour vision)
|
||||
4. Analyse par modèles dédiés (image2text, OCR, code)
|
||||
5. Reconstitution enrichie (images → texte descriptif)
|
||||
6. Chunking adaptatif
|
||||
7. Indexation vectorielle dans Ragflow
|
||||
8. Requête via chatbot ou interface RAG
|
||||
|
||||
---
|
||||
|
||||
## 🤖 Profils de Modèles Disponibles (API Mistral & Ollama)
|
||||
|
||||
### Modèles API Mistral
|
||||
|
||||
| Nom | Type | Rôle suggéré |
|
||||
|--------------------------|-------------|--------------------------------------|
|
||||
| mistral-large-latest | Chat | Analyse profonde de texte normatif |
|
||||
| ministral-8b-latest | Chat | Traitement contextuel rapide |
|
||||
| mistral-small-latest | Chat | Résumés et tests légers |
|
||||
| mistral-embed | Embedding | Indexation vectorielle |
|
||||
| mistral-ocr-latest | image2text | OCR annoté des schémas/textes |
|
||||
| pixtral-12b-2409 | image2text | Vision poussée de documents illustrés|
|
||||
|
||||
### Modèles Ollama (H100)
|
||||
|
||||
- `llama3.2-vision:90b`: très haute qualité image+texte
|
||||
- `mistral:latest`: rapide & stable
|
||||
- `bge-reranker`, `nomic-embed-text`: pour embeddings & rerank
|
||||
|
||||
---
|
||||
|
||||
## 🧠 Agents & Rôles
|
||||
|
||||
| Agent | Description | Modèle utilisé |
|
||||
|--------------------|----------------------------------------------|----------------------------------------|
|
||||
| Vision | Interprète les schémas, OCR, etc. | Pixtral / Mistral OCR / LLaVA |
|
||||
| Analyse Normative | Analyse structurée des textes | mistral-large / ministral-8b |
|
||||
| Math/Formule | Extraction et transcription de formules | Qwen2.5-Coder / mistral-large |
|
||||
| Embedder | Indexation vectorielle pour recherche RAG | mistral-embed / nomic-embed-text |
|
||||
|
||||
> 💡 Créer un rôle d'agent par tâche, avec préréglages LLM (température, max tokens, top_p, etc.)
|
||||
|
||||
---
|
||||
|
||||
## 🔧 Test Initial dans Ragflow (interface web)
|
||||
|
||||
1. Accéder à l’interface Ragflow
|
||||
2. Créer une base de données `Normes Produits`
|
||||
3. Config initiale :
|
||||
- LLM : `ministral-8b-latest`
|
||||
- Embedder : `mistral-embed`
|
||||
- Vision model : `pixtral-12b-2409`
|
||||
4. Import du PDF
|
||||
5. Ajout manuel de contexte pour les schémas (si nécessaire)
|
||||
6. Lancer le chunking personnalisé
|
||||
7. Tester des requêtes en langage naturel
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Étapes futures recommandées
|
||||
|
||||
- Créer un outil Python de pré-traitement semi-automatisé (GUI)
|
||||
- Ajouter une traduction ciblée pour les éléments visuels en anglais
|
||||
- Créer un index secondaire contenant uniquement les interprétations des images
|
||||
- Implémenter 3 profils de traitement :
|
||||
- **Léger** : mistral-small
|
||||
- **Modéré** : ministral-8b
|
||||
- **Complet** : mistral-large + vision
|
||||
|
||||
---
|
||||
|
||||
## 🧩 Conclusion
|
||||
|
||||
Une configuration optimisée de Ragflow avec tes modèles (API Mistral & Ollama H100) permet de construire une base RAG efficace pour les documents techniques du béton. Les schémas doivent être analysés dans leur contexte, traduits si nécessaire, et enrichis avant le chunking.
|
||||
|
||||
Un second fichier `.md` pourra détailler le **diagramme de traitement et les logs de test**.
|
||||
Loading…
x
Reference in New Issue
Block a user