Main Page: Difference between revisions

From Essential
Jump to navigation Jump to search
No edit summary
 
(11 intermediate revisions by the same user not shown)
Line 1: Line 1:
[[File:Infocepo-picture.png|thumb|right]]
[[File:Infocepo-picture.png|thumb|right|Découvrir le cloud et l’IA sur infocepo.com]]
'''Discover cloud computing on infocepo.com''':
* Master cloud infrastructure
* Explore AI
* Compare Kubernetes and AWS
* Advance your IT skills with hands-on labs and open-source software.


Start your journey to expertise.
= infocepo.com – Cloud, IA & Labs =


<br>
Bienvenue sur le portail '''infocepo.com'''.
== AI Tools ==
* [https://chat.openai.com ChatGPT4] - Public assistant with learning abilities.
* [https://github.com/open-webui/open-webui open-webui] + [https://www.scaleway.com/en/h100-pcie-try-it-now/ GPU H100] + [https://ollama.com Ollama] - Private assistant and API.
* [https://github.com/ynotopec/summarize Private summary]


=== DEV ===
Ce wiki s’adresse aux administrateurs système, ingénieurs cloud, développeurs, étudiants et passionnés qui veulent :
(28/08/2024)
 
* [https://ollama.com/library LLM Trending]
* Comprendre les architectures modernes (Kubernetes, OpenStack, bare-metal, HPC…)
* [https://github.com/search?q=stars%3A%3E15000+forks%3A%3E1500+created%3A%3E2022-06-01&type=repositories&s=updated&o=desc Project Trending]
* Mettre en place des assistants IA privés et des outils de productivité
* [https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard LLM Ranking]
* Construire des labs concrets pour apprendre en pratiquant
* [https://chat.lmsys.org ChatBot Evaluate]
* Préparer des audits, migrations et automatisations à grande échelle
* [https://www.perplexity.ai Perplexity AI] - R&D
 
* [https://huggingface.co/models Models Trending]
L’objectif : transformer la théorie en '''scripts, diagrammes et architectures réutilisables'''.
* [https://github.com/hiyouga/LLaMA-Factory LLM Fine Tuning]
 
* [https://huggingface.co/spaces/mteb/leaderboard Embeddings Ranking]
__TOC__
* [https://ann-benchmarks.com Vectors DB Ranking]
 
* [https://www.nvidia.com/en-us/data-center/h100/ NVIDIA H100] - KUBERNETES or HPC clusters for DATASCIENCE.
----
* [https://www.nvidia.com/fr-fr/geforce/graphics-cards/40-series/rtx-4080-family NVIDIA 4080] - GPU card for private assistance.
 
* [https://huggingface.co/models?pipeline_tag=image-text-to-text&sort=trending Img2txt Trending]
= Démarrer rapidement =
* [https://huggingface.co/spaces/TIGER-Lab/GenAI-Arena Txt2img Evaluate]
 
* [https://github.com/chatchat-space/Langchain-Chatchat Chatchat] - Private assistant with RAG capabilities in Chinese.
== Parcours recommandés ==
* [https://top500.org/lists/green500/ HPC Efficiency]
 
; 1. Monter un assistant IA privé
* Déployer un stack type : '''Open WebUI + Ollama + GPU''' (H100 ou GPU grand public)
* Ajouter un modèle de chat + un modèle de résumé
* Intégrer des données internes (RAG, embeddings)
 
; 2. Lancer un lab Cloud
* Créer un petit cluster (Kubernetes, OpenStack ou bare-metal)
* Mettre en place un pipeline de déploiement (Helm, Ansible, Terraform…)
* Ajouter un service IA (transcription, résumé, chatbot…)
 
; 3. Préparer un audit/migration
* Inventorier les serveurs avec '''ServerDiff.sh'''
* Dessiner l’architecture cible (diagrammes cloud)
* Automatiser la migration avec des scripts reproductibles
 
== Résumé des contenus ==
 
* '''Guides & outils IA''' : assistants, modèles, évaluations, GPU
* '''Cloud & infra''' : HA, HPC, web-scale, DevSecOps
* '''Labs & scripts''' : audit, migration, automation
* '''Tableaux comparatifs''' : Kubernetes vs OpenStack vs AWS vs bare-metal, etc.
 
----
 
= Assistants IA & Outils Cloud =
 
== Assistants IA ==
 
; '''ChatGPT'''
* [https://chat.openai.com ChatGPT] – Assistant conversationnel public, adapté à l’exploration, à la rédaction et à l’expérimentation rapide.
 
; '''Assistants IA auto-hébergés'''
* [https://github.com/open-webui/open-webui Open WebUI] + [https://www.scaleway.com/en/h100-pcie-try-it-now/ GPU H100] + [https://ollama.com Ollama] 
: Stack type pour assistants privés, LLMs auto-hébergés et API compatibles OpenAI.
* [https://github.com/ynotopec/summarize Private summary] – Résumeur local, rapide et hors-ligne pour vos propres données.
 
== Développement, modèles & suivi ==
 
; '''Découvrir et suivre les modèles'''
* [https://ollama.com/library LLM Trending] – Bibliothèque de modèles (chat, code, RAG…) pour déploiement local.
* [https://huggingface.co/models Models Trending] – Marketplace de modèles, filtrage par tâche, taille, licence.
* [https://huggingface.co/models?pipeline_tag=image-text-to-text&sort=trending Img2txt Trending] – Modèles vision-langage (image → texte).
* [https://huggingface.co/spaces/TIGER-Lab/GenAI-Arena Txt2img Evaluation] – Comparaison de modèles de génération d’images.
 
; '''Évaluation & benchmarks'''
* [https://lmarena.ai/leaderboard ChatBot Evaluation] – Classement de chatbots (modèles open-source et propriétaires).
* [https://huggingface.co/spaces/mteb/leaderboard Embedding Leaderboard] – Benchmark des modèles d’embedding pour RAG et recherche sémantique.
* [https://ann-benchmarks.com Vectors DB Ranking] – Comparatif de bases vectorielles (latence, mémoire, fonctionnalités).
* [https://top500.org/lists/green500/ HPC Efficiency] – Classement des supercalculateurs les plus efficaces énergétiquement.
 
; '''Outils de développement & fine-tuning'''
* [https://github.com/search?q=stars%3A%3E15000+forks%3A%3E1500+created%3A%3E2022-06-01&type=repositories&s=updated&o=desc Project Trending] – Grands projets open source récents, triés par popularité et activité.
* [https://github.com/hiyouga/LLaMA-Factory LLM Fine Tuning] – Framework avancé pour fine-tuning de LLMs (instruction-tuning, LoRA, etc.).
* [https://www.perplexity.ai Perplexity AI] – Recherche avancée et synthèse orientée “copilote de recherche”.
 
== Matériel IA & GPU ==
 
; '''GPU & accélérateurs'''
* [https://www.nvidia.com/en-us/data-center/h100/ NVIDIA H100] – GPU datacenter pour clusters Kubernetes et workloads IA intensifs.
* NVIDIA 5080 – GPU grand public pour déploiements privés de LLMs à moindre coût.
* [https://www.mouser.fr/ProductDetail/BittWare/RS-GQ-GC1-0109?qs=ST9lo4GX8V2eGrFMeVQmFw%3D%3D GROQ LLM accelerator] – Accélérateur matériel dédié à l’inférence LLM.
 
----
 
= Modèles ouverts & Endpoints internes =
 
''(Dernière mise à jour : 26/07/2025)''
 
Les modèles ci-dessous correspondent à des '''endpoints logiques''' (par exemple via un proxy ou une gateway), choisis pour des usages précis.


==== INTERESTING LLMs ====
(25/04/2025)
{| class="wikitable"
{| class="wikitable"
! Model
! Endpoint !! Description / Cas d’usage principal
! Comment
|-
| '''ai-chat'''
| gemma3-12b, $
|-
|-
| '''ai-chat-hq'''
| '''ai-chat''' || Basé sur '''gemma3n''' – Chat généraliste, bon compromis coût / qualité.
| gemma3-27b, $$
|-
|-
| '''ai-translate'''
| '''ai-translate''' || gemma3n, température = 0 – Traduction déterministe, reproductible (FR, EN, autres langues).
| gemma2, temperature 0
|-
|-
| '''ai-summary'''
| '''ai-summary''' || qwen2.5 – Modèle optimisé pour la synthèse de textes longs (rapports, docs, transcriptions).
| qwen2.5
|-
|-
| '''ai-code'''
| '''ai-code''' || mistral-small – Raisonnement sur le code, explication et refactorisation.
| gemma3-27b, $$
|-
|-
| '''ai-code-completion'''
| '''ai-code-completion''' || granite-2b – Complétion de code rapide, pensée pour l’auto-complétion IDE.
| gemma3-1b
|-
|-
| '''ai-parse'''
| '''ai-parse''' || gemma2-simpo – Extraction structurée, parsing de logs / JSON / tableaux.
| gemma2-simpo
|-
|-
| '''ai-RAG-FR'''
| '''ai-RAG-FR''' || qwen2.5 – Usage RAG en français (connaissance métier, FAQ internes).
| qwen2.5
|-
|-
| '''mannix/gemma2-9b-simpo'''
| '''mannix/gemma2-9b-simpo''' || Intégration avec '''OllamaFunctions''' (outils, API, automation).
| OllamaFunctions
|}
|}


=== NEWS ===
Idée d’usage : chaque endpoint est associé à un ou plusieurs labs (chat, résumé, parsing, RAG, etc.) dans la section Cloud Lab.
(04/05/2024)
 
* [https://www.youtube.com/@lev-selector/videos Very good AI News]
----
* For the [https://betterprogramming.pub/color-your-captions-streamlining-live-transcriptions-with-diart-and-openais-whisper-6203350234ef '''transcription'''] in real time with Diart, it is possible to follow the interlocutors.
 
* [https://github.com/openai-translator/openai-translator Translation] tools like Google Translate are becoming popular.
= Actualités & Tendances =
* [https://www.mouser.fr/ProductDetail/BittWare/RS-GQ-GC1-0109?qs=ST9lo4GX8V2eGrFMeVQmFw%3D%3D '''LLM 10x accelerator'''] and cheaper with GROQ.
* [https://opensearch.org/docs/latest/search-plugins/conversational-search Opensearch with LLM]


=== TRAINING ===
* [https://www.youtube.com/@lev-selector/videos Top AI News] – Sélection vidéo des actus IA.
* [https://www.youtube.com/watch?v=4Bdc55j80l8 TRANSFORMERS ALGORITHM]
* [https://betterprogramming.pub/color-your-captions-streamlining-live-transcriptions-with-diart-and-openais-whisper-6203350234ef Real-time transcription with Diart + Whisper] – Exemple de transcription temps réel avec détection de locuteurs.
* [https://github.com/openai-translator/openai-translator OpenAI Translator] – Extension / client moderne pour traduction assistée par LLM.
* [https://opensearch.org/docs/latest/search-plugins/conversational-search Opensearch with LLM] – Recherche conversationnelle basée sur LLMs et OpenSearch.


== CLOUD LAB ==
----
[[File:Infocepo.drawio.png]]
<br><br>
Presenting my [[LAB project]].


== CLOUD Audit ==
= Formation & Apprentissage =
Created [[ServerDiff.sh]] for server audits. Enables configuration drift tracking and environment consistency checks.


== CLOUD Migration Example ==
* [https://www.youtube.com/watch?v=4Bdc55j80l8 Transformers Explained] – Introduction aux Transformers, architecture clé des LLMs.
[[File:Diagram-migration-ORACLE-KVM-v2.drawio.png]]
* Labs, scripts et retours d’expérience concrets dans le projet [[LAB project|CLOUD LAB]] ci-dessous.
* 1.5d: Infrastructure audit of 82 services ([https://infocepo.com/wiki/index.php/ServerDiff.sh ServerDiff.sh])
* 1.5d: Create cloud architecture diagram.
* 1.5d: Compliance check of 2 clouds (6 hypervisors, 6TB memory).
* 1d: Cloud installations.
* 0.5d: Stability check.


{| style="border-spacing:0;width:18.12cm;"
----
|- style="background-color:#ffc000;border:0.05pt solid #000000;padding:0.049cm;"
 
| align=center style="color:#000000;" | '''ACTION'''
= Cloud Lab & Projets d’Audit =
| align=center style="color:#000000;" | '''RESULT'''
 
| align=center style="color:#000000;" | '''OK/KO'''
[[File:Infocepo.drawio.png|400px|Diagramme de référence Cloud Lab]]
 
Le '''Cloud Lab''' propose des scénarios reproductibles : audit d’infrastructure, migration vers le cloud, automatisation, haute disponibilité.
 
== Projet d’audit – Cloud Audit ==
 
; '''[[ServerDiff.sh]]'''
Script Bash d’audit de serveurs pour :
 
* détecter les dérives de configuration,
* comparer plusieurs environnements,
* préparer une migration ou un plan de remédiation.
 
== Exemple de migration Cloud ==
 
[[File:Diagram-migration-ORACLE-KVM-v2.drawio.png|400px|Diagramme de migration Cloud]]
 
Exemple : migration d’environnements virtuels vers un cloud modernisé, avec audit, design d’architecture et automatisation.
 
{| class="wikitable"
! Tâche !! Description !! Durée (jours)
|-
| Audit de l’infrastructure || 82 services, audit automatisé via '''ServerDiff.sh''' || 1,5
|-
| Diagramme d’architecture cloud || Conception et documentation visuelle || 1,5
|-
| Contrôle de conformité || 2 clouds, 6 hyperviseurs, 6 To de RAM || 1,5
|-
| Installation des plateformes cloud || Déploiement des environnements cibles principaux || 1,0
|-
| Vérification de stabilité || Tests de fonctionnement précoce || 0,5
|-
| Étude d’automatisation || Identification et automatisation des tâches répétitives || 1,5
|-
| Développement de templates || 6 templates, 8 environnements, 2 clouds / OS || 1,5
|-
|-
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | Activate maintenance for n/2-1 nodes or 1 node if 2 nodes.
| Diagramme de migration || Illustration du processus de migration || 1,0
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | All resources are started.
| style="background-color:#d8e4bc;border:0.05pt solid #000000;padding:0.049cm;color:#000000;" |
|-
|-
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | Un-maintenance all nodes. Power off n/2-1 nodes or 1 node if 2 nodes, different from the previous test.
| Écriture du code de migration || 138 lignes (voir '''MigrationApp.sh''') || 1,5
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | All resources are started.
|-
| style="background-color:#d8e4bc;border:0.05pt solid #000000;padding:0.049cm;color:#000000;" |
| Stabilisation du process || Validation que la migration est reproductible || 1,5
|-
| Benchmarking cloud || Comparaison de performance vs infrastructure legacy || 1,5
|-
| Calage du downtime || Calcul du temps de coupure par migration || 0,5
|-
| Chargement des VMs || 82 VMs : OS, code, 2 IP par VM || 0,1
|-
! colspan=2 align="right"| '''Total''' !! 15 jours·homme
|}
 
=== Vérification de stabilité (HA minimale) ===
 
{| class="wikitable"
! Action !! Résultat attendu
|-
|-
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | Power off all nodes simultaneously. Power on all nodes simultaneously.
| Extinction d’un nœud || Tous les services doivent redémarrer automatiquement sur les nœuds restants.
| style="border:0.05pt solid #000000;padding:0.049cm;color:#000000;" | All resources are started.
| style="background-color:#d8e4bc;border:0.05pt solid #000000;padding:0.049cm;color:#000000;" |
|-
|-
| Extinction / rallumage simultané de tous les nœuds || Tous les services doivent remonter correctement après redémarrage.
|}
|}
* 1.5d: Cloud automation study.
* 1.5d: Develop 6 templates (2 clouds, 2 OS, 8 environments, 2 versions).
* 1d: Create migration diagram.
* 1.5d: Write 138 lines of migration code ([https://infocepo.com/wiki/index.php/MigrationApp.sh MigrationApp.sh]).
* 1.5d: Process stabilization.
* 1.5d: Cloud vs. old infrastructure benchmark.
* 0.5d: Unavailability time calibration per migration unit.
* 5 min: Load 82 VMs (env, OS, application code, 2 IPs).


Total = 15 man-days.
----


== WEB Enhancement ==
= Architecture Web & Bonnes Pratiques =
[[File:WebModelDiagram.drawio.png]]


* Formalize infrastructure for flexibility and reduced complexity.
[[File:WebModelDiagram.drawio.png|400px|Architecture Web de référence]]
* Utilize customer-location tracking name server like GDNS.
* Use minimal instances with a network load balancer like LVS.
* Compare prices of dynamic computing services, beware of tech lock-in.
* Employ efficient frontend TLS decoder like HAPROXY.
* Opt for fast HTTP cache like VARNISH and Apache Traffic Server for large files.
* Use PROXY with TLS decoder like ENVOY for service compatibility.
* Consider serverless services for standard runtimes, mindful of potential incompatibilities.
* Employ load balancing or native services for dynamic computing power.
* Use open-source STACKs where possible.
* Employ database caches like MEMCACHED.
* Use queues for long batches.
* Use buffers for stability of real streams.
* More information at [https://wikitech.wikimedia.org/wiki/Wikimedia_infrastructure CLOUD WIKIPEDIA] and [https://github.com/systemdesign42/system-design GITHUB].


== CLOUD WIKIPEDIA ==
Principes pour concevoir des architectures web scalables et portables :
* [https://wikitech.wikimedia.org/wiki/Wikimedia_infrastructure CLOUD WIKIPEDIA]
 
* Favoriser une infrastructure '''simple, modulaire et flexible'''.
* Suivre la localisation des clients (GDNS ou équivalent) pour rapprocher les contenus.
* Utiliser des load balancers réseau (LVS, IPVS) pour la montée en charge.
* Comparer systématiquement les coûts, et se méfier du '''vendor lock-in'''.
* TLS :
** HAProxy pour les frontends rapides,
** Envoy pour la compatibilité et les cas avancés (mTLS, HTTP/2/3).
* Cache :
** Varnish, Apache Traffic Server pour les gros volumes de contenu.
* Privilégier les stacks open source et les caches de base de données (ex. Memcached).
* Utiliser des files de messages, buffers et quotas pour lisser les pics de charge.
* Pour des architectures complètes :
** [https://wikitech.wikimedia.org/wiki/Wikimedia_infrastructure Wikimedia Cloud Architecture]
** [https://github.com/systemdesign42/system-design System Design GitHub]
 
----
 
= Comparatif des grandes plateformes Cloud =


== CLOUD vs HW ==
{| class="wikitable"
{| class="wikitable"
! Fonction !! Kubernetes !! OpenStack !! AWS !! Bare-metal !! HPC !! CRM !! oVirt
|-
|-
! Function
| '''Outils de déploiement''' || Helm, YAML, ArgoCD, Juju || Ansible, Terraform, Juju || CloudFormation, Terraform, Juju || Ansible, Shell || xCAT, Clush || Ansible, Shell || Ansible, Python
! Kubernetes
! OpenStack
! AWS
! Bare-metal
! HPC
! CRM
! oVirt
|-
|-
| '''Deployment Tools'''<br>''(Tools used for deployment)''
| '''Méthode de bootstrap''' || API || API, PXE || API || PXE, IPMI || PXE, IPMI || PXE, IPMI || PXE, API
| Helm, YAML, Operator, Ansible, Juju, ArgoCD
| Ansible, Packer, Terraform, Juju
| Ansible, Terraform, CloudFormation, Juju
| Ansible, Shell Scripts
| xCAT, Clush
| Ansible, Shell Scripts
| Ansible, Python, Shell Scripts
|-
|-
| '''Bootstrap Method'''<br>''(Initial configuration and setup)''
| '''Contrôle des routeurs''' || Kube-router || API Routeur/Sous-réseau || Route Table / Subnet API || Linux, OVS || xCAT || Linux || API
| API
| API, PXE
| API
| PXE, IPMI
| PXE, IPMI
| PXE, IPMI
| PXE, API
|-
|-
| '''Router Control'''<br>''(Routing services)''
| '''Contrôle du pare-feu''' || Istio, NetworkPolicy || Security Groups API || Security Group API || Pare-feu Linux || Pare-feu Linux || Pare-feu Linux || API
| API (Kube-router)
| API (Router/Subnet)
| API (Route Table/Subnet)
| Linux, OVS, External Hardware
| xCAT, External Hardware
| Linux, External Hardware
| API
|-
|-
| '''Firewall Control'''<br>''(Firewall rules and policies)''
| '''Virtualisation réseau''' || VLAN, VxLAN, autres || VPC || VPC || OVS, Linux || xCAT || Linux || API
| Ingress, Egress, Istio, NetworkPolicy
| API (Security Groups)
| API (Security Group)
| Linux Firewall
| Linux Firewall
| Linux Firewall
| API
|-
|-
| '''Network Virtualization'''<br>''(VLAN/VxLAN technologies)''
| '''DNS''' || CoreDNS || DNS-Nameserver || Route 53 || GDNS || xCAT || Linux || API
| Multiple Options
| VPC
| VPC
| OVS, Linux, External Hardware
| xCAT, External Hardware
| Linux, External Hardware
| API
|-
|-
| '''Name Server Control'''<br>''(DNS services)''
| '''Load Balancer''' || Kube-proxy, LVS || LVS || Network Load Balancer || LVS || SLURM || Ldirectord || N/A
| CoreDNS
| DNS-Nameserver
| Amazon Route 53
| GDNS
| xCAT
| Linux, External Hardware
| API, External Hardware
|-
|-
| '''Load Balancer'''<br>''(Load balancing options)''
| '''Options de stockage''' || Local, Cloud, PVC || Swift, Cinder, Nova || S3, EFS, EBS, FSx || Swift, XFS, EXT4, RAID10 || GPFS || SAN || NFS, SAN
| Kube-proxy, LVS (IPVS)
| LVS
| Network Load Balancer
| LVS
| SLURM
| Ldirectord
| N/A
|-
| '''Storage Options'''<br>''(Available storage technologies)''
| Multiple Options
| Swift, Cinder, Nova
| S3, EFS, FSx, EBS
| Swift, XFS, EXT4, RAID10
| GPFS
| SAN
| NFS, SAN
|}
|}


== CLOUD providers ==
Ce tableau sert de point de départ pour choisir la bonne pile selon :
* [https://cloud.google.com/free/docs/aws-azure-gcp-service-comparison CLOUD providers]
 
* Niveau de contrôle souhaité (API vs bare-metal),
* Contexte (on-prem, cloud public, HPC, CRM…),
* Outillage d’automatisation déjà en place.
 
----
 
= Liens utiles Cloud & IT =
 
* [https://cloud.google.com/free/docs/aws-azure-gcp-service-comparison Cloud Providers Compared] – Correspondance des services AWS / Azure / GCP.
* [https://global-internet-map-2021.telegeography.com/ Global Internet Topology Map] – Cartographie globale de l’Internet.
* [https://landscape.cncf.io/?fullscreen=yes CNCF Official Landscape] – Panorama des projets cloud-native (CNCF).
* [https://wikitech.wikimedia.org/wiki/Wikimedia_infrastructure Wikimedia Cloud Wiki] – Infrastructure Wikimedia, exemple réel à grande échelle.
* [https://openapm.io OpenAPM – SRE Tools] – Outillage APM / observabilité.
* [https://access.redhat.com/downloads/content/package-browser RedHat Package Browser] – Recherche de paquets et versions chez Red Hat.
* [https://www.silkhom.com/barometre-2021-des-tjm-dans-informatique-digital Baromètre TJM Freelance IT] – Référentiel de tarifs freelances.
* [https://www.glassdoor.fr/salaire/Hays-Salaires-E10166.htm IT Salaries (Glassdoor)] – Indications de salaires IT.
 
----


== CLOUD INTERNET NETWORK ==
= Avancé : Haute Disponibilité, HPC & DevSecOps =
* [https://global-internet-map-2021.telegeography.com/ CLOUD INTERNET NETWORK]


== CLOUD NATIVE ==
== Haute Disponibilité avec Corosync & Pacemaker ==
* [https://landscape.cncf.io/?fullscreen=yes OFFICIAL STACKS]
* DevSecOps :
[[File:DSO-POC-V3.drawio.png]]


== High Availability (HA) with Corosync+Pacemaker ==
[[File:HA-REF.drawio.png|400px|Architecture de cluster HA]]
[[File:HA-REF.drawio.png]]


=== Typical Architecture ===
Principes de base :


* Dual-room.
* Clusters multi-nœuds ou bi-sites pour la redondance.
* IPMI LAN (fencing).
* Utilisation d’IPMI pour le fencing, provisioning via PXE/NTP/DNS/TFTP.
* NTP, DNS+DHCP+PXE+TFTP+HTTP (auto-provisioning), PROXY (updates or internal REPOSITORY).
* Pour un cluster 2 nœuds : 
* Choose 2+ node clusters.
  – séquencer le fencing pour éviter les split-brains,
* For 2-node, require COROSYNC 2-node config, 10-second staggered closing for stability. For better stability, choose 3+ nodes architecture.
  – 3 nœuds ou plus restent recommandés pour la production.
* Allocate 4GB/base for DB resources. CPU resource requirements are generally low.


=== Typical Service Pattern ===
=== Pattern de ressources courant ===
* Multipath
 
* LUN
* Stockage multipath, LUN, LVM, NFS.
* LVM (LVM resource)
* Ressources utilisateurs et processus applicatifs.
* FS (FS resource)
* IP virtuelle, enregistrements DNS, listeners réseau.
* NFS (FS resource)
* User
* IP (IP resource)
* DNS name
* Process (Process resource)
* Listener (Listener resource)


== HPC ==
== HPC ==
[[File:HPC.drawio.png]]


== IT Wage ==
[[File:HPC.drawio.png|400px|Vue d’ensemble d’un cluster HPC]]
* [https://www.silkhom.com/barometre-2021-des-tjm-dans-informatique-digital FREELANCE]
 
* [https://www.glassdoor.fr/salaire/Hays-Salaires-E10166.htm IT]
* Orchestration de jobs (SLURM ou équivalent).
* Partage de stockage haute performance (GPFS, Lustre…).
* Intégration possible avec des workloads IA (entraînement massif, inference sur GPU).
 
== DevSecOps ==
 
[[File:DSO-POC-V3.drawio.png|400px|Design de référence DevSecOps]]
 
* Pipelines CI/CD avec contrôles de sécurité intégrés (linting, SAST, DAST, SBOM).
* Observabilité (logs, metrics, traces) intégrée dès la conception.
* Automatisation des scans de vulnérabilités, gestion des secrets, policy-as-code.
 
----
 
= À propos & Contributions =
 
Pour plus d’exemples, de scripts, de diagrammes et de retours d’expérience, consulter :


== SRE ==
* [https://infocepo.com infocepo.com]
* [https://openapm.io SRE]


== REDHAT Package Browser ==
Les suggestions de correction, d’amélioration de diagrammes, ou de nouveaux labs sont les bienvenues. 
* [https://access.redhat.com/downloads/content/package-browser REDHAT Package Browser]
Ce wiki a vocation à rester un '''laboratoire vivant''' pour l’IA, le cloud et l’automatisation.

Latest revision as of 15:13, 24 November 2025

Découvrir le cloud et l’IA sur infocepo.com

infocepo.com – Cloud, IA & Labs

Bienvenue sur le portail infocepo.com.

Ce wiki s’adresse aux administrateurs système, ingénieurs cloud, développeurs, étudiants et passionnés qui veulent :

  • Comprendre les architectures modernes (Kubernetes, OpenStack, bare-metal, HPC…)
  • Mettre en place des assistants IA privés et des outils de productivité
  • Construire des labs concrets pour apprendre en pratiquant
  • Préparer des audits, migrations et automatisations à grande échelle

L’objectif : transformer la théorie en scripts, diagrammes et architectures réutilisables.

Démarrer rapidement

Parcours recommandés

1. Monter un assistant IA privé
  • Déployer un stack type : Open WebUI + Ollama + GPU (H100 ou GPU grand public)
  • Ajouter un modèle de chat + un modèle de résumé
  • Intégrer des données internes (RAG, embeddings)
2. Lancer un lab Cloud
  • Créer un petit cluster (Kubernetes, OpenStack ou bare-metal)
  • Mettre en place un pipeline de déploiement (Helm, Ansible, Terraform…)
  • Ajouter un service IA (transcription, résumé, chatbot…)
3. Préparer un audit/migration
  • Inventorier les serveurs avec ServerDiff.sh
  • Dessiner l’architecture cible (diagrammes cloud)
  • Automatiser la migration avec des scripts reproductibles

Résumé des contenus

  • Guides & outils IA : assistants, modèles, évaluations, GPU
  • Cloud & infra : HA, HPC, web-scale, DevSecOps
  • Labs & scripts : audit, migration, automation
  • Tableaux comparatifs : Kubernetes vs OpenStack vs AWS vs bare-metal, etc.

Assistants IA & Outils Cloud

Assistants IA

ChatGPT
  • ChatGPT – Assistant conversationnel public, adapté à l’exploration, à la rédaction et à l’expérimentation rapide.
Assistants IA auto-hébergés
Stack type pour assistants privés, LLMs auto-hébergés et API compatibles OpenAI.
  • Private summary – Résumeur local, rapide et hors-ligne pour vos propres données.

Développement, modèles & suivi

Découvrir et suivre les modèles
  • LLM Trending – Bibliothèque de modèles (chat, code, RAG…) pour déploiement local.
  • Models Trending – Marketplace de modèles, filtrage par tâche, taille, licence.
  • Img2txt Trending – Modèles vision-langage (image → texte).
  • Txt2img Evaluation – Comparaison de modèles de génération d’images.
Évaluation & benchmarks
  • ChatBot Evaluation – Classement de chatbots (modèles open-source et propriétaires).
  • Embedding Leaderboard – Benchmark des modèles d’embedding pour RAG et recherche sémantique.
  • Vectors DB Ranking – Comparatif de bases vectorielles (latence, mémoire, fonctionnalités).
  • HPC Efficiency – Classement des supercalculateurs les plus efficaces énergétiquement.
Outils de développement & fine-tuning
  • Project Trending – Grands projets open source récents, triés par popularité et activité.
  • LLM Fine Tuning – Framework avancé pour fine-tuning de LLMs (instruction-tuning, LoRA, etc.).
  • Perplexity AI – Recherche avancée et synthèse orientée “copilote de recherche”.

Matériel IA & GPU

GPU & accélérateurs
  • NVIDIA H100 – GPU datacenter pour clusters Kubernetes et workloads IA intensifs.
  • NVIDIA 5080 – GPU grand public pour déploiements privés de LLMs à moindre coût.
  • GROQ LLM accelerator – Accélérateur matériel dédié à l’inférence LLM.

Modèles ouverts & Endpoints internes

(Dernière mise à jour : 26/07/2025)

Les modèles ci-dessous correspondent à des endpoints logiques (par exemple via un proxy ou une gateway), choisis pour des usages précis.

Endpoint Description / Cas d’usage principal
ai-chat Basé sur gemma3n – Chat généraliste, bon compromis coût / qualité.
ai-translate gemma3n, température = 0 – Traduction déterministe, reproductible (FR, EN, autres langues).
ai-summary qwen2.5 – Modèle optimisé pour la synthèse de textes longs (rapports, docs, transcriptions).
ai-code mistral-small – Raisonnement sur le code, explication et refactorisation.
ai-code-completion granite-2b – Complétion de code rapide, pensée pour l’auto-complétion IDE.
ai-parse gemma2-simpo – Extraction structurée, parsing de logs / JSON / tableaux.
ai-RAG-FR qwen2.5 – Usage RAG en français (connaissance métier, FAQ internes).
mannix/gemma2-9b-simpo Intégration avec OllamaFunctions (outils, API, automation).

Idée d’usage : chaque endpoint est associé à un ou plusieurs labs (chat, résumé, parsing, RAG, etc.) dans la section Cloud Lab.

Actualités & Tendances

Formation & Apprentissage

  • Transformers Explained – Introduction aux Transformers, architecture clé des LLMs.
  • Labs, scripts et retours d’expérience concrets dans le projet CLOUD LAB ci-dessous.

Cloud Lab & Projets d’Audit

Diagramme de référence Cloud Lab

Le Cloud Lab propose des scénarios reproductibles : audit d’infrastructure, migration vers le cloud, automatisation, haute disponibilité.

Projet d’audit – Cloud Audit

ServerDiff.sh

Script Bash d’audit de serveurs pour :

  • détecter les dérives de configuration,
  • comparer plusieurs environnements,
  • préparer une migration ou un plan de remédiation.

Exemple de migration Cloud

Diagramme de migration Cloud

Exemple : migration d’environnements virtuels vers un cloud modernisé, avec audit, design d’architecture et automatisation.

Tâche Description Durée (jours)
Audit de l’infrastructure 82 services, audit automatisé via ServerDiff.sh 1,5
Diagramme d’architecture cloud Conception et documentation visuelle 1,5
Contrôle de conformité 2 clouds, 6 hyperviseurs, 6 To de RAM 1,5
Installation des plateformes cloud Déploiement des environnements cibles principaux 1,0
Vérification de stabilité Tests de fonctionnement précoce 0,5
Étude d’automatisation Identification et automatisation des tâches répétitives 1,5
Développement de templates 6 templates, 8 environnements, 2 clouds / OS 1,5
Diagramme de migration Illustration du processus de migration 1,0
Écriture du code de migration 138 lignes (voir MigrationApp.sh) 1,5
Stabilisation du process Validation que la migration est reproductible 1,5
Benchmarking cloud Comparaison de performance vs infrastructure legacy 1,5
Calage du downtime Calcul du temps de coupure par migration 0,5
Chargement des VMs 82 VMs : OS, code, 2 IP par VM 0,1
Total 15 jours·homme

Vérification de stabilité (HA minimale)

Action Résultat attendu
Extinction d’un nœud Tous les services doivent redémarrer automatiquement sur les nœuds restants.
Extinction / rallumage simultané de tous les nœuds Tous les services doivent remonter correctement après redémarrage.

Architecture Web & Bonnes Pratiques

Architecture Web de référence

Principes pour concevoir des architectures web scalables et portables :

  • Favoriser une infrastructure simple, modulaire et flexible.
  • Suivre la localisation des clients (GDNS ou équivalent) pour rapprocher les contenus.
  • Utiliser des load balancers réseau (LVS, IPVS) pour la montée en charge.
  • Comparer systématiquement les coûts, et se méfier du vendor lock-in.
  • TLS :
    • HAProxy pour les frontends rapides,
    • Envoy pour la compatibilité et les cas avancés (mTLS, HTTP/2/3).
  • Cache :
    • Varnish, Apache Traffic Server pour les gros volumes de contenu.
  • Privilégier les stacks open source et les caches de base de données (ex. Memcached).
  • Utiliser des files de messages, buffers et quotas pour lisser les pics de charge.
  • Pour des architectures complètes :

Comparatif des grandes plateformes Cloud

Fonction Kubernetes OpenStack AWS Bare-metal HPC CRM oVirt
Outils de déploiement Helm, YAML, ArgoCD, Juju Ansible, Terraform, Juju CloudFormation, Terraform, Juju Ansible, Shell xCAT, Clush Ansible, Shell Ansible, Python
Méthode de bootstrap API API, PXE API PXE, IPMI PXE, IPMI PXE, IPMI PXE, API
Contrôle des routeurs Kube-router API Routeur/Sous-réseau Route Table / Subnet API Linux, OVS xCAT Linux API
Contrôle du pare-feu Istio, NetworkPolicy Security Groups API Security Group API Pare-feu Linux Pare-feu Linux Pare-feu Linux API
Virtualisation réseau VLAN, VxLAN, autres VPC VPC OVS, Linux xCAT Linux API
DNS CoreDNS DNS-Nameserver Route 53 GDNS xCAT Linux API
Load Balancer Kube-proxy, LVS LVS Network Load Balancer LVS SLURM Ldirectord N/A
Options de stockage Local, Cloud, PVC Swift, Cinder, Nova S3, EFS, EBS, FSx Swift, XFS, EXT4, RAID10 GPFS SAN NFS, SAN

Ce tableau sert de point de départ pour choisir la bonne pile selon :

  • Niveau de contrôle souhaité (API vs bare-metal),
  • Contexte (on-prem, cloud public, HPC, CRM…),
  • Outillage d’automatisation déjà en place.

Liens utiles Cloud & IT

Avancé : Haute Disponibilité, HPC & DevSecOps

Haute Disponibilité avec Corosync & Pacemaker

Architecture de cluster HA

Principes de base :

  • Clusters multi-nœuds ou bi-sites pour la redondance.
  • Utilisation d’IPMI pour le fencing, provisioning via PXE/NTP/DNS/TFTP.
  • Pour un cluster 2 nœuds :
 – séquencer le fencing pour éviter les split-brains,  
 – 3 nœuds ou plus restent recommandés pour la production.

Pattern de ressources courant

  • Stockage multipath, LUN, LVM, NFS.
  • Ressources utilisateurs et processus applicatifs.
  • IP virtuelle, enregistrements DNS, listeners réseau.

HPC

Vue d’ensemble d’un cluster HPC

  • Orchestration de jobs (SLURM ou équivalent).
  • Partage de stockage haute performance (GPFS, Lustre…).
  • Intégration possible avec des workloads IA (entraînement massif, inference sur GPU).

DevSecOps

Design de référence DevSecOps

  • Pipelines CI/CD avec contrôles de sécurité intégrés (linting, SAST, DAST, SBOM).
  • Observabilité (logs, metrics, traces) intégrée dès la conception.
  • Automatisation des scans de vulnérabilités, gestion des secrets, policy-as-code.

À propos & Contributions

Pour plus d’exemples, de scripts, de diagrammes et de retours d’expérience, consulter :

Les suggestions de correction, d’amélioration de diagrammes, ou de nouveaux labs sont les bienvenues. Ce wiki a vocation à rester un laboratoire vivant pour l’IA, le cloud et l’automatisation.

Retrieved from "https://infocepo.com/wiki/index.php?title=Main_Page&oldid=1899"