https://mecanik.dev/fr/tags/byte-pair-encoding/Recent content in Encodage par paires d’octets on [ MECANIK DEV ]Hugo -- gohugo.iofrCopyright © 2020-{year} par [ MECANIK DEV ]. Tous droits réservés.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/fr/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/fr/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Présentation de Tiny BPE TrainerLa plupart des modèles de TAL modernes, de GPT à RoBERTa, s’appuient sur la tokenisation des sous-mots grâce au Byte Pair Encoding (BPE). Mais comment faire pour entraîner votre propre vocabulaire en C++ pur? Découvrez Tiny BPE Trainer: un entraîneur BPE ultra-rapide, basé uniquement sur les en-têtes, écrit en C++ 17/20 moderne, sans aucune dépendance, avec une prise en charge complète de l’UTF-8 et une sortie compatible HuggingFace (vocab.