https://mecanik.dev/it/tags/huggingface/Recent content in Huggingface on [ MECANIK DEV ]Hugo -- gohugo.ioitCopyright © 2020-{year} di [MECANIK DEV]. Tutti i diritti riservati.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Presentazione di Tiny BPE TrainerLa maggior parte dei modelli NLP moderni, da GPT a RoBERTa, si basa sulla tokenizzazione delle sottoparole tramite Byte Pair Encoding (BPE). Ma cosa succede se si desidera addestrare il proprio vocabolario in puro C++? Vi presentiamo Tiny BPE Trainer: un trainer BPE velocissimo, basato solo su header, scritto in C++17/20 moderno, con zero dipendenze, supporto completo per UTF-8 e output compatibile con HuggingFace (vocab.txt, merges.txt).