https://mecanik.dev/it/tags/text-processing/Recent content in Elaborazione del testo on [ MECANIK DEV ]HugoitCopyright © 2020-{year} di [MECANIK DEV]. Tutti i diritti riservati.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/<h2 id="presentazione-di-tiny-bpe-trainer">Presentazione di Tiny BPE Trainer</h2> <p>La maggior parte dei modelli NLP moderni, da GPT a RoBERTa, si basa sulla tokenizzazione delle sottoparole tramite <strong>Byte Pair Encoding (BPE)</strong>. Ma cosa succede se si desidera addestrare il proprio vocabolario in puro C++?</p> <p>Vi presentiamo <strong>Tiny BPE Trainer</strong>: un trainer BPE velocissimo, basato solo su header, scritto in C++17/20 moderno, con <strong>zero dipendenze</strong>, <strong>supporto completo per UTF-8</strong> e output compatibile con HuggingFace (<code>vocab.txt</code>, <code>merges.txt</code>).</p>https://mecanik.dev/it/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/it/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/<h2 id="presentazione-di-modern-text-tokenizer">Presentazione di Modern Text Tokenizer</h2> <p>I moderni modelli di elaborazione del linguaggio naturale (NLP) come BERT, DistilBERT e altre architetture basate su trasformatori si basano fortemente su una tokenizzazione efficace. Tuttavia, gli sviluppatori C++ spesso si trovano ad affrontare opzioni limitate, come dipendenze eccessive, scarso supporto Unicode o mancanza di compatibilità con gli encoder basati su vocabolario.</p> <p>Ecco perché ho creato <strong>Modern Text Tokenizer</strong>: un tokenizzatore C++ incredibilmente veloce, <strong>solo header</strong>, <strong>compatibile con UTF-8</strong>, <strong>senza dipendenze</strong> e <strong>pronto per il ML</strong> fin da subito.</p>