https://mecanik.dev/it/tags/transformers/Recent content in Transformers on [ MECANIK DEV ]Hugo -- gohugo.ioitCopyright © 2020-{year} di [MECANIK DEV]. Tutti i diritti riservati.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/it/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Presentazione di Tiny BPE TrainerLa maggior parte dei modelli NLP moderni, da GPT a RoBERTa, si basa sulla tokenizzazione delle sottoparole tramite Byte Pair Encoding (BPE). Ma cosa succede se si desidera addestrare il proprio vocabolario in puro C++? Vi presentiamo Tiny BPE Trainer: un trainer BPE velocissimo, basato solo su header, scritto in C++17/20 moderno, con zero dipendenze, supporto completo per UTF-8 e output compatibile con HuggingFace (vocab.txt, merges.txt).https://mecanik.dev/it/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/it/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Presentazione di Modern Text TokenizerI moderni modelli di elaborazione del linguaggio naturale (NLP) come BERT, DistilBERT e altre architetture basate su trasformatori si basano fortemente su una tokenizzazione efficace. Tuttavia, gli sviluppatori C++ spesso si trovano ad affrontare opzioni limitate, come dipendenze eccessive, scarso supporto Unicode o mancanza di compatibilità con gli encoder basati su vocabolario. Ecco perché ho creato Modern Text Tokenizer: un tokenizzatore C++ incredibilmente veloce, solo header, compatibile con UTF-8, senza dipendenze e pronto per il ML fin da subito.