https://mecanik.dev/hu/tags/tokenizer/Recent content in Tokenizáló on [ MECANIK DEV ]Hugo -- gohugo.iohuSzerzői jog © 2020-{year}, [MECANIK DEV]. Minden jog fenntartva.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/hu/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/hu/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Bemutatkozik a Tiny BPE TrainerA legtöbb modern NLP modell, a GPT-től a RoBERTa-ig, a Byte Pair Encoding (BPE) használatával alszó-tokenizációra támaszkodik. De mi van, ha a saját szókincsedet szeretnéd tiszta C++-ban képezni? Ismerd meg a Tiny BPE Trainert - egy villámgyors, csak fejléceket tartalmazó BPE trainert, amely modern C++17/20-ban íródott, nulla függőséggel, teljes UTF-8 támogatással és HuggingFace-kompatibilis kimenettel (vocab.txt, merges.txt). Miért van szükség egy újabb BPE Trainerre?Mivel a meglévő opciók gyakran:https://mecanik.dev/hu/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/hu/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Bemutatkozik a Modern Text TokenizerA modern természetes nyelvi feldolgozási (NLP) modellek, mint például a BERT, a DistilBERT és más transzformátor-alapú architektúrák nagymértékben támaszkodnak a hatékony tokenizációra. A C++ fejlesztők azonban gyakran korlátozott lehetőségekkel szembesülnek, mint például a túlméretezett függőségek, a gyenge Unicode-támogatás vagy a szókincs-alapú kódolókkal való kompatibilitás hiánya. Ezért hoztam létre a Modern Text Tokenizert - egy villámgyors, csak fejléc-alapú C++ tokenizert, amely UTF-8-tudatos, nulla függőségű és gépi tanulásra kész, azonnal használható.