https://mecanik.dev/ro/tags/text-processing/Recent content in Procesarea textului on [ MECANIK DEV ]Hugo -- gohugo.ioroDrepturi de autor © 2020-{year} de [MECANIK DEV]. Toate drepturile rezervate.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ro/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ro/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Prezentarea Tiny BPE TrainerMajoritatea modelelor NLP moderne de astăzi, de la GPT la RoBERTa, se bazează pe tokenizarea subcuvintelor folosind Byte Pair Encoding (BPE). Dar dacă vrei să-ți antrenezi propriul vocabular în C++ pur? Faceți cunoștință cu Tiny BPE Trainer - un trainer BPE extrem de rapid, doar pentru antet, scris în C++ 17/20 modern, cu zero dependențe, suport complet UTF-8 și ieșire compatibilă cu HuggingFace (vocab.txt, merges.txt). De ce un alt trainer BPE?https://mecanik.dev/ro/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/ro/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Prezentarea Modern Text TokenizerModelele moderne de procesare a limbajului natural (NLP), precum BERT, DistilBERT și alte arhitecturi bazate pe transformatoare, se bazează în mare măsură pe o tokenizare eficientă. Însă dezvoltatorii C++ se confruntă adesea cu opțiuni limitate, cum ar fi dependențe supradimensionate, suport Unicode slab sau lipsa de compatibilitate cu codificatoarele bazate pe vocabular. De aceea am creat Modern Text Tokenizer - un tokenizer C++ extrem de rapid, doar pentru antet, care este compatibil cu UTF-8, fără dependențe și pregătit pentru ML din cutie.