https://mecanik.dev/de/tags/bert/Recent content in BERT on [ MECANIK DEV ]Hugo -- gohugo.iodeCopyright © 2020-{year} von [ MECANIK DEV ]. Alle Rechte vorbehalten.Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/de/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/de/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Einführung des Modern Text TokenizersModerne Modelle der natürlichen Sprachverarbeitung (NLP) wie BERT, DistilBERT und andere transformerbasierte Architekturen setzen stark auf effektive Tokenisierung. C++-Entwickler sehen sich jedoch oft mit eingeschränkten Möglichkeiten wie überladenen Abhängigkeiten, unzureichender Unicode-Unterstützung oder mangelnder Kompatibilität mit vocab-basierten Encodern konfrontiert. Deshalb habe ich den Modern Text Tokenizer entwickelt – einen blitzschnellen, header-only C++-Tokenizer, der UTF-8-fähig, unabhängig und ML-fähig ist. Was macht ihn einzigartig? Keine Abhängigkeiten – Kein Boost, keine ICU, keine externen Bibliotheken.