Tiny BPE Trainer - Ein schneller und leichter BPE-Trainer in C++

Thu, 07 Aug 2025 20:00:00 +0100

Wir stellen vor: Tiny BPE Trainer

Die meisten modernen NLP-Modelle, von GPT bis RoBERTa, basieren heute auf der Tokenisierung von Teilwörtern mittels Byte Pair Encoding (BPE). Doch was, wenn Sie Ihren eigenen Wortschatz in reinem C++ trainieren möchten?

Lernen Sie den Tiny BPE Trainer kennen - einen blitzschnellen, Header-only-BPE-Trainer, geschrieben in modernem C++17/20, mit null Abhängigkeiten, voller UTF-8-Unterstützung und HuggingFace-kompatibler Ausgabe (vocab.txt, merges.txt).

Warum noch ein BPE-Trainer?

Bestehende Optionen sind oft:

Ein schneller, UTF-8-fähiger C++-Tokenizer für NLP und ML

Wed, 06 Aug 2025 06:00:00 +0100

Einführung des Modern Text Tokenizers

Moderne Modelle der natürlichen Sprachverarbeitung (NLP) wie BERT, DistilBERT und andere transformerbasierte Architekturen setzen stark auf effektive Tokenisierung. C++-Entwickler sehen sich jedoch oft mit eingeschränkten Möglichkeiten wie überladenen Abhängigkeiten, unzureichender Unicode-Unterstützung oder mangelnder Kompatibilität mit vocab-basierten Encodern konfrontiert.

Deshalb habe ich den Modern Text Tokenizer entwickelt – einen blitzschnellen, header-only C++-Tokenizer, der UTF-8-fähig, unabhängig und ML-fähig ist.

Was macht ihn einzigartig?

Keine Abhängigkeiten – Kein Boost, keine ICU, keine externen Bibliotheken.
UTF-8-sicher – Korrekte Verarbeitung von mehrsprachigem Text, Emojis und Multibyte-Zeichen.
Header-only – Einfach in Ihr Projekt einfügen und loslegen.
Vokabularkodierung – Laden Sie „vocab.txt“ von HuggingFace und generieren Sie Token-IDs.
Transformer-fähig – Unterstützt [CLS], [SEP], [PAD] und Sequenzformatierung.

Hauptfunktionen

Schnelle ASCII- vs. Unicode-Verzweigung mit std::string_view

Fluent API für die Konfiguration:

1TextTokenizer tokenizer;
2tokenizer
3.set_lowercase(true)
4.set_split_on_punctuation(true)
5.set_keep_punctuation(true);

Vokabeln laden:
```
1tokenizer.load_vocab("vocab.txt");
```

Kodieren / Dekodieren:

1auto ids = tokenizer.encode("Hello world!");
2std::string decoded = tokenizer.decode(ids);

Leistung

1Leistungstest mit 174.000 Zeichen
2
3Ergebnisse:
4Tokenisierung: 2159 μs (22.000 Token)
5Kodierung: 1900 μs
6Dekodierung: 430 μs
7Gesamtzeit: 4,49 ms
8Durchsatz: 36,97 MB/s

Benchmarking auf Ryzen 9 5900X @ -O3 im Release-Modus.

Tokenizer on [ MECANIK DEV ]