Tokenizer
Werkzeuge und Algorithmen zum Aufteilen von Text in Tokens für NLP, Suchmaschinen und Sprachmodellierung, mit praxisnahen Hinweisen.
posts
Tiny BPE Trainer - Ein schneller und leichter BPE-Trainer in C++
Tiny BPE Trainer ist ein schneller BPE-Trainer in C++17. Trainiere deinen eigenen Tokenizer mit diesem leichtgewichtigen BPE-Trainer. HuggingFace-kompatibler Output.
mehr lesenposts
Ein schneller, UTF-8-fähiger C++-Tokenizer für NLP und ML
Ein blitzschneller, Header-Only-C++-Tokenizer mit UTF-8-Unterstützung, Vokabularkodierung und transformatorfähigen Sequenzen, ideal für NLP und maschinelles Lernen.
mehr lesen