バイトペア符号化

バイトペア符号化（BPE）に関するガイド、チュートリアル、リソース。NLPや機械学習で広く使用されるテキスト分割アルゴリズム。

Tiny BPE Trainer – 高速で軽量なC++製BPEトレーナー

Tiny BPE TrainerはC++17で書かれた高速なBPEトレーナーです。軽量なこのツールで独自のトークナイザーを訓練できます。HuggingFace互換の出力に対応。