Huggingface

Hugging Face に関するリソース、チュートリアル、洞察。機械学習モデル、NLP ツール、AI 研究のための主要なオープンソースプラットフォーム。

Tiny BPE Trainer – 高速で軽量なC++製BPEトレーナー

Tiny BPE TrainerはC++17で書かれた高速なBPEトレーナーです。軽量なこのツールで独自のトークナイザーを訓練できます。HuggingFace互換の出力に対応。