分詞器

用於將文本分割成詞元的工具和算法，適用於 NLP、搜尋引擎和語言建模。面向開發者與技術團隊。

Tiny BPE Trainer – 一個快速且輕量的 C++ BPE 訓練器

Tiny BPE Trainer – 一個快速且輕量的 C++ BPE 訓練器

Tiny BPE Trainer 是一個基於 C++17 的快速 BPE 訓練器。使用這個輕量級工具訓練你的分詞器，支援 HuggingFace 相容輸出。

用於 NLP 和 ML 的快速、支援 UTF-8 的 C++ 標記器

用於 NLP 和 ML 的快速、支援 UTF-8 的 C++ 標記器

速度極快、僅標頭的 C++ 標記器，支援 UTF-8、詞彙編碼和可用於轉換器的序列，非常適合 NLP 和機器學習。