Transformers

基於Transformer的人工智慧模型，用於自然語言處理、電腦視覺和其他機器學習應用。

Tiny BPE Trainer – 一個快速且輕量的 C++ BPE 訓練器

Tiny BPE Trainer – 一個快速且輕量的 C++ BPE 訓練器

Tiny BPE Trainer 是一個基於 C++17 的快速 BPE 訓練器。使用這個輕量級工具訓練你的分詞器，支援 HuggingFace 相容輸出。

用於 NLP 和 ML 的快速、支援 UTF-8 的 C++ 標記器

用於 NLP 和 ML 的快速、支援 UTF-8 的 C++ 標記器

速度極快、僅標頭的 C++ 標記器，支援 UTF-8、詞彙編碼和可用於轉換器的序列，非常適合 NLP 和機器學習。