Transformers

基于Transformer的人工智能模型，用于自然语言处理、计算机视觉和其他机器学习应用。

Tiny BPE Trainer – 一个快速且轻量的 C++ BPE 训练器

Tiny BPE Trainer – 一个快速且轻量的 C++ BPE 训练器

Tiny BPE Trainer 是一个基于 C++17 的快速 BPE 训练器。使用这个轻量级工具训练你的分词器，支持 HuggingFace 兼容输出。

用于 NLP 和 ML 的快速、支持 UTF-8 的 C++ 标记器

用于 NLP 和 ML 的快速、支持 UTF-8 的 C++ 标记器

速度极快、仅有标头的 C++ 标记器，支持 UTF-8、词汇编码和可用于转换器的序列，非常适合 NLP 和机器学习。