https://mecanik.dev/zh-cn/tags/huggingface/Recent content in Huggingface on [ MECANIK DEV ]Hugo -- gohugo.iozh-Hans版权所有 © 2020-{year} [ MECANIK DEV ]。 版权所有。Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/zh-cn/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/zh-cn/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Tiny BPE Trainer 介绍如今，从 GPT 到 RoBERTa，大多数现代 NLP 模型都依赖于使用字节对编码 (BPE) 的子词标记化。但是，如果您想用纯 C++ 训练自己的词汇表，该怎么办？