https://mecanik.dev/ja/tags/tokenizer/Recent content in トークナイザー on [ MECANIK DEV ]Hugoja著作権 © 2020-{year} [MECANIK DEV]による。無断複写・転載を禁じます。Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ja/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ja/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/<h2 id="tiny-bpe-trainer-のご紹介">Tiny BPE Trainer のご紹介</h2> <p>GPT から RoBERTa に至るまで、今日の多くの最新の NLP モデルは、<strong>バイトペアエンコーディング (BPE)</strong> を用いたサブワードトークン化に依存しています。しかし、純粋な C++ で独自の語彙を学習したい場合はどうすればよいでしょうか？</p>https://mecanik.dev/ja/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/ja/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/<h2 id="modern-text-tokenizer-のご紹介">Modern Text Tokenizer のご紹介</h2> <p>BERT、DistilBERT、その他のトランスフォーマーベースのアーキテクチャといった最新の自然言語処理 (NLP) モデルは、効果的なトークン化に大きく依存しています。しかし、C++ 開発者は、肥大化した依存関係、Unicode サポートの不足、語彙ベースのエンコーダーとの互換性の欠如など、選択肢が限られているという問題に直面することがよくあります。</p>