https://mecanik.dev/ar/tags/huggingface/Recent content in Huggingface on [ MECANIK DEV ]Hugo -- gohugo.ioar{year}-حقوق النشر © 2020- {year} بواسطة Mecanik. كل الحقوق محفوظة.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ar/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ar/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/نقدم لكم برنامج Tiny BPE Trainerتعتمد معظم نماذج معالجة اللغة الطبيعية (NLP) الحديثة، من GPT إلى RoBERTa، على ترميز الكلمات الفرعية باستخدام ترميز زوج البايتات (BPE). ولكن ماذا لو كنت ترغب في تدريب مفرداتك الخاصة بلغة C++ نقية؟ تعرّف على Tiny BPE Trainer - برنامج تدريب BPE فائق السرعة، يعتمد على الرؤوس فقط، ومكتوب بلغة C++ 17/20 الحديثة، مع عدم وجود تبعيات، ودعم كامل لـ UTF-8، ومخرجات متوافقة مع HuggingFace (vocab.