https://mecanik.dev/ar/tags/byte-pair-encoding/Recent content in ترميز أزواج البايت on [ MECANIK DEV ]Hugoar{year}-حقوق النشر © 2020- {year} بواسطة Mecanik. كل الحقوق محفوظة.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ar/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ar/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/<h2 id="نقدم-لكم-برنامج-tiny-bpe-trainer">نقدم لكم برنامج Tiny BPE Trainer</h2> <p>تعتمد معظم نماذج معالجة اللغة الطبيعية (NLP) الحديثة، من GPT إلى RoBERTa، على ترميز الكلمات الفرعية باستخدام <strong>ترميز زوج البايتات (BPE)</strong>. ولكن ماذا لو كنت ترغب في تدريب مفرداتك الخاصة بلغة C++ نقية؟</p> <p>تعرّف على <strong>Tiny BPE Trainer</strong> - برنامج تدريب BPE فائق السرعة، يعتمد على الرؤوس فقط، ومكتوب بلغة C++ 17/20 الحديثة، مع <strong>عدم وجود تبعيات</strong>، ودعم كامل لـ UTF-8، ومخرجات متوافقة مع HuggingFace (<code>vocab.txt</code>، <code>merges.txt</code>).</p>