ترميز أزواج البايت

نقدم لكم برنامج Tiny BPE Trainerتعتمد معظم نماذج معالجة اللغة الطبيعية (NLP) الحديثة، من GPT إلى RoBERTa، على ترميز الكلمات الفرعية باستخدام ترميز زوج البايتات (BPE). ولكن ماذا لو كنت ترغب في تدريب مفرداتك الخاصة بلغة C++ نقية؟ تعرّف على Tiny BPE Trainer - برنامج تدريب BPE فائق السرعة، يعتمد على الرؤوس فقط، ومكتوب بلغة...