المُجزئ
أدوات وخوارزميات لتقسيم النصوص إلى رموز لاستخدامها في معالجة اللغة الطبيعية ومحركات البحث ونماذج اللغة، مكتوبة للمطورين والفرق التقنية.
posts
Tiny BPE Trainer – أداة تدريب BPE سريعة وخفيفة الوزن بلغة C++
Tiny BPE Trainer هو مدرب BPE سريع باستخدام C++17. درّب وحدة التقطيع الخاصة بك باستخدام هذه الأداة الخفيفة. يدعم مخرجات متوافقة مع HuggingFace.
أكمل القراءةposts
أداة سريعة لتجزئة النص متوافقة مع UTF-8 من C++ لـ NLP و ML
أداة تقسيم C++ سريعة للغاية، تعتمد على الرأس فقط، مع دعم UTF-8، وترميز المفردات، وتسلسلات جاهزة للمحول، مثالية لمعالجة اللغة الطبيعية والتعلم الآلي.
أكمل القراءة