https://mecanik.dev/ar/tags/bert/Recent content in BERT on [ MECANIK DEV ]Hugo -- gohugo.ioar{year}-حقوق النشر © 2020- {year} بواسطة Mecanik. كل الحقوق محفوظة.Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/ar/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/ar/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/مقدمة عن مُرمِّز النصوص الحديثتعتمد نماذج معالجة اللغة الطبيعية (NLP) الحديثة، مثل BERT وDistilBERT وغيرها من البنى القائمة على المحولات، بشكل كبير على الترميز الفعال. لكن غالبًا ما يواجه مطورو C++ خيارات محدودة، مثل الاعتماديات المتضخمة، أو ضعف دعم Unicode، أو عدم التوافق مع برامج الترميز القائمة على المفردات. لهذا السبب، ابتكرتُ مُرمِّز النصوص الحديث - مُرمِّز C++ فائق السرعة، يعتمد على الرؤوس فقط، يدعم UTF-8، خالي من التبعيات، وجاهز للتعلم الآلي فورًا.