Szövegfeldolgozás
Módszerek és technikák szöveges adatok elemzésére, átalakítására és kezelésére, például keresés, NLP és automatizálás céljából.
posts
Tiny BPE Trainer – Gyors és könnyű BPE-tréner C++ nyelven
A Tiny BPE Trainer egy gyors BPE-tréner C++17-ben. Készítsd el saját tokenizálódat ezzel a könnyű BPE-trénerrel. HuggingFace-kompatibilis kimenet.
Tovább olvasomposts
Gyors, UTF-8 kompatibilis C++ tokenizáló NLP-hez és ML-hez
Egy villámgyors, csak fejléceket kezelő C++ tokenizer UTF-8 támogatással, szókincskódolással és transzformátor-kész szekvenciákkal, ideális NLP-hez és gépi tanuláshoz.
Tovább olvasom