Tokenizáló
Eszközök és algoritmusok szöveg tokenekre bontásához NLP, keresőmotorok és nyelvi modellezés céljából, fejlesztőknek és technikai csapatoknak írva.
posts
Tiny BPE Trainer – Gyors és könnyű BPE-tréner C++ nyelven
A Tiny BPE Trainer egy gyors BPE-tréner C++17-ben. Készítsd el saját tokenizálódat ezzel a könnyű BPE-trénerrel. HuggingFace-kompatibilis kimenet.
Tovább olvasomposts
Gyors, UTF-8 kompatibilis C++ tokenizáló NLP-hez és ML-hez
Egy villámgyors, csak fejléceket kezelő C++ tokenizer UTF-8 támogatással, szókincskódolással és transzformátor-kész szekvenciákkal, ideális NLP-hez és gépi tanuláshoz.
Tovább olvasom