Tokenizer
Strumenti e algoritmi per suddividere il testo in token per NLP, motori di ricerca e modellazione del linguaggio, con note pratiche.
posts
Tiny BPE Trainer – Un trainer BPE veloce e leggero in C++
Tiny BPE Trainer è un trainer BPE veloce in C++17. Allena il tuo tokenizer con questo trainer leggero. Output compatibile con HuggingFace.
Continua a leggereposts
Un tokenizzatore C++ veloce e compatibile con UTF-8 per NLP e ML
Un tokenizzatore C++ estremamente veloce, basato solo su header, con supporto UTF-8, codifica del vocabolario e sequenze pronte per i trasformatori, ideale per NLP e apprendimento automatico.
Continua a leggere