https://mecanik.dev/ko/tags/tokenizer/Recent content in 토크나이저 on [ MECANIK DEV ]Hugoko저작권 © 2020-{year} [MECANIK DEV]. 모든 권리 보유.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ko/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ko/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/<h2 id="tiny-bpe-trainer-소개">Tiny BPE Trainer 소개</h2> <p>GPT부터 RoBERTa까지 오늘날 대부분의 최신 NLP 모델은 **바이트 쌍 인코딩(BPE)**을 사용한 하위 단어 토큰화에 의존합니다. 하지만 순수 C++로 자신만의 어휘를 학습시키고 싶다면 어떻게 해야 할까요?</p>https://mecanik.dev/ko/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/Wed, 06 Aug 2025 06:00:00 +0100https://mecanik.dev/ko/posts/a-fast-utf-8-aware-c++-tokenizer-for-nlp-ml/<h2 id="모던-텍스트-토크나이저-소개">모던 텍스트 토크나이저 소개</h2> <p>BERT, DistilBERT 및 기타 트랜스포머 기반 아키텍처와 같은 최신 자연어 처리(NLP) 모델은 효과적인 토큰화에 크게 의존합니다. 하지만 C++ 개발자는 과도한 종속성, 부족한 유니코드 지원, 어휘 기반 인코더와의 호환성 부족 등 제한적인 옵션에 직면하는 경우가 많습니다.</p>