https://mecanik.dev/ko/tags/huggingface/Recent content in Huggingface on [ MECANIK DEV ]Hugoko저작권 © 2020-{year} [MECANIK DEV]. 모든 권리 보유.Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ko/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/Thu, 07 Aug 2025 20:00:00 +0100https://mecanik.dev/ko/posts/tiny-bpe-trainer-a-fast-and-lightweight-bpe-trainer-in-c++/<h2 id="tiny-bpe-trainer-소개">Tiny BPE Trainer 소개</h2> <p>GPT부터 RoBERTa까지 오늘날 대부분의 최신 NLP 모델은 **바이트 쌍 인코딩(BPE)**을 사용한 하위 단어 토큰화에 의존합니다. 하지만 순수 C++로 자신만의 어휘를 학습시키고 싶다면 어떻게 해야 할까요?</p>