Wake up babe!
State of the art tokenization framework just dropped.
> multiple language support
> multi-thread scaling
> minimal package size
Read:
๋ ๋ณด๊ธฐ
๊ฐ์ ํ ์ด๋ ๋งํฌ๋ฅผ ๊ณต์ ํ๋ฉด ๋์์ ์ฌ์ ๋ฐ ์ด๋ ๋ณด์์ ๋ฐ์ ์ ์์ต๋๋ค.
