1
BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base
一种针对Brahmic文字优化的131K词汇BPE分词器，可无损替换OpenAI的o200k_base，显著提升印地语/孟加拉语等文字压缩率，同时保留英文和代码性能。
arXiv:2605.29379v1 Announce Type: cross Abstract: We present BrahmicTokenizer-131K, a 131,072-vocabulary byte-level BPE tokenizer that closes the Brah…