Chinese text segmentation offering precise, full and search modes, HMM‑assisted new-word detection, Traditional Chinese handling, customizable dictionaries, tokenization with offsets, and runtime dictionary tweaks.
jieba-kmp是jieba中文分词的kotlin多平台版本
提供与jieba基本一致的功能与接口，但不支持其paddle模式。
以下性能表现根据不同硬件会有所不同，仅供参考
| 平台 | 35万词 | 35万词+缓存 | 50万词 | 50万词+缓存 | 设备 |
|---|---|---|---|---|---|
| android | 1.5秒 |
| 长度 | android |
|---|---|
| 1200 | 160ms |
| 6000 | 500ms |
api('cn.erolc.jieba:jieba-kmp:1.0.0')
-keep class cn.erolc.jieba.model.FreqCache { *; }
//android
jiebaInit()
//other
Jieba.init()
android需要在application中进行初始化
Jieba.cut方法接收两个参数：需要分词的字符串；模式；Jieba.lcut方法接收与Jieba.cut一致的参数，cut返回值是flow，lcut返回值是listJieba.cutForSearch方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细使用 addWord(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
使用 suggestFreq(segment) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
Jieba.init(diskHelper)当在使用过程中，修改了自定义词典，那么可以通过Jieba.reload()方法重新载入。
| 1秒（首次1.9秒） |
| 2.1秒 |
| 1.0秒（首次3.1秒） |
| 1+Ace5 |
Jieba.tokenize方法接受三个参数：需要分词的字符串；模式；是否使用 HMM 模型。返回值会包含词的位置信息import kotlinx.coroutines.flow.fold
import kotlinx.coroutines.test.runTest
import kotlin.test.Test
import cn.erolc.jieba.Jieba
fun test() = runTest {
val seg_list = Jieba.cut("我来到北京清华大学", Mode.Full)
val value = seg_list.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("Full mode: $value")
val seg_list2 = Jieba.cut("我来到北京清华大学", Mode.HMM)
val value1 = seg_list2.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("HMM mode: $value1")
val seg_list3 = Jieba.cut("他来到了网易杭研大厦")
val value2 = seg_list3.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("新词识别: $value2")
val seg_list4 = Jieba.cutForSearch("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")
val value3 = seg_list4.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("Search mode: $value3")
Jieba.tokenize("永和服装饰品有限公司").collect { println(it) }
Jieba.tokenize("永和服装饰品有限公司", "search").collect { println(it) }
}
cut(9)：382.907833ms
Full mode: 我/来到/北京/清华/清华大学/华大/大学
cut(9)：300.5us
HMM mode: 我/来到/北京/清华大学
cut(10)：2.267ms
新词识别: 他/来到/了/网易/杭研/大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
cutForSearch(26):4.532458ms
Search mode: 小明/硕士/毕业/于/中国/科学/学院/科学院/中国科学院/计算/计算所/，/后/在/日本/京都/大学/日本京都大学/深造
//默认模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):1.907375ms
//搜索模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限, startOffset=6, endOffset=8)
SegToken(word=公司, startOffset=8, endOffset=10)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):856.959us
Surfaced from shared tags and platforms — no rankings paid for.