jiebaR是"结巴"中文分词的R语言版本，支持最大概率法（Maximum Probability），隐式马尔科夫模型（Hidden Markov Model），索引模型（QuerySegment），混合模型（MixSegment），共四种分词模式，同时有词性标注，关键词提取，文本Simhash相似度比较等功能。项目使用了Rcpp和CppJieba进行开发。 特性 支持 Windows , Linux操作系统（Mac 暂未测试）。 通过Rcpp Modules实现同时加载多个分词系统,可以分别使用不同的分词模式和词库。 支持多种分词模式、中文姓名识别、关键词提取、词性标注以及文本Simhash相似度比较等功能。 支持加载自定义用户词库，设置词频、词性。 同时支持简体中文、繁体中文分词。 支持自动判断编码模式。 比原"结巴"中文分词速度快，是其他R分词包的5-20倍。 安装简单，无需复杂设置。 可以通过Rpy2，jvmr等被其他语言调用。 基于MIT协议。
安装目前该包还没有发布到CRAN，可以通过Github进行安装。Windows系统需要安装 Rtools，或者可以下载二进制包，进行安装： 1 2 | library(devtools)
install_github("qinwf/jiebaR")
|
使用示例分词jiebaR提供了四种分词模式，可以通过jiebar()来初始化分词引擎，使用segment()进行分词。 1 2 3 4 5 6 7 8 9 | library(jiebaR)
mixseg = worker()
mixseg <= "江州市长江大桥参加了长江大桥的通车仪式"
|
1 2 | [1] "江州" "市长" "江大桥" "参加" "了" "长江大桥"
[7] "的" "通车" "仪式"
|
支持对文件进行分词： 在加载分词引擎时，可以自定义词库路径，同时可以启动不同的引擎： 最大概率法（MPSegment），负责根据Trie树构建有向无环图和进行动态规划算法，是分词算法的核心。 隐式马尔科夫模型（HMMSegment）是根据基于人民日报等语料库构建的HMM模型来进行分词，主要算法思路是根据(B,E,M,S)四个状态来代表每个字的隐藏状态。 HMM模型由dict/hmm_model.utf8提供。分词算法即viterbi算法。 混合模型（MixSegment）是四个分词引擎里面分词效果较好的类，结它合使用最大概率法和隐式马尔科夫模型。 索引模型（QuerySegment）先使用混合模型进行切词，再对于切出来的较长的词，枚举句子中所有可能成词的情况，找出词库里存在。 1 2 3 4 5 6 7 | mixseg2 = worker(type = "mix", dict = "dict/jieba.dict.utf8",
hmm = "dict/hmm_model.utf8",
user = "dict/test.dict.utf8",
detect=T, symbol = F,
lines = 1e+05, output = NULL
)
mixseg2
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | Worker Type: Mix Segment
Detect Encoding : TRUE
Default Encoding: UTF-8
Keep Symbols : FALSE
Output Path :
Write File : TRUE
Max Read Lines : 1e+05
Fixed Model Components:
$dict
[1] "dict/jieba.dict.utf8"
$hmm
[1] "dict/hmm_model.utf8"
$user
[1] "dict/test.dict.utf8"
$detect $encoding $symbol $output $write $lines can be reset.
|
可以通过R语言常用的$符号重设一些worker的参数设置 , 如WorkerName$symbol = T，在输出中保留标点符号。一些参数在初始化的时候已经确定，无法修改, 可以通过WorkerName$PrivateVarible来获得这些信息。 1 2 | mixseg$encoding
mixseg$detect = F
|
可以自定义用户词库，推荐使用深蓝词库转换构建分词词库，它可以快速地将搜狗细胞词库等输入法词库转换为jiebaR的词库格式。 1 2 3 | ShowDictPath()
EditDict()
?EditDict()
|
词性标注可以使用<=.tagger或者tag来进行分词和词性标注, 词性标注使用混合模型模型分词，标注采用和 ictclas 兼容的标记法。 1 2 3 | words = "我爱北京天安门"
tagger = worker("tag")
tagger <= words
|
1 2 | r v ns ns
"我" "爱" "北京" "天安门"
|
关键词提取关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径,使用方法与分词类似。topn参数为关键词的个数。 1 2 3 | keys = worker("keywords", topn = 1)
keys <= "我爱北京天安门"
keys <= "一个文件路径.txt"
|
Simhash 与海明距离对中文文档计算出对应的simhash值。simhash是谷歌用来进行文本去重的算法，现在广泛应用在文本处理中。Simhash引擎先进行分词和关键词提取，后计算Simhash值和海明距离。 1 2 3 | words = "hello world!"
simhasher = worker("simhash",topn=2)
simhasher <= "江州市长江大桥参加了长江大桥的通车仪式"
|
1 2 3 4 5 | $simhash
[1] "12882166450308878002"
$keyword
22.3853 8.69667
"长江大桥" "江州"
|
1 2 3 4 5 6 7 8 | $distance
[1] "23"
$lhs
22.3853 8.69667
"长江大桥" "江州"
$rhs
11.7392 11.7392
"hello" "world"
|
计划支持 | 
