设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

friso-1.6.1发布:C语言高性能中文分词器-检测模式切分

2014-7-24 17:01| 发布者: joejoe0332| 查看: 2199| 评论: 0|原作者: oschina|来自: oschina

摘要:   Friso是使用c语言开发的一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,同时支持对UTF-8/GBK ...

  Friso是使用c语言开发的一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,同时支持对UTF-8/GBK编码的切分


friso-1.6.1:

1. friso.ini中friso.lex_dir增加相对friso.ini的路径支持,这个可以让嵌入部署更方便。感谢 @黄冠能 的建议

2. 修复两处内存泄漏bug。 (无名英雄找到的,在此感谢)

3. 改善中英混合词的识别, 可以识别更多情况, 例如:高3。

4. 词库优化, 加入了一些新词条。

5. 修复friso_dic_add & array_list_insert的两处代码bug。

6. 增加检测模式切分, 只返回词库中有的词条,这个对于有些需求确实挺有用的。

7. 集成了php扩展绑定,完美支持PHP分词。以前这个是单独拿出来的,并且项目为robbe,为了方便管理,现在统一绑定到了friso项目里面

friso从下个版本开始,会逐渐去提供sphinx的token filter,socket接口等。


google code不在提供下载,下载地址:

1. git@osc 附件:http://git.oschina.net/lionsoul/friso/attach_files

2. friso SF: https://sourceforge.net/projects/friso/files/


  感谢广大网友的支持和反馈,祝大家工作愉快。 

酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部