基于hanlp的es分词插件-创新互联

10多年的八公山网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整八公山建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联公司从事“八公山网站设计”,“八公山网站推广”以来,每个客户项目都认真落实执行。

摘要: elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词

Elasticsearch

默认分词

  基于hanlp的es分词插件

输出:  

  基于hanlp的es分词插件

IK分词  

  基于hanlp的es分词插件

输出:  

  基于hanlp的es分词插件

hanlp分词

  基于hanlp的es分词插件

输出:

  基于hanlp的es分词插件

ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词

安装步骤:  

1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data

目录的地址

2、修改es config目录下的jvm.options文件,最后一行添加

-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

 

重启 es

GET /_analyze?analyzer=hanlp-index&pretty=true

{

“text”:”张柏芝士蛋糕店”

}

测试是否安装成功

analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)

自定义词典

修改 plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件

格式遵从 [单词] [词性A] [A的频次]

修改完后删除同目录下的 CustomDictionary.txt.bin文件

重启 es服务

 

当前题目:基于hanlp的es分词插件-创新互联
文章出自:https://www.cdcxhl.com/article12/dsjsdc.html

成都网站建设公司_创新互联,为您提供全网营销推广网站制作网页设计公司定制网站服务器托管营销型网站建设

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都网站建设公司