什么是文本的粒度？我们用什么来衡量文本粒度？

一般而言，大型搜索引擎的索引都采用分布式系统。不同文本的索引，被某种hash算法“分配”到了某台机器。理论上讲，索引的数量的增长，只会造成所需机器的增长，而对整体系统性能的消耗影响比较小。所以一般搜索引擎会从性价比的角度来考虑索引数量与机器数量的折衷，也就是召回与硬件投入的折衷。粒度分析对于折衷的性价比也有一定的贡献，在粒度层次里，当粒度逐渐变小的过程中，我们并不一定对所有小粒度词都建索引，而是选择“更有可能召回相关结果”的小粒度词。词汇的什么性质决定了“更有可能召回相关结果”？

传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。这里的“所求”，比“文档”更加宽泛和丰富，比如一个关于天气的查询，直接返回一个天气预报的窗口，而非一篇关于天气的文档；再如一个关于小游戏的查询，直接返回这个小游戏的Flash页面而非简单的介绍性的文字。

百度对Query深刻的理解，源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言，文本切分是最基础也是最重要的自然语言问题之一。今天，我们就来谈谈文本切分粒度与搜索引擎的关系。

什么是文本的粒度？我们用什么来衡量文本粒度？专名是一类比较特殊的词，尽管所含字数很多，但其实只表达一个意思，如“步步惊心”，“家的n次方”这样的电影、电视剧的名称，粒度是很小的。机构名、人名等属于有内部结构的专名，比电影名的粒度稍大一些。

一般我们采用倒排索引的方式来实现这个系统。所谓倒排索引，就是对关键字建立索引，记录包含这个关键字的文档集合D。对于请求的关键字集合，找出所有关键字对应的索引，并对索引求交，最后返回同时存在于所有索引中的文档。

在百度，我们不仅允许用户输入关键字，也可以输入任何长度在一定范围内的文本。此时我们需要对文本做一定处理，切分成一系列关键字，从而能够从倒排索引中找出对应的文档。

既然粒度是衡量文本所含信息量的大小，那么紧密度就是描述文本所含信息紧密程度的量。再说的通俗一些，紧密度就是信息被人们表达和接受的稳定程度。稳定有两种解释，第一，稳定是相对于临时而言的。一般来说，如果信息是因为某些因素临时组合在一起，那就是不稳定的，即不紧密。比如许多动宾结构的短语（“过马路”，“踢足球”），定中结构的短语（“红苹果”，“豪华轿车”）。第二，稳定是相对于顺序不固定而言的。如果同样一个信息，内部的子信息顺序可以互换，那么这个词汇就不稳定，即不紧密。比如一些大粒度的词汇“鼠标护腕垫”、“护腕鼠标垫”。

当前文章：什么是文本的粒度？我们用什么来衡量文本粒度？
URL分享：https://www.cdcxhl.com/news/168522.html

成都网站建设公司_创新互联，为您提供网站策划、App开发、品牌网站制作、静态网站、移动网站建设、网站改版

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联