内容关键词布局进阶：了解搜索引擎分词算法

关键词布局，一直是SEO头疼的事儿，一个良好的布局，可以为内容增加很大一部分权重，那么如何进一步的做好关键词布局，陈晨选择了看搜索引擎原理，这里和大家分享的是搜索引擎的分词算法，相信对大家有用！

首先，中文和英文不同的是，英文单词之间有空格，而中文都是连贯在一起来操作的，在形式上，无法做出区分。所以中文文本在进行网页分析之前，需要将文本切分为多个词或者字。在目前检索中，主要可以分为按字检索和按词检索，其中按词检索，拥有更快的速度和较高的准确性。

自动分词系统算法介绍
分词系统基本方法：基于字符串匹配的分词方法和基于统计的分词方法。
3-1）基于字符串匹配：也称为机械分词，按照几个既定的策略，将等待分析的字符串和一个容量足够大的词典中的词条进行匹配，若在词典中找到同样的一个字符串，那么匹配成功。
字符串匹配分词，按照扫描方向，可以分为：正向匹配和逆向匹配；按照不同长度有限匹配，可以分为：最大匹配和最小匹配；按照是否与词性标注相结合，可以分为：单纯分词方法和分词与标注相结合的一体化方法；

常用的机械分词方法：正向最大匹配，逆向最大匹配，最小切分（就是在每一句中切除的词量最少，而不是单个词字节最少） （盐城SEO联想：使用正向最大匹配，逆向最大匹配，和我们SEO中经常用到的关键词靠前，则排名越有利，是否存在关联）
同时，在机械分词法中，存在这样一个模型：ASM（d,a,m）；

d：匹配方向，+表示正向，-表示逆向；
a：每次匹配失败后增加或减少字串长度（字符串），“+”就是增加一个，“-”就是减少一个；
m：最大或最小匹配标志，+为最大匹配，-为最小匹配。
对于，中文汉字来说，ASM（+，=，+）是最为实用的方法。

3-2）基于统计的分词方法介绍：
在表现形式上，词是多个字的稳定组合，所以说，在文章中，相邻的字同时出现的次数越多，那么越有可能是一个词，因此，字和字相邻出现的的频率可以大概的反应出词的可信率。

通过公式：M（x,y）=log（ P(x,y) / p(x)p(y) ）来计算他们的互现信息，该互现信息体现了汉字之间结合的紧密程度，当M（x,y）的值大于某一阈值时，便可以确定这是一个词。

因为，只需要对字组频率进行计算，不需要使用词典，所以叫做无词典分词方法，或者说统计分词方法。
缺点：经常会抽出一些高频，但不是词的常用词组，如：“我们”“共同”“有的”等。

所以在正常使用中，统计分词法，都会使用一部基本的分词词典（常用词词典），通过字符串分词系统，识别出常用词组，同时通过统计分词系统，识别出新词，生词，两者结合，即发挥出字符串匹配分词系统的速度快，效率高，又可以利用统计分词系统识别生词，自动消除歧义的优点。