28推论坛-让网络营销、网络推广变得更简单

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 194|回复: 1

[发起讨论] 了解内容处理和索引的原理

[复制链接]

签到天数: 178 天

连续签到: 4 天

[LV.7]活跃会员III

发表于 2018-1-11 10:11:00 | 显示全部楼层 |阅读模式
  搜索引擎蜘蛛对网站进行了爬行和抓取后,接下来的一步就是对抓取的内容进行预处理,也被称“索引”。主要包括提取文字、中文分词、去停止词、消除噪声、去重、正向索引、倒排索引、链接关系计算机和特殊文件处理几个方面。那么,我们今天就来了解内容处理和索引的原理讲解。

  搜索引擎蜘蛛抓取的原始页面,并不能直接用于查询排名和处理。搜索引擎数据库中的页面数据都在数万亿级别以上,用户输入搜索词后,靠排名程序时对这么多页面分析相关性,计算量太大,不可能在一两秒内返回排名结果,因此抓取来的页面必须经过预处理,为最后的查询排名做好准备。http://www.zigongnk.com/shengzhiqipaozhen/5074.html

  提取文字

  现在的搜索引擎还是以文字内容为基础。蜘蛛抓取到页面中的HTML代码,除了用户在浏览器上可以看到的可见文字外,还包含了大量的HTML格式标签、JavaScript程序等无法用于排名的内容。搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序,提出可以用于排名处理的网页面文字内容。

  中文分词

  中文分词是中文搜索引擎特有的步骤,中文词与词之间没有任何分隔符,一个句子中的所有字和词都是连在一起的。搜索引擎必须首先分辨那几个字组成一个词,哪些字本身就是一个词。中文分词方法有两种,一种是基于词典匹配,另一种是基于统计。

  基于词典匹配的方法是指,将待分析的一段文字与一个事先造好的词典中的词条进行匹配,在待分析汉字串中扫描到词典中已有的词条则匹配成功,或者说切分出一个单词。基于统计的分词方法指的是分析大量字体样本,计算出字与字相邻出现的统计概率,几个字相邻出现越多,就越可能形成一个单词。

  基于统计的方法的优势是对新出现的词反应更快速,也有利于消除歧义。在实际使用中,分词系统是混合使用两种方法的。搜索引擎对页面的分词取决于词库中规模。准确性和分词算法的好坏,而不是取决于页面本身如何,所以SEO人员对分词所能做的很少。SEO人员唯一能做的是在页面上用某种形式提示搜索引擎,某几个字应该被当作一个词处理,尤其是可能产生歧义的时候,比如在页面标题、H标签及黑体中出现关键词。

  去除停止词

  无论是英文还是中文,页面内容中都会有一些出现频率很高,却对内容没有任何影响的词。如“的”“地”“得”之类的助词,“啊”“哈”“呀”之类的感叹词,“从而”“以”“却”之类的副词或介词。英文中的常见停止词有the、a、an、to、of等。这些词被称为停止词,因为它们对页面的主要意思没什么影响。搜索引擎在索引页面之前会去掉这些停止词,使索引数据主题更为突出,减少无谓的计算量。

  消除噪声

  噪声并不是指网页中的嘈杂的声音,而是指页面上对页面的主题没有贡献的内容,比如版权声明文字、导航条、广告等,这些内容对页面主题只能起到分散作用。因此搜索引擎需要识别并消除噪声,排名时不适用噪声内容。消噪的基本方法是根据HTML标签对页面的分块,区分出页头、导航、正义、页脚、广告等区域。在网站上大量重复出现的去看往往属于噪声后,剩下的才是页面主题内容。

  去除重复

  同一骗文章经常会重复出现在不同网站及同一个网站的不同网址上,搜索引擎并不喜欢这种重复性的内容。用户搜索时,如果在前两页看到的都是来自不同网站的同一篇文章,用户体验就太差了。搜索引擎希望只返回相同文章中的一篇,所以在进行索引前还需要识别和删除重复内容,这个过程及称为“去重”。

  了解了搜索引擎的去重搜索引擎的去重算法,SEO人员就应该知道简单地增加“的”“地”“得”、调换段落顺序这种所谓伪原创,并不能跳过搜索引擎的去重算法,因为这样的操作无法改变文章的特征关键词。而且搜索引擎的去重算法很可能不止于页面级别,而是进行到段落级别。混合不同文章,交叉调换段落顺序也不能使转载和抄袭变成原创。

  正向索引

  经过文字提取、分词、消噪、去重后,搜索引擎得到的就是独特的,能反映页面主体内容的,伊词为单位的内容。接下来搜索引擎程序就可以提取关键词,按照分词程序划分好的词,把页面转换为一个关键词组成的集合,同时记录每一个关键词在页面上的出现频率,出现次数、格式(如出现在标题标签、黑体、H标签、锚文字等),位置(如页面第一段文字等)。这样,每一个页面都可以记录为一串关键词集合,其中每个关键词的词频、格式、位置等权重信息也都记录在案。

签到天数: 485 天

连续签到: 1 天

[LV.9]以坛为家II

发表于 2018-1-12 14:14:11 | 显示全部楼层
搜索引擎还是以文字内容为基础。蜘蛛抓取到页面中的HTML代码
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /2 下一条

广告服务|小黑屋|手机版|Archiver|站长博客|ID被禁申诉|28推论坛 ( 渝ICP备14010421号-1  

GMT+8, 2018-1-24 11:35

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表