以我之力、赋彼之能

　　在这个科技高度发财的时代，百度已经成为人们能获勾销息的首要途径。但现在的百度，各处充溢着一些反复的内容，对用户的会见造成很大的困扰。是以，百度需要对网页反复进行判断，对反复的网页，只拔取一些高质量的我那工业，共用户浏览。然而，现有手艺中普通是过程比力两个页面的内容和借点，来确认两个页面的相似度。

　　这种方式或许争论的比力精确，可时候复杂度太高，争论很费时候。过程对一个页面中的某些主要信息进行签名，然后比力两个页面的签名，来争论相似度，这种格局比力简洁高效，争论速度比力快，比力适合百度这种海量信息的应用场景。

　　1，网站反复内容的判断

　　A，获取多个网页;

　　B，分辨提取网页的网页正文;

　　C，从网页正文中提取一个或多个句子，并按照一个或多个句子争论网页正词句子签名;

　　D，按照网页正词句子签名对多个网页进行聚类;

　　E，针对每一类下的网页，争论网页的附加签名;

　　F，按照附加签名判断每一类下的网页是否反复。

　　过程上述格局，网页反复的判断系统及其判断方式过程包孕网页正词句子签名在内的多维度签名有效且快速地判断网页是否反复。

　　网站页面根基架构

　　提取正文

　　A，对网页进行分块;

　　B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;

　　C，从内容块中提取网页正文。

　　正文分句

　　A，对网页正文进行分句;

　　在本步调中，可哄骗分号，句号，感慨号等默示句子完结的标记符号来对网页正文进行分句。此外，还或许过程网页正文的视觉信息来对网页正文进行分句。

　　B，对分句后的网页正文进行过滤及转换;

　　在步调中，起首过滤掉句子中的数字信息;版权信息以及其他对网页反复判断不起决议性感化的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的花式统一。

　　C，从过滤及转换后的网页正文中提取最长的一个或多个句子;

　　在本步调中，过滤及转换后的网页正文提掏出最长的一个句子或者做场的预定命量接连句子的组合。例如，某个网页实例中，颠末过滤及转换后的某段最长，远超其他句子，是以可选择该段为网页正词句子，或者选择最长的接连句子组合作为网页正词句子。

　　D，对一个或多个句子进行hash签名运算，以获取网页正词句子签名。

　　simhash算法就是比力各网页的附加签名是否不异或相似来判断网页是否反复。具体来说，在比力哄骗simhash签名运算获得的网页正文签名时，比力网页正文签名的分歧位数，分歧位越少，默示网页反复的可能性越高，在比力其他的附加签名时，若附加签名相等，默示网页在该纬度上反复。

　　总结：

　　1、两个网页的真实题目签名不异。

　　2、两个我那工业的网页内容签名不异。

　　3、两个网页的网页正文签名的分歧位数小于6.。

　　4、两个网页的网页位置签名不异，而且url文件名签名不异。

　　5、辩论块签名、资源签名、标签题目签名、摘要签名、url文件名签名中有三个签名不异。

　　附加信息整站判断反复尺度：

　　过程两两页面比力，或许获得真反复url的荟萃。普通来说，假如这个真反复url荟萃中的网页的数目/整个网页集中网页的数目大于30%，则认为整个网页集都是真反复，不然就是假反复。