首页>搜索引擎动态>百度抓取网站数据异常应如何处理?

百度抓取网站数据异常应如何处理?

2012-11-15来源:http://www.seoteacher.com.cn/
更多

  使用百度站长工具检查乐天堂fun88吧网站,发现百度蜘蛛程序对页面抓取出现异常情况,对网站内容已经做了404页面的处理,但是好像没有效果。

  搜索引擎蜘蛛程序虽然是模拟人的思维方式进行工作,但并没有人的思维那么智能,搜索引擎对网站蜘蛛抓取异常总是难免的,应对搜索引擎抓取网站的异常情况我们怎么办?

  1、确定异常的数据是搜索引擎蜘蛛

  网络上存在为数不少的“站长”为了获取目标网站的数据或黑客想入侵网站会采取IP模拟搜索引擎蜘蛛的方式进行抓取网站内容方式。遇到此类的问题,打开网站日志程序(如果你是虚拟主机,通常会放在网站根目录中,通过FTP进行下载),找到异常IP进行IP查询,检查IP地址是否为模拟IP。如果不是通过空间商将IP进行屏蔽。

  2、robots屏蔽问题页面

  如果对网站进行404处理后搜索引擎蜘蛛还是对错误页面进行抓取,通过网站robots.txt文件进行配置不允许搜索引擎蜘蛛抓取网站页面内容。

  3、提交搜索引擎抓取页面问题反馈

  以上的问题都进行处理后搜索引擎蜘蛛抓取的数据还是有问题,通过搜索引擎投诉的窗口进行提交网站的问题,等待一段时间后,如果没有解决继续进行提交问题。

更多
相关新闻
<友情连结> KaneSEO/ 联兴互动/ 皖荣营销/ Taiwantrade.com/ Timway/