蜘蛛劫持就是黑帽SEO人员通过各种非正常手段,劫持搜索引擎蜘蛛(如:百度蜘蛛),其表现为:百度快照是一个页面,用户点击进入网站后看到的是另一个页面。通常是根据访客的user-agent的不同来进行此操作。蜘蛛劫持是一种常见黑帽SEO技术,就是劫持搜索引擎蜘蛛以及搜索引擎流量导入目标网站。
大家在网上经常看到一个网站被黑了,我们能看见的东西就是快照被挂上了du-博、福-利-彩等信息,可打开页面后,显示的却是原网页,查看源代码,也没有发现任何问题。最后求知才知道,原来是蜘蛛劫持。
一、蜘蛛劫持技术原理:
通过相关入侵软件(比如webshell)扫描已经收集好的并且有可观流量网站的漏洞,获取权限,在服务器中植入木马程序或者在网页代码中添加劫持代码,然后根据网站访客性质,给出不一样的页面或请求,比如正常用户就返回原页面,当发现是走蜘蛛程序的时候,就会给出已经做了手脚的页面。
搜索引擎蜘蛛劫持的技术原理蜘蛛劫持的技术原理是通过黑客手段进入猎取站点,在其中一文件夹或者根目录上传一个文件(快照文件,给搜索引擎看的)来达到劫持猎取站点的蜘蛛,进入目标站点。大家都知道网站流量中很大一部分是来自于蜘蛛,蜘蛛劫持的目的就是劫持搜索引擎蜘蛛以及搜索引擎流量导入目标网站。
简单理解就是,针对正常用户和蜘蛛返回不同的页面或请求。
二、蜘蛛劫持在黑帽领域中的相关应用:
1、劫持流量
表现:当用户直接在浏览器输入域名的时候,正常显示首页,以及点击其他页面也无任何异样,查看源代码也正常,可在搜索结果页面打开本网站页面,就会直接跳转到其他站点,点击搜索结果页快照也是原页面快照。
2、快照劫持(搞破坏或添加外链)
表现:当用户在浏览器中打开或者搜索结果页打开,返回页面都是原页面,我们一般发现不出什么异样,可唯独查看快照,发现了猫腻,针对快照进行了修改。一般不细心的站长根本发现不了,用百度站长平台的抓取测试或站长工具的模拟抓取的话,返回的源代码和页面之前的源代码就有出入了。
3、判断地区劫持流量
上面两种应用中,第一个很容易被站长发现,第二个又没有多大的利益驱动,所以第三个应用是一般“高手”常用的劫持手段。
表现:根据网站后台登陆ip记录判断站长所属地区,除此地区之外,进行搜索结果页点击跳转,这样站长在本地区搜索也好,查看快照也好,几乎看不出什么异样,但其他地区的搜索流量都被转移走了。
在网站推广的过程中,千万不能抱着侥幸的心里,采用不正确的手段操作。
三、蜘蛛劫持对黑帽SEO的作用
1、将劫持的流量跳转到灰色产业,如SI服、DU-博、淘-宝-客等
2、在某些高权重网站放置外链,提高自身网站的权重
3、针对竞争对手网站进行搞破坏
四、黑帽SEO工具蜘蛛劫持的手段
常见的搜索引擎蜘蛛劫持手段,包括:asp代码劫持、php代码劫持、js代码劫持,这些劫持的代码都很有实效性,都需要根据蜘蛛的升级而升级。
还有一种和蜘蛛劫持类似的就是快照劫持,快照劫持就别人是在你不工作的时候进入你的网站的,一般是凌晨1点到5、6点这段时间(当然时间是不一定的)。他们通过各种手段进入你的网站后台,把网站的mate标签和title找成他们网站相关的内容,再等到蜘蛛抓取之后再把原来的信息再换回来,这样神不知鬼不觉,你也不会很轻易的发现什么。因此,第二天的快照就会变成劫持者的网站,这就导致了你的快照被劫持。有的时候别人是纯粹的快照劫持,没有劫持上面所说的搜索引擎蜘蛛。但是当发现快照不一致时我们也需要检查网站后台有没有global.asa文件。
蜘蛛劫持和隐藏页面都是呈现给搜素引擎和用户是不一样的页面,但是本质是不一样的,隐藏页面的内容是同一个网站,只不过为了排名而呈现2中版本的页面,而蜘蛛劫持所展示的是2个网站,为的是盗取别人网站的流量。
五、应该怎样防范蜘蛛劫持
1、做好服务器(空间)安全防护工作,减少服务器(空间权限),权限越小,安全越大。再好的网站空间提供商都是没用,还得靠自己。
2、监控好网站各个指数,一旦发现异常,请查看搜索引擎快照内容,或者在站长工具中进行页面模拟抓取,查看是否有异常,或者让其他省份和地区的朋友在搜索结果页点击网站页面,看是否有跳转。
六、各类搜索引擎蜘蛛汇总
百度 :Baiduspider Baiduspider-render Baiduspider-video Baiduspider-news Baiduspider-mobile
360 :360Spider
搜狗 :Sogou web spider Sogou inst spider Sogou spider2 Sogou blog Sogou Orion spider Sogou News Spider
必应 :bingbot
SOSO: Sosospider
雅虎 :Yahoo! Slurp China Yahoo! Slurp
神马 :YisouSpider
谷歌 :GoogleBot Googlebot-Mobile
七、遭到蜘蛛劫持后怎么解决
这个要根据对方劫持手段来具体操作,首先需要判断是植入的木马程序还是在网站页面中添加的劫持代码。首先是用杀毒软件进行扫描,就我了解,现在的蜘蛛劫持代码或程序,杀毒软件根本没有用。
1、用百度站长平台的抓取测试进行蜘蛛模拟抓取测试查看问题页面,看返回的源代码中是否存在异样执行代码,若存在,进行删除。
2、如果排除了不是页面添加劫持代码,那就进服务器托管的网站根目录下寻找异样文件,根据最近修改时间,一点点排查,如果真的找不到,将网站所在的盘符文件全部拷贝转移,然后格式化本盘符(有时候格式化都会失败),然后再将文件转移过来。
3、问题解决后,请重装系统,减少权限,做最强的安全防护工作,完毕后,建议自己下载最强版的webshell对网站进行漏洞扫描,然后再一点点打补丁。
蜘蛛劫持问题的解决方法如果发现自己的网站有被蜘蛛劫持的问题,第一时间检查自己的网站空间中是否存在木马文件,一般情况下都是这种global.asa,这个时候就要把这个文件名字重命名,这个时候这个木马程序就不会被别人控制了,因为这种木马文件我们是删除不掉的,只有空间商才有权限删除。木马文件重命名后在让空间商帮忙删除这个木马文件。
蜘蛛劫持问题的解决方法是第一时间检查自己的网站空间中是否存在木马文件,一般情况下都是这种global.asa ,这个时候就要把这个文件名字重命名,这个时候这个木马程序就不会被别人控制了,因为这种木马文件我们是删除不掉的,只有空间商才有权限删除。木马文件重命名后在让空间商帮忙删除这个木马文件。