MegaIndex.ru蜘蛛是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，官网：http://MegaIndex.ru，并没有什么作用。遵循robots协议。
可以通过robots.txt协议选择禁止。
User-agent: MegaIndex.ru
Disallow: /
MegaIndex.ru蜘蛛是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，官网：http://MegaIndex.ru，并没有什么作用。遵循robots协议。
可以通过robots.txt协议选择禁止。
User-agent: MegaIndex.ru
Disallow: /
百度蜘蛛
360蜘蛛
搜狗蜘蛛
神马蜘蛛
雅虎中国蜘蛛
必应蜘蛛
有道蜘蛛
即刻搜索
腾讯搜搜蜘蛛
宜搜蜘蛛