怎么正确引导百度蜘蛛？

有没有遇到过这样的问题:SEO时服务器访问的CPU利用率接近100%，页面加载极其缓慢，好像DDOS攻击时就是这样。

过了一段时间，我才知道，原来我的目标网站经常被不相干的“爬虫”抓取，这对一个小网站来说是灾难。

所以我们在做网站优化的时候，一定要有选择的正确引导具体的蜘蛛。

那么如何对付恶意的“蜘蛛”呢？
1.搜索引擎爬虫。
就国内的朋友来说，我们都知道在做SEO的过程中，最常面对的就是搜索引擎爬虫，比如百度蜘蛛。此外，我们还会遇到各种搜索引擎爬虫，比如:
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬行动物。

如果你不是故意配备robots.txt文件，理论上来说，你所有的目标页面都是可以抓取和爬取的，但是对于一些中小型网站来说，有时候会严重消耗你自己的服务器资源。

这时候大家一定要有选择的、有效的、正确的引导，尤其是一些比较尴尬的问题，比如:你期望Google减少网站的抓取，但是你不能完全屏蔽。你大概要有一些提示，比如:对于特定的爬虫访问，反馈是不一样的。文章列表:
①操作更新频率列表。
②反馈大量重复性，内容农场页面。
③一种类似③Flash的“蜘蛛陷阱”。
④如何调整对方的SEO管理平台，从而适度调整抓取评论。
虽然，这样的对策可能会对网页的信用等级造成损害，但这是我能想到的。对于不想频繁爬行，但又必须有效控制爬虫的蜘蛛来说，是一种相对“有效”的爬行方式。

2.链接分析爬虫
目前一款SEO外链分析管理工具，每天都要花费大量的服务器资源去抓取和检查网页到各个网站的链接。
对于一些资源密集型的网站，一天能爬上千次。这样的爬虫很常见。
如果你不希望你的网站参与其中，那么一个非常简单的解决方案就是在robots协议中使用完全封闭的爬虫。

3.内容收集爬网程序。
但是，当我们面对一些恶意的内容采集爬虫时，我们会相对尴尬。对方一般会选择“看不见”的状态，比如模仿著名搜索引擎蜘蛛的名字。
针对这类问题，我们只能手动辨别对方庐山真面目，比如用IP通用解析指令辨别真假。

①Linux平台:hostip
②寡妇平台:nslookupIP
这样才能区分对方解析的地址是否是对应的搜索引擎域名。

4.蜘蛛池中的爬行动物。
现在市面上做百度蜘蛛池的人很多，其关键目的是帮助更多的网页做百度快速索引。但是，一些随机下载的蜘蛛池程序在设计上并不标准。
不能有效抓取和限制不同的蜘蛛，往往会导致大量的服务器资源，并且非常容易被服务商关闭。
如果你想用这种策略来提高自己的网站百度，那么你可能要多加注意了。

SEO是一项细致的工作，每一个对策都会危及到整个站的运营。以上内容只是简单说说，适用于中小型站长，仅供参考。

如果你在SEO领域待久了，很可能会添加各种SEO相关的社区。在长期的“埋伏”过程中，往往会有意想不到的收获，比如一些不为人知的SEO小技巧。
从今天开始，我们知道建立一个外链是相对困难的，所以一些SEO专家不走寻常路，逐渐探索另一种可能:利用常见的引用来创建一个外链。
但是，其实SEO工作人员总喜欢翻旧账，而且是SEO比较早的一个术语，现在也反复被提及。

共引真的有利于SEO吗？
什么是共引SEO？
说白了，常见引用的关键是搜索引擎确定网页相关性的过程。一般是为了区分一个网页是否与b网页潜在相关，而不是基于链接。

一般来说，共引SEO有两个版本:
①如果网站A和B都是网站C的共同引用，搜索引擎会认为网站C具有一定的相关性和权威性(前提条件A和B都是相关的)。
②比如网站C根据内链指向网站A和网站B，搜索引擎会认为网站A和网站B相关性很高。

两个例子的联合介绍是现阶段最常见的话题讨论。百度搜索熊掌号刚发布的时候，根据区块链版权技术的发展，对方在当时的发展策略上首选①版。可以说是原创者的福音，但众所周知，这个方案早已搁浅。但这并不影响大家对SEO的好奇。

然而，现在在一起引用SEO仍然存在很多问题，比如:
1.作弊。
不管以上两个版本的共同引用，都有一个简单的欺骗对策，就是用很多站来模拟真实客户形成的共同引用。
虽然优化算法可以区分一些网站的质量和相关性，但是对于被广泛引用的网站的真实性还是有很多漏洞。

2.同IP。
说到共引，让我想起一个类似的情况，就是同一个IP域名，同一个IP有很多网站。这类网站的质量和相关性都很强，不一致，甚至有些内容是违法的。
所以对于同样IP的其他网站，像一般SEO，其真实性会大打折扣。

3、AIO
随着AI技术的不断发展，针对特定垂直行业的机器学习其实可以在短时间内快速掌握某个领域的词义相关性。
因此，产生了许多高质量的内容。面对这种情况，常见的引用似乎黯然失色，大家很难平衡两个网站引用的内容是写给真实客户的还是写给小机器人的。
所以大家认为共引理论还是有一个理想状态的。但随着区块链应用的发展，我认为根据搜索算法的研究，在不久的将来可能会有新的突破和改变。