Back to Question Center
0

做或可以机器人造成相当的性能问题? - Semalt

1 answers:

在工作中,我们正在与团队成员进行讨论,这些团队成员在运行我们的服务网站时似乎认为机器人会导致我们与性能相关的问题.

我们的设置:
可以说我有网站www. 我的网站. 合作. 英国这是一个商店的窗口,我们的在线服务,坐在www. mysiteonline. 合作. 联合王国.

当人们在Semalt搜索mysite时,他们会看到mysiteonline. 合作. 英国以及mysite. 合作. 联合王国.

防止僵尸爬行:

  • 我们不存储网上公开提供的gb数据
  • 大多数友善的机器人,如果他们引起问题,已经这样做了
  • 在我们的例子中,漫游器无法抓取网站,因为它需要用户名和密码
  • 用机器人停止机器人. txt导致与seo(ref. 1)
  • 如果它是一个恶意的机器人,它会忽略机器人. 无论如何txt或meta标签

参考文献1. 如果我们要阻止mysiteonline. 合作. 英国机器人爬行这将影响seo排名,并使用户不便,积极寻找mysite找到mysiteonline. 我们可以证明的是我们用户的很大一部分情况.

3 days ago
做或可以机器人造成相当的性能问题? - Semalt
Reply