Back to Question Center
0

Semalt专家在网站数据刮 - 好和坏机器人

1 answers:

网页抓取已经存在了很长时间,网站管理员,记者,自由职业者,程序员,非程序员,市场研究人员,学者和社交媒体专家。有两种类型的机器人:好的机器人和坏的机器人。好的机器人使搜索引擎能够对网页内容进行索引,并被市场专家和数字营销人员给予高度的偏好。另一方面,糟糕的机器人却毫无用处,目的是破坏网站的搜索引擎排名。网络抓取的合法性取决于您使用的机器人类型。

例如,如果您使用的恶意机器人从不同的网页上获取内容并意图非法使用,则网页内容的抓取可能是有害的。但是,如果您利用好机器人,避免包括拒绝服务攻击,在线欺诈,竞争性数据挖掘策略,数据盗窃,帐号劫持,未经授权的漏洞扫描,数字广告欺诈以及盗取知识产权等有害活动,那么网络抓取程序是好的,有助于在互联网上发展您的业务。

不幸的是,大多数自由职业者和创业者喜欢糟糕的机器人,因为他们是一种便宜,强大而全面的方式来收集数据,而不需要任何伙伴关系。不过,大公司利用合法的网络刮板来获取收益,而不想用非法的网络刮板来毁掉他们在互联网上的声誉。关于网络诈骗的合法性的一般看法似乎并不重要,因为在过去的几个月中,联邦法院系统正在越来越多地打击越来越多的非法网络诈骗策略。

早在2000年,网络抓取就开始成为一个非法的过程,当时使用机器人和蜘蛛来抓取网站被认为是无稽之谈。.在2010年之前,没有太多的做法被用来阻止这个程序在互联网上的传播.eBay第一次对Bidder's Edge提出了初步的禁令,声称在网站上使用僵尸程序已经违反了Chattels法律的非法入侵。法院很快就批准了禁令,因为用户必须同意网站的条款和条件,并且大量的僵尸程序被停用,因为它们可能会破坏eBay的电脑机器。这场诉讼很快就被解决了,eBay也阻止了所有人使用机器人进行网络诈骗,无论他们是好还是坏。

2001年,一家旅行社借助有害的蜘蛛和坏机器人,起诉了从网站上抄袭其内容的竞争对手。法官再次采取措施打击黑社会性质组织,帮助受害者,说网络诈骗和使用机器人可能会损害各种网上业务。

现在,对于学术,私人和信息的整合,很多人依赖公平的网络抓取程序,并且在这方面开发了很多网络抓取工具。现在的官员说,并不是所有这些工具都是可靠的,但是付费或高级版本的工具比免费的网页刮板要好。

2016年,国会通过了第一个立法,针对坏机器人,并赞成机器人。更好的在线票务销售(BOTS)法案的成立,禁止使用非法软件,可以针对网站,破坏他们的搜索引擎排名和摧毁他们的业务。这是公平的问题。例如,LinkedIn已经花费了大量资金来阻止或消除不良机器人,并鼓励好的机器人。由于法院一直试图判定网络诈骗的合法性,这些公司正在窃取他们的数据。

December 7, 2017
Semalt专家在网站数据刮 - 好和坏机器人
Reply