Back to Question Center
0

Semalt:阻止访问您的网站内容Meta标签和Robots.txt文件

1 answers:
(0)(1)(2)(3)(4)(5)(2)(7)(8)(9)客户成功经理(10)Semalt(5)的Jason Adler表示,当您保持数据安全并且不在互联网上共享时,可以控制与Bing,Yahoo和Google共享的内容。您需要保密的数据包括联系信息,PayPal ID,信用卡详细信息,用户名和密码。您应该阻止这类信息在Google和其他搜索引擎中被索引。当涉及到阻止您网站的网址时,您可能会阻止Google和其他搜索引擎抓取某些网页或文章。这意味着当用户浏览搜索结果时,他们不会看到并导航到已被阻止的网址。此外,他们将无法访问其内容,并且可以阻止在Google搜索结果中看到大量文章。以下是如何阻止访问您的网站内容:(12)(9)(14)使用元标记阻止搜索索引:(15)当您在网站的HTML代码中使用非索引元标记时,您可以轻松地阻止网页出现在搜索引擎中。 Googlebot会抓取没有此元标记的网页,并会因为搜寻结果而放弃您的特定网页。让我们在这里告诉你,只有当你的robots.txt文件没有被改变时,这个meta标签才能工作。 (12)(9)(14)阻止包含robots.txt文件的网址:(15)Robots.txt文件位于您网站的根目录,并指出您不希望搜索引擎抓取工具和蜘蛛索引的部分。它使用机器人排除标准,这是一个协议,其中包含一组命令,用于指示网络抓取工具在何处以及如何访问您的网站。机器人。.txt还有助于防止图像出现在搜索结果中,但不会禁止用户将您的网站链接到自己的网页。在编辑之前,请牢记robots.txt文件的限制和限制。有些机制确保URL被正确阻止。 robots.txt的说明是指令,这意味着他们不能强制执行网络爬虫的行为。所有抓取工具都以自己的方式解释语法,而robots.txt文件不能阻止引用其他网站的链接。 Google很高兴遵循robots.txt文件的指示,但由于其政策,搜索引擎可能无法为被阻止的网站建立索引。 (12)(9)(14)选择退出Google本地和Google属性:(15)您可以阻止您的内容在索引后显示在不同的Google属性中。这包括Google本地,Google Flights,Google购物和Google Hotels。当您选择退出在所有这些网点中显示时,您所抓取的内容将不会被列出或更新。任何在这些平台上显示的文章将在30天内被删除。(12)(2)(26)(8)(28)。结论:(29)(9)重要的是隐藏来自您的访问者的不太有价值和有用的内容。如果您的网站在多个地方有类似的主题,这可能会给搜索引擎和访问者留下负面印象。这就是为什么你应该隐藏所有这些页面,不要让搜索引擎索引它们。摆脱第三方的内容。您必须不惜任何代价去除对您的网站无价值的第三方内容。不要让Google看到您共享第三方的内容,因为在这种情况下,搜索引擎会在您的网站上看到较少的价值。当您从大量网站复制内容时,Google可能会惩罚您,您可以阻止重复的文章来改善您的Google等级。(8)(8)
November 30, 2017
Semalt:阻止访问您的网站内容Meta标签和Robots.txt文件
Reply