我爱电脑技术论坛 » 网站建设 » 怎样使用robots.txt防止搜索引擎抓取页面

不和人说话 发表于 2008-4-7 00:26

怎样使用robots.txt防止搜索引擎抓取页面

Robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。 *m9w$Mx'C.ET

*q ZNa m[/\ 　　如何放置 Robots.txt 文件
l;F]N1_,m`6z
G:u M*|^t0n~C 　　robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效，因为漫游器只在域名的根目录中查找此文件。例如，[url]http://www.example.com/robots.txt[/url] 是有效位置，[url]http://www.example.com/mysite/robots.txt[/url] 则不是。e O1Iug/H

6blF"W7r+y4U 　　这里举一个robots.txt的例子：
#^dS%o?$~3y
*^2|;`~l&b?q 　　User-agent： *e!v5X-_iZ

4m)L;a+y;F9mm 　　Disallow： /cgi-bin/
IH9i[k v :~2i V2z.Au0C;q
　　Disallow： /tmp/
c^-gx
W j.P a~3Q#J;{ ]:m
　　Disallow： /~name/
bLA#\,jEK7jC d`'M'i
R}{,f
　　使用 robots.txt 文件拦截或删除整个网站
;b#A/IB&s"Z!B
4DD*V]2A!a,} 　　要从搜索引擎中删除您的网站，并防止所有漫游器在以后抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：
? [#X)Dl+D ^7o l{}:G4Ye)~4b7sQ
a
　　User-agent： *+X5BITF}3@*t-o
W @K vNo(f7J
　　Disallow： /'P,iS%_.tbte
:~+C;Cf4rA
　　要只从 Google 中删除您的网站，并只是防止 Googlebot 将来抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：ReBw"Av(H

9Q;EJJ!~)UR!A^ 　　User-agent： Googlebot

B`,@G1GXQ*{"[!k
i8|5n O/Tr4H 　　Disallow： /^
oFn1j8{6X0o r9O

Xf{&E;S 　　每个端口都应有自己的 robots.txt 文件。尤其是您通过 http 和 https 托管内容的时候，这些协议都需要有各自的 robots.txt 文件。例如，要让 Googlebot 只为所有的 http 网页而不为 https 网页编制索引，应使用下面的 robots.txt 文件。
*PcO+i*qZm
h2\xj9rUyk 　　对于 http 协议 （[url]http://yourserver.com/robots.txt[/url]）：sw?b+WqkE

3I(},xU/EL
X(Z5l:b 　　User-agent： *
kj#q;[t8~'O
$`3j5ky;mdW"x 　　Allow： /3Qf3J;sf$|#Hv ?R
TT"WB9|.@9k*m
　　对于 https 协议 （https：//yourserver.com/robots.txt）：7\T.sB,to r
:\ u#b#TJ0\D9m
　　User-agent： *p0[ ?Nm
c3@

$kUR3Z8{P*j 　　Disallow： /
d;DKDd#jg2S
m&C _SXe 　　允许所有的漫游器访问您的网页
T4\m3@0aR&k
+Nz5v"T!J9|+@9Zo 　　User-agent： *&S)U4Uc"xy

3QJ.uet? 　　Disallow：
@kzp+]1bC.z U&@\Wp!n
　　（另一种方法： 建立一个空的 "/robots.txt" 文件， 或者不使用robot.txt。） F#ck7e}i1y b2h

B5Cz z8t)K0K 　　使用 robots.txt 文件拦截或删除网页Rn&b Z'u/W0C'JM+D
+Y]+xPGAp6[-T,A
　　您可以使用 robots.txt 文件来阻止 Googlebot 抓取您网站上的网页。 例如，如果您正在手动创建 robots.txt 文件以阻止 Googlebot 抓取某一特定目录下（例如，private）的所有网页，可使用以下 robots.txt 条目：v~,{B.M9]0I
)p%x;y1U/[N
　　User-agent： Googlebot#G8~8Mw3u

myKVjgf 　　Disallow： /private-@8v$W7k"ilQ
@&N/u{Z
　　要阻止 Googlebot 抓取特定文件类型（例如，.gif）的所有文件，可使用以下 robots.txt 条目：
n6k2sV6x(k kJh2m'~![-Cj
　　User-agent： GooglebottFoUaYcv2i H
a;m'}k(Kqv/W
　　Disallow： /*.gif$
WDXa6x*g
KW
!KYRcp}Q 　　要阻止 Googlebot 抓取所有包含 ？ 的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串），可使用以下条目：nA|$Iy

X_'P1|{3Eo.p 　　User-agent： GooglebotA2O0ERc}KcA@+C

1TI|aA;`\q 　　Disallow： /*？
&P)Q
lW1tk:r
4R6It6X O6D 　　尽管我们不抓取被 robots.txt 拦截的网页内容或为其编制索引，但如果我们在网络上的其他网页中发现这些内容，我们仍然会抓取其网址并编制索引。因此，网页网址及其他公开的信息，例如指 向该网站的链接中的定位文字，有可能会出现在 Google 搜索结果中。不过，您网页上的内容不会被抓取、编制索引和显示。
hT)G;MWN Dj|*T2k&x:_
　　作为网站管理员工具的一部分，Google提供了robots.txt分析工具 。它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件，并且可为 Google user-agents（如 Googlebot）提供结果。我们强烈建议您使用它。 在创建一个 robots.txt 文件之前，有必要考虑一下哪些内容可以被用户搜得到，而哪些则不应该被搜得到。 这样的话，通过合理地使用 robots.txt ， 搜索引擎在把用户带到您网站的同时，又能保证隐私信息不被收录。

查看完整版本: 怎样使用robots.txt防止搜索引擎抓取页面