robots.txt是一個(gè)純文本文件，是搜索引擎訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。每個(gè)站點(diǎn)最好建立一個(gè)robots.txt文件，對(duì)網(wǎng)站SEO優(yōu)化有很很好的作用。

　　每當(dāng)搜索蜘蛛來(lái)尋找并不存在的robots.txt文件時(shí)，服務(wù)器將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt(即使這個(gè)robots.txt文件只是一個(gè)空文件)。

　　robots.txt的寫(xiě)法(語(yǔ)法)

　　1)User-agent: 該項(xiàng)的值用于描述搜索引擎蜘蛛的名字。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效。

　　2)Disallow: 該項(xiàng)的值用于描述不希望被訪問(wèn)到的一個(gè)URL，一個(gè)目錄或者整個(gè)網(wǎng)站。以Disallow開(kāi)頭的URL 均不會(huì)被搜索引擎蜘蛛訪問(wèn)到。任何一條Disallow記錄為空，說(shuō)明該網(wǎng)站的所有部分都允許被訪問(wèn)。

　　3)用法舉例：

　　網(wǎng)站目錄下所有文件均能被所有搜索引擎蜘蛛訪問(wèn)

　　User-agent: *

　　Disallow:

　　禁止所有搜索引擎蜘蛛訪問(wèn)網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　禁止所有的搜索引擎蜘蛛訪問(wèn)網(wǎng)站的幾個(gè)目錄

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　禁止搜索引擎蜘蛛訪問(wèn)目錄a和目錄b

　　User-agent: Googlebot

　　Disallow:

　　只允許某個(gè)搜索引擎蜘蛛訪問(wèn)

　　您應(yīng)該限制網(wǎng)站某些文件不被蜘蛛抓取。

　　一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。