robots文件作用和寫(xiě)法

1、Robots.txt文件是什么：首先seo博客要和大家弄清楚robots.txt的概念題目，帶有txt后綴的

文件是純文本文檔，robots是機器人的意思，也就是說(shuō)，robots.txt文件是給搜索引擎蜘蛛看的純文本

文件。它告訴搜索引擎哪些網(wǎng)頁(yè)許可抓取、索引并在搜索效果中表現，哪些網(wǎng)頁(yè)是被禁止抓取的。搜索

引擎蜘蛛來(lái)訪(fǎng)問(wèn)你的網(wǎng)站頁(yè)面的，首先會(huì )查看網(wǎng)站根目錄下是否有robots.txt文件，robots.txt文件就

是起到這個(gè)作用的。我們都知道淘寶網(wǎng)是屏蔽百度的，靠的就是robots.txt文件。文件是如許書(shū)寫(xiě)的：

User-agent:
Baiduspider Disallow: / User-agent: baiduspider Disallow: /
　　2、robots.txt的作用：通過(guò)設置屏蔽搜索引擎，使之不需要頁(yè)面被收錄，可以大大降低抓取頁(yè)面

所占用的網(wǎng)站帶寬，大型網(wǎng)站尤為顯明了。設置robots.txt文件可以指定某個(gè)搜索引擎不去索引不想被

收錄的URL，比如我們通過(guò)url重寫(xiě)將動(dòng)態(tài)URL靜態(tài)化為永世固定鏈接，就可以通過(guò)robots.txt設置權限

，阻止某些搜索引擎索引那些動(dòng)態(tài)網(wǎng)址，網(wǎng)站重復頁(yè)面將削減，有利于seo優(yōu)化。
　　3、robots.txt 怎么寫(xiě)：下面以WordPress博客來(lái)作舉例。如robots.txt文件里寫(xiě)入以下代碼：

User-agent: *
Disallow: Allow: /
robots.txt寫(xiě)法中應該細致的幾點(diǎn)。1、robots.txt必須上傳到網(wǎng)站根名錄下，不能放在子目錄下;2、

robots.txt，Disallow等必須細致大小寫(xiě)，不能轉變;3、User-agent，Disallow等后面的冒號必須是英

文狀況下的。
    4、User-agent是透露表現搜索引擎(spider)的：星號“*”代表所有spider