国产综合色产精品|国产精品无码aV在线|亚洲无码手机在线观看|为您推荐欧美久久免费精品|精品无码卡通视频一区二区|欧美成人手机视频免费播放|欧美vs日韩vs国产在线观看|久久精品国产97欧美精品亚洲

Robots文件放在網(wǎng)站的根目錄下，主要用于通知在seo可以在這個(gè)文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分，或者指定搜索引擎只收錄特定的部分。

一、robots.txt文件的作用：

1、屏蔽網(wǎng)站內(nèi)的死鏈接。

2、屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁(yè)面。

3、阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。

網(wǎng)站中重復(fù)的內(nèi)容、頁(yè)面或者404信息過(guò)多，搜索引擎蜘蛛就會(huì)認(rèn)為該網(wǎng)站價(jià)值較低，從而降低對(duì)該網(wǎng)站的“印象分”，這就是我們經(jīng)常聽到的“降低權(quán)重”，因此通過(guò)建立robots.txt文件給蜘蛛指路是很有必要的。

二、經(jīng)常使用到robots文件的情況

網(wǎng)站升級(jí)

老版本的很多頁(yè)面在新版本網(wǎng)站中去掉了，在這種情況下，可以通過(guò) Robots文件告訴蜘蛛不再抓取這些已經(jīng)去掉的頁(yè)面。

網(wǎng)站存在很多重復(fù)的內(nèi)容

比如一個(gè)網(wǎng)站同時(shí)存在動(dòng)態(tài)頁(yè)面和已經(jīng)經(jīng)過(guò)靜態(tài)化處理的頁(yè)面，這些頁(yè)面在內(nèi)容上都是完全重復(fù)的內(nèi)容，為了解決重復(fù)的問(wèn)題，可以在Robots文件中禁止蜘蛛抓取動(dòng)態(tài)頁(yè)面。

網(wǎng)站內(nèi)部有些內(nèi)容不便于公開發(fā)布，但是需要允許內(nèi)部查閱。遇到這種情況，可以在Robots中告訴蜘蛛不要抓取。

三、robots.txt文件注意事項(xiàng)：

1、必須放置在一個(gè)站點(diǎn)的根目錄下；

2、文件名必須全部小寫；

3、最好是UTF-8編碼。

四、robots.txt寫作語(yǔ)法

允許所有的robot訪問(wèn) 

User-agent： * 

Disallow： 

或者也可以建一個(gè)空文件 "/robots.txt" 

禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分 

User-agent： * 

Disallow： / 

禁止所有搜索引擎訪問(wèn)網(wǎng)站的幾個(gè)部分（下例中的01、02目錄） 

User-agent： * 

Disallow： /01/ 

Disallow： /02/