聲明：本網(wǎng)站由東莞網(wǎng)站建設(shè)網(wǎng)站編輯原創(chuàng)，如果您本文感興趣，敬請保留文章內(nèi)部鏈接，否則，本站將會以侵權(quán)進行處理。
1. 一般來說，谷歌和百度的搜索引擎的蜘蛛都是遵循 robots.txt 給出的規(guī)則來在你的網(wǎng)站上爬行，robots協(xié)議規(guī)定搜索引擎進入你網(wǎng)站的入口就是該網(wǎng)站的 robots.txt文件，但有一個前提是該robots.txt文件必須存在。如果你的網(wǎng)站沒有定義robots.txt文件，那么會是一個什么情況呢？
顯然蜘蛛會被重定向至 404 錯誤頁面，很多seoer的經(jīng)驗，假設(shè)你的網(wǎng)站自定義了 404 頁面，那么蜘蛛會把其視作 robots.txt，所以從這里可以看出，沒有robots.txt文件的網(wǎng)站會給蜘蛛索引網(wǎng)站帶來非常大的困擾，從而影響搜索引擎收錄你的網(wǎng)站頁面內(nèi)容。
2. robots.txt 第二個好處是可以限止不需要的搜索引掣來你的網(wǎng)站爬行，以緩解服務(wù)器的寶貴帶寬資源，如郵件服務(wù)器、Erp服務(wù)器，這類服務(wù)對搜索引擎是沒有任何意義的；比如淘保網(wǎng)站就用robots限止了蜘蛛的爬行。
3. 如果我的網(wǎng)站有些文件是非公開的，那么我可以用robots.txt做說明，不讓搜索引掣來爬行，比如我們網(wǎng)站的后臺管理程序，實際上，一些在運行中產(chǎn)生臨時頁面的網(wǎng)站，假設(shè)沒有在robots.txt進行說明，搜索引擎都會去索引那些臨時文件。
4. 如果你的網(wǎng)站內(nèi)容，有很多很多的頁面，，那么配置 robots.txt 是必須的，原因是很多時候蜘蛛洪水般的訪問會給網(wǎng)站造成巨大的壓力，假設(shè)你不用robots來控制，有可能會造成你的網(wǎng)站拒絕訪問。
5.一個網(wǎng)站一般主題是相關(guān)的，那么不可避免地會產(chǎn)生很多頁面比較相似的內(nèi)容，對于搜索引掣來說，頁面相似度太高，它可能會給你處罰，那么利用robots.txt限制某些頁面不補收錄就可以很好地幫你解決這個問題。
robots.txt 的風險及應(yīng)對辦法：
1. 任何事情有好的一面也有不好的一面，robots.txt 在給網(wǎng)站帶來以上好處的同時也會存在一定的風險：第一就是給那些不懷好意思的攻擊者指明了你網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)所在的位置，雖然現(xiàn)在我們的服務(wù)器安全提高了好多，但任何事情我們都要做到防范于未然。
比如說，我的網(wǎng)站中的私密數(shù)據(jù)通過這個地址ahshengyuan.cn/private/index.html# 訪問，在 robots.txt 中的設(shè)置我是這么設(shè)置的：
User-agent: *
Disallow: /private/
robots.txt文件很明顯地指出了你要隱藏的內(nèi)容在哪里，在瀏覽器中輸入ahshengyuan.cn/private/# 便可訪問我們的私密內(nèi)容。
那么我們要怎么解決這個問題呢?
a.對/private/目錄設(shè)置訪問權(quán)限，比如密碼保護。
b.將目錄下的默認的主頁面更名為如：123-protect.html，與此同進，再設(shè)計一個新的index.html 文件，頁面內(nèi)容可以寫“不好意思，你沒有權(quán)限訪問此頁”。
2. 不小心將robots文件設(shè)置錯誤，可能會導(dǎo)致你已經(jīng)被收錄的數(shù)據(jù)會被搜索引掣給刪除。如：
User-agent: *
Disallow: /
以上兩行代碼的意思就是不讓任何搜索引擎索的蜘蛛來網(wǎng)站收錄，更多建站資訊請關(guān)注卓越邁創(chuàng)。
