robots.txt寫法
類別：疑難解答 | 更新時間：2012-10-16 13:42:59 | 人氣值：
robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第①個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 當(dāng)一個搜索蜘蛛訪問一個站點(diǎn)時，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。
關(guān)鍵字： robots.txt寫法
關(guān)鍵字： robots.txt寫法
全國咨詢熱線：400-0538-987
郵箱：xingji@tsxjw.cn
網(wǎng)址：www.blauerbiber.com
地址：泰安市新華城國際廣場B1座寫字樓4樓
