6、什么是Robots？Robots.txt文件放在哪里?

發(fā)布時間:2019-11-12 19:49:23   瀏覽人數(shù): 13578 次  

答：搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。

可以在網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內容。

robots.txt文件應該放在網(wǎng)站根目錄下。舉例來說，當robots訪問一個網(wǎng)站（比如http://www.abc.com）時，首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內容，來確定它訪問權限的范圍。