主營業(yè)務:網(wǎng)站制作 網(wǎng)站優(yōu)化 小程序制作 石家莊網(wǎng)站制作網(wǎng)站建設有限公司歡迎您!
石家莊閃云網(wǎng)絡科技有限公司
客服熱線15383239821
如何讓自己的網(wǎng)站更有質量?

怎么使用robots.txt控制搜索引擎抓取文章

發(fā)布時間:2010/7/20 22:49:04

搜索引擎數(shù)據(jù)庫中的所有網(wǎng)頁,都是由Robot程序自動抓取收錄的。但我們網(wǎng)站上總會有部分私密性數(shù)據(jù)不希望被搜索引擎抓取,這時候,就需要robots.txt。

  robots.txt 是一個標準文檔,意在阻止搜索引擎的Spider(蜘蛛)從您的 Web 服務器下載某些或全部信息,控制Spider的搜索范圍。robots.txt的設置很簡單,只要用記事本或其他文本編輯器,依照自己的網(wǎng)站需求,設定一系列選項,然后將其上傳到網(wǎng)站根目錄即可。robots.txt的設置如下:

User-agent: 搜索引擎的spider代號
Disallow: 輸入數(shù)據(jù)夾或文件名的路徑

  如設定所有的spider都能夠搜索及抓取整個網(wǎng)站。

User-agent: *
Disallow:

  如拒絕Google搜索及抓取整個網(wǎng)站,但允許其它的

User-agent: Googlebot
Disallow:

  如拒絕所有的Spider

User-agent: *
Disallow: /

  如拒絕所有的Spider搜索及抓取protect目錄及seo目錄下abc.html文件

User-agent: *
Disallow: /protect/
Disallow: /seo/abc.html

  如拒絕google搜索及抓取protect目錄及seo目錄下abc.html文件,但允許其他的

User-agent: Googlebot
Disallow: /protect/
Disallow: /seo/abc.html

  很簡單吧?另有一點請記住,搜索引擎不會立即對robots.txt 文件所作的更改作出反應,必須等到搜索引擎下一次讀取該文件。這段時間,依搜索引擎及具體網(wǎng)站情況,從幾小時到幾天不等。

下一篇: js字符串截取

相關新聞推薦

在線客服 : 服務熱線:15383239821 電子郵箱: 27535611@qq.com

公司地址:石家莊市新華區(qū)九中街江西大廈4062

備案號:冀ICP備2022000585號-4