• <ins id="jrqux"><video id="jrqux"></video></ins>
  • <ins id="jrqux"><option id="jrqux"></option></ins>
    1. <ins id="jrqux"><option id="jrqux"></option></ins>

      <tr id="jrqux"></tr>

      robots.txt在線(xiàn)生成

      默認 - 所有機器人是:
      檢索間隔:
      Sitemap: (留空為無(wú))
      普通搜索機器人: Google
      googlebot
      Baidu
      baiduspider
      MSN Search
      msnbot
      Yahoo
      yahoo-slurp
      Ask/Teoma
      teoma
      Cuil
      twiceler
      GigaBlast
      gigabot
      Scrub The Web
      scrubby
      DMOZ Checker
      robozilla
      Nutch
      nutch
      Alexa/Wayback
      ia_archiver
      Naver
      naverbot, yeti
      特殊搜索機器人: Google Image
      googlebot-image
      Google Mobile
      googlebot-mobile
      Yahoo MM
      yahoo-mmcrawler
      MSN PicSearch
      psbot
      SingingFish
      asterias
      Yahoo Blogs
      yahoo-blogs/v3.9
      限制目錄: 路徑是相對的,但每個(gè)路徑之前都要包含:"/"

      什么是robots.txt文件

      • robots.txt(統一小寫(xiě))是一種存放于網(wǎng)站根目錄下的文本文件,它通常告訴網(wǎng)絡(luò )搜索引擎的漫游器(又稱(chēng)網(wǎng)絡(luò )蜘蛛),此網(wǎng)站中的哪些內容是不應被搜索引擎蜘蛛獲取的,哪些是可以被(蜘蛛)獲取的。
      • 因為一些系統中的URL是大小寫(xiě)敏感的,所以robots.txt的文件名應統一為小寫(xiě)。robots.txt應放置于網(wǎng)站的根目錄下。
      • 如果想單獨定義搜索引擎的漫游器訪(fǎng)問(wèn)子目錄時(shí)的行為,那么可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據。
      • robots.txt協(xié)議并不是一個(gè)規范,而只是約定俗成的,所以并不能保證網(wǎng)站的隱私。注意robots.txt是用字符串比較來(lái)確定是否獲取URL,所以目錄末尾有與沒(méi)有斜杠“/”表示的是不同的URL。robots.txt允許使用類(lèi)似"Disallow: *.gif"這樣的通配符。
      • Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范,基于以下原則建立:1、搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。

      robots.txt文件內容

      • 搜索引擎蜘蛛的是否可訪(fǎng)問(wèn)性或者說(shuō)可爬行性。
      • 搜索引擎蜘蛛針對目錄或者文件的可訪(fǎng)問(wèn)性。
      • 網(wǎng)站站點(diǎn)地圖sitemap路徑定義。
      • 搜索引擎蜘蛛爬行的時(shí)間間隔限制。

      關(guān)于robots.txt文件生成器

      • 通過(guò)web界面設置好要配置的數據, 點(diǎn)擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
      • 現在,你創(chuàng )建一個(gè)空白的文本文件,命名為:“robots.txt”,然后把上面的內容,復制并粘貼到“robots.txt”中去。
      • 把“robots.txt”放在你網(wǎng)站的根目錄,訪(fǎng)問(wèn)robots.txt,確保他能讓訪(fǎng)問(wèn)者(如搜索引擎)訪(fǎng)問(wèn)到。

      您最近使用了:

      收藏 菜單 QQ
      337p粉嫩日本欧洲亚洲大胆_国产99视频精品免费专区_国产精品亚洲专区无码破解版