<cite id="kzayn"><li id="kzayn"></li></cite>

  1. <b id="kzayn"></b>

  2. <nav id="kzayn"><tr id="kzayn"><meter id="kzayn"></meter></tr></nav>
      <nav id="kzayn"><dl id="kzayn"></dl></nav>
        <delect id="kzayn"><tr id="kzayn"></tr></delect>

          獵盾網絡|周口網站建設優化公司

          WordPress網站如何利用robots.txt去進行搜索引擎優化

          本篇文章談一談robots.txt這個文件的作用及其具體用法,這個對于一個做網站優化的童鞋來說,是必須知道的額!下面就來具體看看 robots 這個文件具體有哪些用法以及他在網站優化中能起到什么作用吧!

          robots.txt基本介紹

          robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容,注意這是一個針對搜索引擎的一個文件。

          當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。

          另外,robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

          robots.txt寫作語法

          首先,我們來看一個robots.txt范例:http://www.or4vw.com/robots.txt

          訪問以上具體地址,我們可以看到robots.txt的具體內容如下:

          User-agent: *
          Allow: /
          #下列目錄除外
          Disallow: /wp-admin/
          Disallow: /wp-includes/
          Disallow: /wp-content/

          以上文本表達的意思是允許所有的搜索機器人訪問www.wpyou.com站點下的除了 wp-admin/,wp-includes/,wp-contents 這幾個目錄外其他的所有文件。

          具體語法分析:其中#后面文字為注釋說明信息;User-agent:后面為搜索機器人的名稱,后面如果是*,則泛指所有的搜索機器人;Disallow:后面為不允許訪問的文件目錄。

          下面,我將列舉一些robots.txt的具體用法:

          允許所有的搜索引擎訪問網站所有的部分的robot寫法:

          User-agent: *
          Disallow:

          或者也可以建一個空文件 robots.txt 文件,功能同上。

          禁止所有搜索引擎訪問網站的任何部分的robots寫法:

          User-agent: *
          Disallow: /

          禁止所有搜索引擎訪問網站的某幾個部分(下例中的01、02、03目錄)的robots寫法:

          User-agent: *
          Disallow: /01/
          Disallow: /02/
          Disallow: /03/

          禁止某個搜索引擎的訪問(如下例中禁止百度引擎抓?。┑膔obots寫法:

          User-agent: Baiduspider
          Disallow: /

          注意:以上寫法只禁止了百度搜索引擎的抓取,其他搜索引擎還是可以來抓取的。

          只允許某個搜索引擎的訪問(如下例中只允許谷歌搜索引擎抓取站點內容)的robots寫法:

          User-agent: Googlebot
          Disallow:
          User-agent: *
          Disallow: /

          禁止搜索引擎抓取自己網站圖片(禁止圖片抓?。┑膔obots寫法:

          User-agent: *
          Disallow: .jpg$
          Disallow: .jpeg$
          Disallow: .gif$
          Disallow: .png$
          Disallow: .bmp$

          如果你的網站有動態和靜態兩種形式的網頁,你只允許抓取靜態頁面(禁止動態頁面)的robots寫法:

          User-agent: *
          Disallow: /*?*

          下面順便將各大搜索引擎的蜘蛛的名字分享一下(這里僅列舉中國國內比較常用的一些搜索引擎):

          google蜘蛛:Googlebot
          百度蜘蛛:Baiduspider
          搜狗蜘蛛:sogou spider
          360蜘蛛:360Spider
          yahoo蜘蛛:Yahoo!slurp
          alexa蜘蛛:ia_archiver
          bing蜘蛛:MSNbot
          Soso蜘蛛:Sosospider
          Google Adsense蜘蛛:Mediapartners-Google
          有道蜘蛛:YoudaoBot

          發表評論

          国产乱女婬AV麻豆国产_色欲av蜜臀一区二区三区_av中文在线_久久久久狠狠高潮亚洲精品

          <cite id="kzayn"><li id="kzayn"></li></cite>

          1. <b id="kzayn"></b>

          2. <nav id="kzayn"><tr id="kzayn"><meter id="kzayn"></meter></tr></nav>
              <nav id="kzayn"><dl id="kzayn"></dl></nav>
                <delect id="kzayn"><tr id="kzayn"></tr></delect>