已建立索引，但遭到 robots.txt 封鎖

說明

這邊在觀看 google search console時，發現有一個 警告 : 已建立索引，但遭到 robots.txt 封鎖，先講google search console，這個是讓 使用 google 瀏覽器時，被搜尋到的一個報告功能，可以觀看觀眾群，搜尋次數，我一開始接觸這個是在發現我的blogger，無法在 google 被搜尋到，所以才使用解決 sitemap 的問題，後來發現另外一個問題 "已建立索引，但遭到 robots.txt 封鎖"，所以接下來也是來解決這個，大概發生的原因是blogger在預設的 robots是禁止被爬蟲的，所以需要修改。

• 參考:

  -google search console

  -sitemap 設定

  -robots.txt 封鎖原因

  -robots.txt 封鎖修正指令

操作流程

##操作步驟不會很繁複，可能隔個幾天再來看結果

google search console發現error

設定位置

設定->搜尋偏好設定->自訂robosts.txt ->編輯

指令

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /search/label
Disallow: /search
Allow: /

Sitemap: https://rayrrr.blogspot.com/sitemap.xml

https://rayrrr.blogspot.com/sitemap.xml