您好,歡迎來到分類目錄網!本站專注網站分類收錄,打造方便快捷的好站大全,分享精品網站導航展示,是深受廣大網友喜愛與支持的網站收錄與提交入口!
廣告聯系QQ:158925126當前位置:分類目錄網 » 站長資訊 » SEO優化 » 文章詳細 訂閱RssFeed

百度蜘蛛IP段詳解匯總

來源:CSDN整理 瀏覽:917次 時間:2019-05-06

  大家都知道百度蜘蛛(Baiduspider)爬蟲對網站的爬取對于網站的收錄和索引有很大幫助,甚至能夠快速在百度首頁通過關鍵詞搜索直達您的網站,但也并不是所有的百度蜘蛛都是對權重有幫助的,但是了解百度蜘蛛的爬行對于我們了解網站的還是非常有幫助,特別是對于做網站SEO優化,能夠制定更合適的優化方案。

要了解百度蜘蛛就要學會進行網站日志分析,因為網站的每一個正常訪問都會留下被網站日志記錄下來,下面一起邊分析日志邊列舉了百度不同IP段常見蜘蛛的一些情況介紹,及所謂的降權蜘蛛,沙盒蜘蛛,高權重蜘蛛說明等等。

  百度蜘蛛(Baiduspider)爬取

  是搜索引擎獲得頁面內容的一個重要的途徑,通過蜘蛛的抓取可以得到一個頁面的最主要的內容從而收錄百度數據庫系統,每次抓取之后都會再與數據庫原有的信息進行比對,來確定頁面的總體質量。

  那么,每當蜘蛛來抓取的時候都會被網站日志文件記錄下來,具體包括抓取時間,抓取的頁面以及蜘蛛來路IP地址,上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度,從側面也反映出整個網站不同頁面的權重值,通過自己一系列的分析,可以較為準確的評估整站的權重分布,對于seo、文章內容價值、用戶體驗都起到很好的參考價值。

  經常聽到站長們問,百度蜘蛛是什么?最近百度蜘蛛來的太頻繁服務器抓爆了,最近百度蜘蛛都不來了怎么辦,還有很多站點想得到百度蜘蛛的IP段,想把IP加入白名單,但IP不固定,我們無法對外公布。

  那怎么才能識別正確的百度蜘蛛呢?來來來,只需兩步,教你正確識別百度蜘蛛

  1、查看UA,如果UA都不對,可以直接判斷非百度搜索的蜘蛛,目前對外公布過的UA是:

  移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移動UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  2、反查IP

  站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:

  1)、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  2)、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  3)、 在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  下面的百度蜘蛛IP造訪,準備抓取你東西,抓取網頁的百度蜘蛛。

  60.172.229.61

  61.129.45.72

  61.135.162.*

  百度競價蜘蛛

  61.135.165.134

  117.34.74.66

  118.122.188.194

  119.63.196.9

  125.39.78.185

  (百度聯盟爬蟲),說白了就是百度統計。

  61.135.186.*

  站長工具模仿的百度蜘蛛。

  61.147.98.146

  61.188.39.16

  113.98.254.245

  117.21.220.245

  117.28.255.42

  114站長工具箱(這個是你的網站不穩定時常來的)

  119.147.114.213

  121.10.141.*

  百度圖片爬蟲

  123.15.**.**

  這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。

  123.125.68.*

  抓取內頁收錄的,權重較低,爬過此段的內頁文章暫時被收錄但不放出來(意思也就是說待定),因不是原創或采集文章。(百度網頁爬蟲(百度圖片爬蟲)

  123.125.71.*

  搜外站長工具蜘蛛。

  124.248.34.52

  也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的,沒有多大用。 125.90.88.*

  百度蜘蛛

  159.226.50.*

  180.76.5.*

  180.76.5.87

  220.181.158.107

  偽裝百度蜘蛛IP

  180.149.130.*

  這個ip段出現在新站及站點有不正常現象后。

  183.91.40.144

  203.208.60.*

  這個ip段不間斷巡邏各站,就是路過一下。

  210.72.225.*

  每天這個IP 段只增不減很有可能進沙盒或K站

  218.30.118.102

  220.181.68.*

  123.125.68.*

  220.181.68.*

  主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網站沒更新,蜘蛛來過,如果是 200 0 64別擔心這不是K站,可能是網站是動態的,所以返回就是這個代碼。

  220.181.108.*

  代表百度蜘蛛IP來訪準備抓取你東西

  220.181.7.*

  123.125.66.*

  這個ip段作為度過新站考察期

  121.14.89.*

  這個ip段出現在新站或站點有不正常現象后

  203.208..60.*

  這個ip段不間斷巡邏各站

  210.72.225.*

  這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網站會天天隔夜快照,絕對錯不了的

  220.181.108.95

  98%抓取首頁可能還會抓取其他「不是指內頁)屬于權重IP段此段爬過的文章或首頁基本24小時放出來.

  220.181.108.92

  抓取內頁收錄的 權重較低 爬過此段的內頁文章不會很快放出來,因不是原創或采集文章

  123.125.71.106

  屬于綜合的。主要抓取首頁和內頁或者其它頁面。屬于權重IP段, 抓過的文章或首頁基本24小時放出來

  220.181.108.91

  重點抓取更新文章的內頁達到90%,8%的抓取首頁,2%其他權重ip段,抓過的文章或首頁基本24小時放出來

  220.181.108.75

  專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新

  220.181.108.86

  抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創

  123.125.71.95

  123.125.71.97

  專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新

  220.181.108.89

  220.181.108.94

  220.181.108.97

  220.181.108.80

  220.181.108.77

  抓取內頁收錄的, 權重較低,爬過此段的內頁文章不會很快放出來,因不是原創

  123.181.108.77

  專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新

  220.181.108.83

  附錄百度蜘蛛IP地址

  123.125.68.* 這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。

  220.181.68.* 每天這個IP段只增不減很有可能進沙盒或K站。

  220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,準備抓取你東西。

  121.14.89.* 這個ip段作為度過新站考察期。

  203.208.60.*這個ip段出現在新站及站點有不正常現象后。

  210.72.225.*這個ip段不間斷巡邏各站。

  125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的。

  220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網站會天天隔夜快照。(悲劇的我竟然屏蔽了這個IP)

  220.181.108.92同上98%抓取首頁,可能還會抓取其他(不是指內頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。(嗯,還有這個也屏蔽了,暈死了!)

  123.125.71.106抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。(這個也有,汗!)

  220.181.108.91屬于綜合的,主要抓取首頁和內頁或其他,屬于權重IP段,爬過的文章或首頁基本24小時放出來。

  220.181.108.75重點抓取更新文章的內頁達到90%,8%抓取首頁,2%其他。權重IP段,爬過的文章或首頁基本24小時放出來。(這個,……!)

  220.181.108.86專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。(還有這個……)

  123.125.71.95抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  123.125.71.97抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.89專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。(好吧,220開頭的好像都被我屏蔽了,下手真心有點兒太狠了!)

  220.181.108.94專用抓取首頁IP權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.97專用抓取首頁IP權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.80專用抓取首頁IP權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.77專用抓首頁IP權重段,一般返回代碼是304 0 0 代表未更新。

  123.125.71.117抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或是采集文章。

  注:以上IP尾數還有很多,但段位一樣的123.125.71.*段IP代表抓取內頁收錄的權重比較低,可能由于你采集文章或拼文章暫時被收錄但不放出來.。

  220.181.108.83專用抓取首頁IP權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.*段IP主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的!

  一般成功抓取返回代碼都200,返回304代表網站沒更新。

  【DZ案例分析】

  之前和大家分享過discuz蜘蛛爬行記錄插件的安裝,在蜘蛛爬行記錄的那個插件里,并不是所有過來的百度蜘蛛都是百度的,其他搜索引擎也可以偽裝成百度的IP段,所以現在就和大家來探討百度常見的IP段有哪些!

  例如:

  在張圖片的記錄中117.28.255.37點前面雖然寫的是百度,其實并不是百度蜘蛛的IP段,以下是常見的百度蜘蛛IP段:

  根據不同的IP我們可以分析網站是個怎樣的狀態.下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。

  220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站。

  220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,準備抓取你東西。

  121.14.89.*這個ip段作為度過新站考察期。

  203.208.60.*這個ip段出現在新站及站點有不正常現象后。

  210.72.225.*這個ip段不間斷巡邏各站。

  125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的。

  220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網站會天天隔夜快照,絕對錯不了的,我保證。

  220.181.108.92 同上98%抓取首頁,可能還會抓取其他 (不是指內頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。

  123.125.71.106 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.91屬于綜合的,主要抓取首頁和內頁或其他,屬于權重IP 段,爬過的文章或首頁基本24小時放出來。

  220.181.108.75重點抓取更新文章的內頁達到90%,8%抓取首頁,2%其他。權重IP 段,爬過的文章或首頁基本24小時放出來。

  220.181.108.86專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  123.125.71.95 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  123.125.71.97 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.89專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.94專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.97專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.80專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.77 專用抓首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  123.125.71.117 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.83專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  注:以上IP尾數還有很多,但段位一樣的123.125.71.*段IP 代表抓取內頁收錄的權重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。

  220.181.108.*段IP主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的,這點我可以保證.

阿里云開團拉新享三重好禮

推薦站點

  • 學習強國學習強國

    “學習強國”學習網站平臺是為進一步深入學習宣傳貫徹習近平新時代中國特色社會主義思想和黨的十九大精神,按照中央相關部署,中宣部基于互聯網PC端和手機App的信息化平臺建立了“學習強國”學習平臺(以下簡稱“學習平臺”),已于2019年1月1日正式上線。“學習強國”平臺以學習習近平新時代中國特色社會主義思想為主要內容,通過構建網上學習組織架構,實現黨員干部群眾有組織、有指導、有管理、有服務的學習。

    www.xuexi.cn
  • 國家政務服務平臺國家政務服務平臺

    國家政務服務平臺由國務院辦公廳主辦,國務院辦公廳電子政務辦公室負責運行維護。
    國家政務服務平臺作為全國政務服務的總樞紐,重點發揮公共入口、公共通道、公共支撐等三大作用,為全國各地區各部門政務服務平臺提供統一身份認證、統一證照服務、統一事項服務、統一投訴建議、統一好差評、統一用戶服務和統一搜索服務等“七個統一”服務,實現支撐一網通辦、匯聚數據信息、實現交換共享、強化動態監管等四大功能,解決跨地區、跨部門、跨層級政務服務中信息難以共享、業務難以協同、基礎支撐不足等突出問題。

    gjzwfw.www.gov.cn
  • 大公網大公網

    大公網是香港大公報主辦的綜合性新媒體平臺,是華文世界最具影響力的網絡媒體。
    大公報創刊于1902年,是迄今仍在出版的最悠久的中文報章,也是中國最具影響力的媒體之一,在全球華人地區備受尊重。大公報定位于愛國愛港的“精英報”,面向政商界、專業界、文化界、教育界等精英人群,發行世界130多個國家和地區,有著廣泛的、長期固定訂閱的高端讀者,成為中國各級政府、企業面向海外傳播的強力平臺、展示發展風采、招商融資引才的重要窗口,被香港前特首梁振英稱之為“內地和香港的超級聯系人”。

    www.takungpao.com
  • 國家圖書館國家圖書館

    國家圖書館是國家總書庫,國家書目中心,國家古籍保護中心,國家典籍博物館。履行國內外圖書文獻收藏和保護的職責,指導協調全國文獻保護工作;為中央和國家領導機關、社會各界及公眾提供文獻信息和參考咨詢服務;開展圖書館學理論與圖書館事業發展研究,指導全國圖書館業務工作;對外履行有關文化交流職能,參加國際圖聯及相關國際組織,開展與國內外圖書館的交流與合作。

    www.nlc.cn/
  • 中國教育考試網中國教育考試網

    中國教育考試網由中國教育部考試中心主辦,系教育部直屬事業單位,主要承擔教育考試專項職責任務。網站主要有考試資訊、公示公告、考試項目、考試報名、成績查詢、證書查詢、 考試研究等業務,是中國教育考試相關信息最權威的網站之一。

    www.neea.edu.cn
倾国妲己电子游戏 国泰君弘软件赚钱 山东时时抓获 重庆时时开奖结果记录 快乐10分前三直技巧求帮忙 彩票实战手册 手机上最赚钱的app是哪一个 360天津11选5走势图表 宝山巴士赚钱吗 福彩25选7开奖信息 3的组三遗漏 6场半全场胜负平 广东11选5走势图 排列五手机版app下载 安徽25选5开奖 五分彩走势图表 黑龙江时时彩玩法