• RELATEED CONSULTING
    相關咨詢
    選擇下列產品馬上在線溝通
    服務時間:9:00-18:00
    手機:17375899901
    微信:17375899901
    關閉右側工具欄
    長沙SEO關鍵詞優化知識:如何才能識別當前抓取是正確的百度蜘蛛?
    • 作者:admin
    • 發表時間:2022-08-19 15:29:00
    • 來源:

    開發者們可以通過以下兩個方式判斷百度蜘蛛。


    方式一:查看UA信息


    如果UA信息不對,可以直接判斷為非百度搜索的蜘蛛。目前UA分為移動、PC、和小程序三個應用場景,這三個渠道UA分別如下:


    移動UA


    Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

    或者

    Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 


    PC UA


    Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

    或者

    Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


    小程序UA


    Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)


    方式二:雙向DNS解析認證


    第1步:DNS反查IP


    開發者通過對日志中訪問服務器的IP地址運行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,其他格式即為冒充。


    不同類型的平臺驗證方法也不同,如Linux / Windows / OS三種平臺下的驗證方法分別如下:


    (1)在Linux平臺下,可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。


    (2)在Windows平臺下,可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取 。


    (3)在Mac OS平臺下,可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。



    第2步:對域名運行正向DNS查找


    對第1步中通過命令檢索到的域名運行正向DNS查找,驗證該域名與您日志中訪問服務器的原始IP地址是否一致,IP地址一致可確認spider來自百度搜索引擎,IP地址不一致即為冒充。

    伊人久久久大香线蕉综合直播