電商與營銷
項目開發與招商合作,減少重復建設、降低試錯成本
  • iWebCrawler 百度谷歌搜索爬蟲加速工具1.0開源版發布
  • iWebCrawler 百度谷歌搜索爬蟲加速工具(iWebCrawler 搜索爬蟲加速工具)
    系統簡介:
    iWebCrawler搜索爬蟲加速工具提供常見搜索引擎日志分析(重點是百度爬蟲);可根據網站提供的符合格式的百度sitemap網站地圖,把每天的新產出鏈接主動推送給百度推送接口,并且能夠在推送前過濾掉百度爬蟲已抓取鏈接及系統已推送的鏈接,從而加快網站收錄速度,提升網站權重??篩縈沒б笪沒Фㄖ瓢俁萻itemap網站地圖生成功能???,支持生成百度Sitemap協議三種格式:文本格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任意一種格式組織sitemap;如果文件很大,可以自動拆分為幾個小的Sitemap。主動推送功能可以支持任何網站(只要能提供符合格式的百度sitemap網站地圖)
    本系統共分三部分
    一、
    爬蟲訪問記錄分析
    二、
    生成百度sitemap網站地圖(商業版,可定制)
    三、
    主動推送站點新產出鏈接(商業版)
    使用說明
    首先導入數據庫文件(data文件夾限定site.sql),初始化系統配置

    一、 爬蟲記錄分析:
    可以分析baidu,google,360,sogou,soso,Yahoo爬蟲日志,重點是百度爬蟲日志分析
    1. log日志文件分析
    用戶需要根據服務器環境選擇對應配置


    備注:后臺系統配置里的服務器日志環境選擇完畢后,日志分析可能顯示不對,此時需要根據服務器日志格式手動配置config.php文件,修改對應下標
    在bd_config.php文件夾下面把log_root變量更改為對應文件夾名稱(默認apache)

    最后服務器log日志文件上傳到log文件夾下的對應目錄(只上傳文件,不能是文件夾)

    備注:系統在每個文件夾下面已經上傳了一個示例文件,僅供用戶演示效果,可以刪除掉示例文件 效果演示截圖

    2.百度爬蟲記錄 把最新的日志文件里的百度爬蟲記錄導入到數據庫

    二、
    生成百度sitemap網站地圖(商業版,可定制)
    支持生成百度Sitemap協議三種格式:文本格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任意一種格式組織sitemap;如果文件很大,可以拆分為幾個小的Sitemap??梢愿縈沒枰ㄖ拼斯δ苣??。
    三、主動推送站點新產出鏈接(商業版)
    先把網站地圖文件上傳到sitemap文件夾下面(提示:1.只能上傳文件,不能是文件夾;2.用戶上傳的sitemap文件必須符合百度Sitemap協議支持的三種格式:文本格式、xml格式、Sitemap索引格式)

    點擊啟動主動推送,系統會自動遍歷文件所有鏈接,過濾掉已推送鏈接與爬蟲已抓取鏈接,只推送新鏈接到百度接口
    后臺登錄密碼默認為abc123

    iWebCrawler 百度谷歌搜索爬蟲加速工具1.0開源版
    立即下載





  • 0
  • 0
  • 0
  • 1147
  • 2018-06-14 15:40

發布于 11 月 以前





登錄 沒有賬號請 注冊
公開的全部圖冊
認識更多用戶
有 0 張圖片
有 0 張圖片
有 0 張圖片
有 0 張圖片
有 0 張圖片


© 2009-2019 數開網-網絡營銷SEO優化、百度Google外貿SEO推廣、ASO移動App與微信營銷、自助建站網上兼職外包眾包開發平臺