爬山虎采集器是一款支持99%的網(wǎng)站數(shù)據(jù)采集的高效網(wǎng)頁信息采集軟件,爬山虎采集器能生成Excel表格,api數(shù)據(jù)庫文件等內(nèi)容,幫助你管理網(wǎng)站數(shù)據(jù)信息,如果您需要對(duì)某個(gè)指定網(wǎng)頁數(shù)據(jù)進(jìn)行采集,使用這款軟件即可。
功能介紹
向?qū)J?/p>
簡(jiǎn)單易用,輕松通過鼠標(biāo)點(diǎn)擊自動(dòng)生成
腳本定時(shí)運(yùn)行
可按照計(jì)劃定時(shí)運(yùn)行,無需人工
獨(dú)創(chuàng)高速內(nèi)核
自研的瀏覽器內(nèi)核,速度飛快,遠(yuǎn)超對(duì)手
智能識(shí)別
對(duì)于網(wǎng)頁中的列表、表單結(jié)構(gòu)(多選框下拉列表等)能夠智能識(shí)別
廣告屏蔽
定制的廣告屏蔽模塊,兼容AdblockPlus語法,可添加自定義規(guī)則
多種數(shù)據(jù)導(dǎo)出
支持Txt 、Excel、MySQL、SQLServer、SQlite、Access、網(wǎng)站等
一鍵提取數(shù)據(jù)
簡(jiǎn)單易學(xué),通過可視化界面,鼠標(biāo)點(diǎn)擊即可抓取數(shù)據(jù)
快速高效
內(nèi)置一套高速瀏覽器內(nèi)核,加上HTTP引擎模式,實(shí)現(xiàn)快速采集數(shù)據(jù)
適用各種網(wǎng)站
能夠采集互聯(lián)網(wǎng)99%的網(wǎng)站,包括單頁應(yīng)用Ajax加載等等動(dòng)態(tài)類型網(wǎng)站
在本站下載最新安裝包,點(diǎn)擊exe文件,根據(jù)安裝向?qū)б来芜M(jìn)行安裝
等待安裝完成即可
爬山虎采集器 3.1.0.1
升級(jí)導(dǎo)出配置的管理工具
升級(jí)規(guī)則編輯器的設(shè)置界面
優(yōu)化導(dǎo)出數(shù)據(jù)窗口
爬山虎采集器 3.0.9.0
修復(fù)多線程下的一些問題
優(yōu)化網(wǎng)站兼容問題
優(yōu)化發(fā)布相關(guān)
優(yōu)化任務(wù)搜索
第一步:輸入采集網(wǎng)址
打開軟件,新建任務(wù),輸入需要采集的網(wǎng)站地址。
第二步:智能分析,全程自動(dòng)化提取數(shù)據(jù)
進(jìn)入到第二步后,爬山虎采集器全自動(dòng)智能分析網(wǎng)頁,并且從中提取出列表數(shù)據(jù)。
第三步:導(dǎo)出數(shù)據(jù)到表格、數(shù)據(jù)庫、網(wǎng)站等
運(yùn)行任務(wù),將采集到的數(shù)據(jù)導(dǎo)出為Csv、Excel以及各種數(shù)據(jù)庫,支持api導(dǎo)出。
問:如何過濾列表中的前N個(gè)數(shù)據(jù)?
1.有時(shí)我們需要對(duì)采集到的列表進(jìn)行過濾,比如過濾掉第一組數(shù)據(jù)(在采集表格時(shí),過濾掉表格列名)
2.點(diǎn)擊列表模式菜單中的,設(shè)置列表xpath
問:如何抓包獲取Cookie,并且手動(dòng)設(shè)置?
1.首先,使用谷歌瀏覽器打開要采集的網(wǎng)站,并且登陸。
2.然后按下 F12,會(huì)出現(xiàn)開發(fā)者工具,選擇 Network
3.然后按下F5,刷新下頁面, 選擇其中一個(gè)請(qǐng)求。
4.復(fù)制完成后,在爬山虎采集器中,編輯任務(wù),進(jìn)入第三步,指定HTTP Header。
網(wǎng)友評(píng)論