火車頭數(shù)據(jù)采集平臺是一款用于搜索獲取全網(wǎng)數(shù)據(jù)的網(wǎng)絡(luò)輔助工具，可以靈活迅速地抓取網(wǎng)頁中大量非結(jié)構(gòu)化的文本，圖片等資源信息，通過一系列的分析處理，準(zhǔn)確挖掘出所需數(shù)據(jù)。并可以選擇發(fā)布到網(wǎng)站后臺、導(dǎo)入數(shù)據(jù)庫或者保存在本地Excel，Word等格式的文件中?；疖嚥杉魇悄壳白钍軞g迎的網(wǎng)頁數(shù)據(jù)采集軟件，有需要進(jìn)行采集操作的用戶快來獲取吧！

火車頭數(shù)據(jù)采集平臺安裝方法

1、等待火車采集器下載完成，然后解壓縮并雙擊exe文件，進(jìn)入安裝向?qū)?，點擊下一步。

2、點擊【瀏覽】設(shè)置軟件的安裝位置，然后點擊【安裝】。

3、稍等片即可完成安裝，勾選【運行 火車采集器 9.3】選項，點擊【完成】即可運行。

特色

1、無限級多張采集，能夠完成無盡深層的采集
2、每日任務(wù)序列運作管理方法，適用Cron關(guān)系式
3、無限級排序任務(wù)管理，每日任務(wù)垃圾回收站功能
4、RSS詳細(xì)地址采集功能
5、列表頁分頁查詢采集獲得功能
6、列表頁額外主要參數(shù)獲得功能
7、列表頁及標(biāo)識XPath數(shù)據(jù)可視化獲取功能
8、標(biāo)識純正則替換功能
9、Http插口查詢運作狀況
10、導(dǎo)出來紀(jì)錄為單獨或好幾個Txt、html文檔
11、標(biāo)識間隨意搭配功能
12、對于標(biāo)識內(nèi)容再次推送Http要求功能
13、無限級列表網(wǎng)站地址采集
14、從Http頭信息內(nèi)容中讀取數(shù)據(jù)
15、題目內(nèi)容文章正文獲取功能
16、Aspx列表分頁查詢自鑒別
17、多網(wǎng)址站群系統(tǒng)式web公布
18、導(dǎo)出來紀(jì)錄為Word格式
19、導(dǎo)出來全部紀(jì)錄為Excel格式
20、應(yīng)用任意二級(適用Socket代理)
21、多拓展間數(shù)據(jù)傳輸功能
22、免費下載的圖片全自動加加強型圖片水印功能
23、Ocr鑒別(圖片轉(zhuǎn)換為文本)
24、Http插口管理方法采集器運作
25、Mongodb數(shù)據(jù)庫儲存數(shù)據(jù)信息
26、主從關(guān)系網(wǎng)絡(luò)服務(wù)器分布式系統(tǒng)采集

火車頭數(shù)據(jù)采集平臺使用方法

1.在程序主界面中，點擊“新建”下拉箭頭，從中選擇“任務(wù)”項。

2.在彈出的窗口中，輸入“任務(wù)名”，同時點擊“起始網(wǎng)址”欄目右側(cè)的“添加”按鈕。

3.接下來就極為重要的一步，就是對要進(jìn)行采集的網(wǎng)站進(jìn)行分板，對所采取的網(wǎng)站中各片文章的URL進(jìn)行綜合分析并找出規(guī)律，最后按如圖進(jìn)行填寫。

4.然后切換至“第二步：采集內(nèi)容規(guī)則”選項卡中，我們需要對網(wǎng)頁內(nèi)容進(jìn)行分板。在此以“搜狗瀏覽器”為例，右擊要進(jìn)行分析的網(wǎng)頁，從彈出的菜單中選擇“審查元素”項。

5.在“開發(fā)式模式”界面中，點擊“選擇頁面中的一個元素去透視”按鈕，接著點擊“標(biāo)題”內(nèi)容，此時就可以在“開發(fā)者”窗口中顯示標(biāo)題所對應(yīng)的標(biāo)簽，此例為“h2"。

6.接下來在”采集內(nèi)容規(guī)則“界面中，點擊“添加”按鈕來添加“標(biāo)題”項，或者直接雙擊“標(biāo)題”項進(jìn)行修改。在彈出的界面中，勾選”前后截取“，將設(shè)置前后輟分別為"“、”".

7.利用同樣的方法添加其它采集內(nèi)容的規(guī)則。切換至“第三步：發(fā)布內(nèi)容設(shè)置”選項卡，勾選“啟用 方式二”，并進(jìn)行如圖設(shè)置。

8.最后從任務(wù)列表中，勾選要采集的內(nèi)容，點擊“開始”按鈕就可以按規(guī)則采集網(wǎng)站中的網(wǎng)頁內(nèi)容啦。

數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)采集下來后可選擇保存到sqlite、mysql、sqlserver三種類型的數(shù)據(jù)庫中。
默認(rèn)保存為sqlite數(shù)據(jù)庫，可轉(zhuǎn)換為其他類型，其中sqlite是可以保存在本地數(shù)據(jù)庫的。
mysql、sqlserver既可以保存在本地數(shù)據(jù)庫，也可以保存到遠(yuǎn)程數(shù)據(jù)庫。
工具菜單--數(shù)據(jù)轉(zhuǎn)換

如需轉(zhuǎn)換原有數(shù)據(jù)庫請勾選“轉(zhuǎn)換內(nèi)容庫”，否則數(shù)據(jù)庫內(nèi)容將被清空。

分組右鍵功能

在分組上右擊，支持導(dǎo)入任務(wù)，導(dǎo)出分組，導(dǎo)入分組等。
導(dǎo)入任務(wù)：分組上右擊--導(dǎo)入任務(wù)，可以導(dǎo)入.ljobx后綴的任務(wù)。
導(dǎo)出分組：分組上右擊--導(dǎo)出分組，批量導(dǎo)出任務(wù)分組，可以導(dǎo)出.lgrp后綴的分組。
導(dǎo)入分組：分組上右擊--導(dǎo)入分組，批量導(dǎo)入任務(wù)分組，可以導(dǎo)入.lgrp后綴的分組。



采集規(guī)則
起始網(wǎng)址
采集規(guī)則制作的第一步驟，點擊向?qū)砑?，?rarr;②，出現(xiàn)如圖界面。



分3種方式：普通網(wǎng)址，批量網(wǎng)址，文本導(dǎo)入。

獲取內(nèi)容網(wǎng)址
 有常規(guī)模式和高級模式兩種。
 1.常規(guī)模式：該模式默認(rèn)抓取一級地址，即從起始頁源代碼中獲取到內(nèi)容頁A鏈接。
它有2種方式：a.自動獲取地址鏈接 b.手動設(shè)置規(guī)則獲取。
 2.高級模式：該模式對0級，多級，POST類型網(wǎng)址的抓取有效。
即起始網(wǎng)址就是內(nèi)容頁網(wǎng)址；
或者需要對多級列表網(wǎng)址采集才能得到最終內(nèi)容頁鏈接；
或者是post網(wǎng)址類型抓取等情況下使用高級模式。

0級及多級網(wǎng)址獲取
起始網(wǎng)址就是內(nèi)容頁網(wǎng)址，直接采集起始網(wǎng)址里的內(nèi)容。
何為多級？
即有多級列表，需要設(shè)置多級網(wǎng)址步驟后，才能得到最終內(nèi)容頁鏈接。

列表上下頁分頁
對于設(shè)置列表分頁，下圖的起始網(wǎng)址--批量網(wǎng)址設(shè)置是最常見也是最常用的。

登錄采集
登錄信息設(shè)置： 對于部分需要登錄的網(wǎng)站，需要設(shè)置此項。

更新內(nèi)容

1.優(yōu)化標(biāo)簽數(shù)據(jù)處理中字符替換。
2.對文件探測無效導(dǎo)致文件下載失敗問題優(yōu)化。
3.處理用戶名包含特殊符號不能登錄問題。
4.修復(fù)數(shù)據(jù)管理批量操作數(shù)據(jù)有異常彈窗提示。
5.修復(fù)二級代理卡死問題。
6.完善自動獲取cookie失敗問題。
7.發(fā)布到word，自動轉(zhuǎn)義"<"、">"為"<"、">"。
8.修復(fù)：勾選發(fā)布選項，采集最大數(shù)無效。
9.修復(fù)oracle鏈接問題。
10.支持oss存儲。
11.修復(fù)：下載地址后面有斜杠，下載文件時無后綴名。