一種基于鏈接分析的聚焦爬蟲方法

新一代信息技術

本發明針對現有技術的不足之處提供了一種基于鏈接分析的聚焦爬蟲方法，用以解決現有聚焦爬蟲抓取網頁準確率和效率較低的問題。 為實現上述目的，本發明采用的技術方案為： 一種基于鏈接分析的聚焦爬蟲方法，其特征在于，包括如下步驟： (1)抓取網頁，將網頁和目標樣本網頁的結構進行比較，確定目標網頁，從網站入口鏈接開始，記錄爬蟲到目標網頁的每一條鏈接路徑，建立目標網頁鏈接樹； (2)分析目標網頁鏈接樹，歸納鏈接樹中目標網頁路徑上的鏈接，替換鏈接樹中的鏈接，形成鏈接模版樹； (3)爬蟲使用鏈接模版樹作為導航，抓取與鏈接模版樹相匹配的網頁鏈接，直到整個抓取循環過程結束，最終抓取完所有目標網頁。 作為優選，步驟(1)中，所述建立目標網頁鏈接樹的具體步驟如下： (11)選擇一個目標網頁作為目標樣本網頁，用于比較將下載的網頁結構； (12)初始化鏈接樹，即將鏈接樹設置為一棵空樹； (13)初始化鏈接隊列，將網站的入口鏈接加入到鏈接隊列尾部； (14)從鏈接隊列頭部取出鏈接，廣度優先地抓取網頁； (15)將抓取的網頁和目標樣本網頁進行比較，如果結構相同，則將該目標網頁的路徑添加到鏈接樹中，將目標網頁的鏈接作為

試用