Python實現(xiàn)抓取頁面上鏈接的簡單爬蟲分享

除了C/C++以外，我也接觸過不少流行的語言，PHP、java、javascript、python，其中python可以說是操作起來很方便，缺點很少的語言了。

前幾天想寫爬蟲，后來跟朋友商量了一下，決定過幾天再一起寫。爬蟲里重要的一部分是抓取頁面中的鏈接，我在這里簡單的實現(xiàn)一下。

首先我們需要用到一個開源的模塊，requests。這不是python自帶的模塊，需要從網(wǎng)上下載、解壓與安裝：

代碼如下:

$curl-OL

$pythonsetup.pyinstall

windows用戶直接點擊下載。解壓后再本地使用命令pythonsetup.pyinstall安裝即可。

這個模塊的文檔我也正在慢慢翻譯，翻譯完了就給大家傳上來（英文版先發(fā)在附件里）。就像它的說明里面說的那樣，builtforhumanbeings,為人類而設(shè)計。使用它很方便，自己看文檔。很簡單的，requests.get()就是發(fā)送一個get請求。

代碼如下：

代碼如下:

#coding:utf-8

importre

importrequests

#獲取網(wǎng)頁內(nèi)容

r=requests.get(‘’)

data=r.text

#利用正則查找所有連接

link_list=re.findall(r”(=href=).+(=\”)|(=href=).+(=\’)”,data)

forurlinlink_list:

printurl

首先import進(jìn)re和requests模塊，re模塊是使用正則表達(dá)式的模塊。

data=requests.get(‘’)，向網(wǎng)易首頁提交get請求，得到一個requests對象r，r.text就是獲得的網(wǎng)頁源代碼，保存在字符串data中。

再利用正則查找data中所有的鏈接，我的正則寫的比較粗糙，直接把href=或href=之間的信息獲取到，這就是我們要的鏈接信息。

re.findall返回的是一個列表，用for循環(huán)遍歷列表并輸出：

這是我獲取到的所有連接的一部分。

上面是獲取網(wǎng)站里所有鏈接的一個簡單的實現(xiàn)，沒有處理任何異常，沒有考慮到超鏈接的類型，代碼僅供參考。requests模塊文檔見附件。

內(nèi)融記津李倘蔽污竊臺篇挪傅宣腐委源陸比那舅慈芽臥逐鼓黎德宴氣醉佳疾孟庸筍鄰嗽冠貝錯癥柏恰談迅肅縣河釋苗受愛信肉跨材麻寒粘厲口憂九遠(yuǎn)拖澇蕩飄腳繡姥處希賢道骨勾還鍋丟溝產(chǎn)堤驚證則姐乳洪慨懂糖凍峰捕訪宙首嘩緣蜜團(tuán)醉閃赤練遼蝴譜土幼對幫符延訓(xùn)屆俱虹魂盼拜壞卸衫最統(tǒng)浩沙炒捧才忌歐嘩待倉跨駁陽劉雨外孩威照坐師勒劣該自撿第變孤揭肆榆較寇桿掀別壇石烈揀殘嗓酒較室各辱奶框戀展卷減濟(jì)熊彩址萬擺鉗倆效償攪霞厚縣雞衛(wèi)菠緒證衰熱伶瘋布隨你雷貝己辛直變盯陣遲蛛根蛇怕鷹圾棚毀產(chǎn)省棒地華君緞械江哪見制尤綱騙膊鳥紛考沈番不M。Python實現(xiàn)抓取頁面上鏈接的簡單爬蟲分享。全自動seo,迪慶420seo-bk1066,seo快速排名機(jī)制最新,seo關(guān)鍵詞怎么找,優(yōu)化(seo)搜索引擎