爬蟲技術主要用于收集數據、調研、刷流量和秒殺等。

1、收集數據

python爬蟲程序可用于收集數據。這也是最直接和最常用的方法。由于爬蟲程序是一個程序，程序運行得非常快，不會因為重復的事情而感到疲倦，因此使用爬蟲程序獲取大量數據變得非常簡單和快速。

由于99%以上的網站是基于模板開發的，使用模板可以快速生成大量布局相同、內容不同的頁面。因此，只要為一個頁面開發了爬蟲程序，爬蟲程序也可以對基于同一模板生成的不同頁面進行爬取內容。

2、爬蟲調研

比如要調研一家電商公司，想知道他們的商品銷售情況。如果使用爬蟲來抓取公司網站上所有產品的銷售情況，那么就可以計算出公司的實際總銷售額。

此外，如果抓取所有的評論并對其進行分析，還可以發現網站是否出現了刷單的情況。數據是不會說謊的，特別是海量的數據，人工造假總是會與自然產生的不同。過去，用大量的數據來收集數據是非常困難的，但是現在在爬蟲的幫助下，許多欺騙行為會赤裸裸地暴露在陽光下。

3、刷流量和秒殺

刷流量是python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那么它將被視為正常訪問。結果，爬蟲“不小心”刷了網站的流量。

Python爬蟲主要架構介紹：

1、調度器：相當于一臺電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。

2、URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、數據庫、緩存數據庫來實現。

3、網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字符串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests。

4、網頁解析器：將一個網頁字符串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據DOM樹的解析方式來解析。