在大數據與網際網路逐漸普及的時代，「網路爬蟲」這個名字相信大家是絕對不陌生的，但什麼是網路爬蟲呢？網路爬蟲也叫做網路機器人，可以代替人們自動地在網際網路中進行資料資訊的採集與整理。其中Python是非常好用來做網路爬蟲的工具，因此本篇將使用
Python爬蟲教學，教你用最簡單的方式理解爬蟲原理。
在海量資料時代，資訊的蒐集是一項重要的工作，如果只靠人力來進行資料的採集，不僅步驟繁瑣、效率不高，蒐集成本也提高。在瀏覽網頁時需要按照我們所制定的規則來進行爬蟲，這些規則我們稱為網路爬蟲演算法。那麼這時 Python爬蟲教學就出現啦！使用Python可以快速方便的編寫出爬蟲演算法，得以來進行網站資訊的自動化檢索。
那麼第一個爬蟲的要點就是：爬蟲對象，考慮到實際因素,網際網路是動態的,所以網路爬蟲應該主要意圖為，在「有限」的時間裡，爬下「最多」、「最重要」的網頁。而最重要的通常就是一個網站的首頁，其次就是可以從首頁中直接連結的頁面，再來才是訪問網頁中的其他頁面。
爬蟲要點之二：紀錄所訪問過的頁面，當下載完訪問過的網頁之後，應該需要將該網頁的 URL 取出，但這邊有要注意的地方，有些靜態網站的 URL 標籤明顯也易讀，但是有些動態網頁的 URL 為自動生成的，所以 URL 不是直接可見的，這時就必須在演算法中特別處理囉！
爬蟲第三個要點，就是網路爬蟲中最重要的：資料，大家都知道資料需要經過分析、處理過後才會變成可以使用有意義的「資訊」，常常爬回來的資料都是不乾淨的，參雜許多我們不需要的東西，甚至是錯誤、缺失。這時候就需要用上 Python 強大的資料處理函數來整理這些資料啦！
上述所提到的網路爬蟲，都需要用到 Python 來完成喔！想要爬到自己需要的資料甚至加以運用，當然就要寫個好的爬蟲演算法啦！在巨匠的
Python課程中，Python爬蟲教學會帶著你了解超實用的網路爬蟲實戰技術，再進階的傳授網頁結構化解析，讓你的爬蟲演算法更加全面性，接著會進入社群媒體的資料擷取，且課程的最後也會進行小型網路爬蟲專案，驗收你的功力！快點跟著巨匠挑戰自己，開發自己的爬蟲機器人吧！