📘
📘
📘
📘
Python web crawler note
Search
⌃
K
Introduction
1. 環境安裝與爬蟲的基本
1.1 環境安裝
1.2 IDE設定
1.3 一隻很原始的爬蟲
1.4 幫爬蟲裝煞車
2. 用BeautifuSoup來分析網頁
2.1 BeautifulSoup範例 - 1
2.2 BeautifulSoup說明
2.3 BeautifulSoup範例 - 2
2.4 加入Regular Expression
2.5 Dcard今日十大熱門文章
3. 更多實際的應用
3.1 PTT八卦版今日熱門文章
3.2 Yahoo奇摩電影本週新片
3.3 蘋果日報/自由時報今日焦點
3.4 Google Finance 個股資訊
3.5 Yahoo奇摩字典
4. 基於API的爬蟲
4.1 八卦版鄉民從哪來?
4.2 Facebook Graph API
4.3 imdb電影資訊查詢
4.4 Google Finance API
4.5 台灣證券交易所API
5. 資料儲存
5.1 痴漢爬蟲(PTT表特版下載器)
5.2 儲存成CSV檔案
5.3 儲存至SQLite
6. 不同編碼/文件類型的爬蟲
6.1 非UTF-8編碼的文件
6.2 XML文件
7. 比價爬蟲
7.1 momo購物網爬蟲
7.2 PChome 24h API爬蟲
7.3 比價圖表程式
8. 處理POST請求/登入頁面
8.1 空氣品質監測網
9. 動態網頁爬蟲
9.1 台銀法拍屋資訊查詢
10. 自然語言處理
10.1 歌詞頻率與歌詞雲
Powered By
GitBook
Introduction
這是我第一次學python, 也是第一次接觸網路爬蟲, 就在這邊整理一下我的學習心得.
Source code都放在
這裡
.
參考資料:
Pycone松果城市
- Python網頁爬蟲入門實戰(這位老師講得非常好, 強烈建議買課程支持一下這樣的好老師, CP值超高.)
BeautifulSoup
- A Python library for pulling data out of HTML and XML files.
Python3 Official Document
- BJ4
Next
1. 環境安裝與爬蟲的基本
Last modified
3yr ago