7.1 momo購物網爬蟲
這邊是去爬momo購物網的行動版網頁, 要注意的地方是你必須附上User-Agent才可以.
import urllib.parse
import requests
import time
import json
import os
from bs4 import BeautifulSoup
STORE = 'momo'
MOMO_MOBILE_URL = 'http://m.momoshop.com.tw/'
MOMO_QUERY_URL = MOMO_MOBILE_URL + 'mosearch/%s.html'
USER_AGENT_VALUE = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
def get_web_content(query):
encoded_query = urllib.parse.quote(query)
query_url = MOMO_QUERY_URL % encoded_query
headers = {'User-Agent': USER_AGENT_VALUE}
resp = requests.get(query_url, headers=headers)
if not resp:
return []
resp.encoding = 'UTF-8'
return BeautifulSoup(resp.text, 'html.parser')
def search_momo(query):
dom = get_web_content(query)
if dom:
items = []
for element in dom.find(id='itemizedStyle').ul.find_all('li'):
item_name = element.find('p', 'prdName').text
item_price = element.find('b', 'price').text.replace(',', '')
if not item_price:
continue
item_price = int(item_price)
item_url = MOMO_MOBILE_URL + element.find('a')['href']
item_img_url = element.a.img['src']
item = {
'name': item_name,
'price': item_price,
'url': item_url,
'img_url': item_img_url
}
items.append(item)
return items
def save_search_result(data):
with open(os.path.join('json', data['date'] + '-%s.json' % STORE), 'w', encoding='UTF-8') as file:
json.dump(data, file, indent=2, ensure_ascii=False)
def main():
query_str = 'iPhone 7 Plus 128G'
items = search_momo(query_str)
today = time.strftime('%m-%d')
print('Search item \'%s\' from %s...' % (query_str, STORE))
print('Search %d records on %s' % (len(items), today))
for item in items:
print(item)
data = {
'date': today,
'store': STORE,
'items': items
}
save_search_result(data)
if __name__ == '__main__':
main()輸出結果:
Search item 'iPhone 7 Plus 128G' from momo...
Search 20 records on 05-27
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機', 'price': 32900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4315776&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple拆封新品】iPhone 7 Plus 5.5吋128G智慧型手機(4G)', 'price': 28200, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4363143&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple福利品】iPhone 7 Plus 5.5吋128G智慧型手機(4G)', 'price': 27000, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4347131&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【APPLE 福利品】IPHONE 7 PLUS 智慧型手機(128G 加贈 WUW氣墊空壓殼+9H鋼化玻璃保貼)', 'price': 28690, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4442207&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋 智慧型手機(贈超值好禮)', 'price': 32500, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4302855&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機(紅色/送2個犀牛盾防摔殼+玻璃保貼)', 'price': 32700, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4662748&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple福利品】iPhone 7 Plus 5.5吋 128G智慧型手機', 'price': 29000, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4723290&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【APPLE 福利品】IPHONE 7 PLUS 智慧型手機(128G 加贈 WUW氣墊空壓殼+9H鋼化玻璃保貼)', 'price': 28690, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4538668&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 PLUS RED 128G 5.5吋智慧型手機(紅色特別版)', 'price': 32900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4666065&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋 智慧型手機(贈:五大好禮)', 'price': 32900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4296440&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋 智慧型手機(藍芽運動組)', 'price': 32900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4670461&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【APPLE】iPhone 7 PLUS RED 128G 5.5吋智慧型手機(紅色特別版)保護殼+保護貼組', 'price': 33400, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4672560&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機', 'price': 32900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4789267&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋 紅色版 智慧型手機(送超值好禮)', 'price': 31900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4673656&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機(SNOOPY行電+殼+貼組)', 'price': 33900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4497865&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機(拉拉熊行電+殼+貼組)', 'price': 33900, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4585561&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機(超值殼貼組)', 'price': 33400, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4668853&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【APPLE】iPhone 7 PLUS RED 128G 5.5吋智慧型手機(紅色特別版)(送Office 365)', 'price': 34300, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4766345&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋智慧型手機(送Office 365)', 'price': 34300, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4766328&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
{'name': '【Apple】iPhone 7 Plus 128G 5.5吋 智慧型手機(小米運動組)', 'price': 32300, 'url': 'http://m.momoshop.com.tw//goods.momo?i_code=4538205&mdiv=searchEngine', 'img_url': '/ecm/img/cmm/blank.png'}
Process finished with exit code 0原始碼點我
Last updated