在這裡插入程式碼片@TOCpython 佇列建立爬去多個網站資料# -- coding:utf-8 _-
“”"
@Author:xudehui
@File:reliangshuju.py
@Time:2020/11/14 18:30
@Motto:學習PYTHON進行中！
“”"
‘’’
https://food.hiyd.com/。這個網站可以查詢食物的熱量資料，還可以用來學習健身動作。

谷薯芋、雜豆、主食:
Request URL: https://food.hiyd.com/list-1-html
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36
paramaters:{
page: 2

https://food.hiyd.com/list-2-html?page=2
}

‘’’

匯入所需的庫和模組：

from gevent import monkey
#讓程式變成非同步模式
monkey.patch_all()
import gevent,requests,bs4,openpyxl,time
from gevent.queue import Queue
from openpyxl import load_workbook,Workbook,worksheet

建立佇列物件，並賦值給work

work = Queue()
url = ‘https://food.hiyd.com/list-{type}-html?page={page}’
for x in range(1,24):
for y in range(1,24):
url_real = url.format(type = x,page=y)
work.put_nowait(url_real)

url1 = ‘https://food.hiyd.com/list-132-html?page={page}’
for x in range(1,24):
url_real1 =url1.format(page = x)
work.put_nowait(url_real1)
print(work)

def crawler(job):# 定義crawler函式
headers = {‘user-agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36’}
# 新增請求頭
while not job.empty():
# 當佇列不是空的時候，就執行下面的程式
url = job.get_nowait()
# 用get_nowait()方法從佇列裡把剛剛放入的網址提取出來
res = requests.get(url, headers=headers)
# 用requests.get獲取網頁原始碼
bs_res = bs4.BeautifulSoup(res.text, ‘html.parser’)
# 用BeautifulSoup解析網頁原始碼
category = bs_res.find(‘b’).text
# 用find提取出標籤的內容,當前頁面所屬的分類
foods = bs_res.find_all(‘li’)
# 用find_all提取出

• 標籤的內容
  for food in foods:# 遍歷foods
  food_name = food.find(‘a’).find_all(‘div’)[1].find(‘h3’).text
  # 用find_all在
• 標籤下，提取出第二個
  標籤中

  標籤中的文字，也就是食物名稱
  food_calorie = food.find(‘a’).find_all(‘div’)[1].find(‘p’).text
  # 用find_all在

  • 標籤下，提取出第二個
    標籤中

    標籤中的文字，也就是食物熱量
    food_url = ‘http:’ + food.find(‘a’)[‘href’]
    # 用find_all在

  • 標籤下，提取出唯一一個標籤中href屬性的值，跟’http:'組合在一起，就是食物詳情頁的連結
    print([category, food_name, food_calorie, food_url])
    # 列印食物的名稱

• tasks_list = []

  建立空的任務列表

  for x in range(5):
  # 相當於建立了5個爬蟲
  task = gevent.spawn(crawler(work))
  # 用gevent.spawn()函式建立執行crawler()函式的任務
  tasks_list.append(task)
  # 往任務列表新增任務
  gevent.joinall(tasks_list)

  用gevent.joinall方法，啟動協程，執行任務列表裡的所有任務，# 歡迎使用Markdown編輯器