Как создать многопоточный парсер на selenium?

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

import threading
import queue
from selenium import webdriver

# Количество потоков
num_threads = 4

# Ссылки для парсинга
links = [
    "https://example.com/page1",
    "https://example.com/page2",
    "https://example.com/page3",
    "https://example.com/page4",
    "https://example.com/page5"
]

# Очередь задач
queue = queue.Queue()

# Заполнение очереди задач
for link in links:
    queue.put(link)

# Функция для выполнения задач
def process_queue():
    while True:
        link = queue.get()
        driver = webdriver.Chrome() # или другой драйвер
        driver.get(link)
        # Выполнение парсинга
        driver.quit()
        queue.task_done()

# Создание потоков и запуск их работы
for i in range(num_threads):
    t = threading.Thread(target=process_queue)
    t.daemon = True
    t.start()

# Ожидание завершения работы всех потоков
queue.join()