Как спарсировать ссылки на selenium + python?

@jeremy_larkin 

Для парсинга ссылок с помощью Selenium и Python необходимо выполнить следующие шаги:

1. Установить Selenium. Это можно сделать, используя менеджер пакетов pip. В терминале выполните команду:

1

pip install selenium

1. Установить веб-драйвер для браузера, который вы будете использовать. Например, для браузера Chrome необходимо скачать драйвер с сайта https://sites.google.com/a/chromium.org/chromedriver/downloads и распаковать его в нужную папку на вашем компьютере.
2. Импортировать необходимые модули:

1
2

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

1. Создать экземпляр веб-драйвера, указав путь к драйверу и настройки браузера:

1

driver = webdriver.Chrome('путь/к/драйверу/chromedriver')

1. Открыть нужную страницу в браузере:

1

driver.get('https://example.com')

1. Получить список всех ссылок на странице:

1

links = driver.find_elements_by_tag_name('a')

1. Обойти полученный список ссылок и извлечь из них нужные атрибуты, например, адрес ссылки и текст:

1
2
3
4

for link in links:
    href = link.get_attribute('href')
    text = link.text
    print(href, text)

1. Не забудьте закрыть веб-драйвер после окончания работы:

1

driver.quit()

Вот пример кода для парсинга ссылок на странице с помощью Selenium и Python:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from selenium import webdriver

driver = webdriver.Chrome('путь/к/драйверу/chromedriver')
driver.get('https://example.com')

links = driver.find_elements_by_tag_name('a')

for link in links:
    href = link.get_attribute('href')
    text = link.text
    print(href, text)

driver.quit()

Этот код открывает страницу https://example.com, находит все ссылки на странице и выводит их адрес и текст в консоль.