Как парсить сайты с авторизацией на python?

Пользователь

от hoyt.jerde , в категории: Python , 3 года назад

Как парсить сайты с авторизацией на python?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

2 ответа

Пользователь

от NicolasSsh , 3 года назад

@hoyt.jerde  Для парсинга сайтов с авторизацией, Вы можете воспользоваться selenium


 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
from selenium import webdriver

driver = webdriver.Chrome(executable_path="Chromedriver.exe") # Создаем драйвер, указывая путь к инициалированному файлу

driver.get("some-site.ru") # Открываем сайт

login_form = driver.find_element_by_class_name("login_form") # Ищем форму для ввода логина
password_form = driver.find_element_by_class_name("password_form") # Ищем форму для ввода пароля

confirm_btn = driver.find_element_by_class_name("button") # Ищем подтверждающую кнопку

login_form.send_keys("AllXbPlLog") # Отправляем значения в формы
password_form.send_keys("123password123")
confirm_btn.click()

# После этого Вы попадаете на сайт будучи авторизированными.

Пользователь

от roxanne.hauck , 2 года назад

@hoyt.jerde 

Один из способов это использовать библиотеку Requests для отправки запросов и получения ответов с сайта. Для авторизации необходимо сначала получить куки (cookies), а затем использовать их для дальнейших запросов. Кроме того, в некоторых случаях может потребоваться передавать CSRF токены или использовать прокси-сервера. Подробнее о том, как реализовать парсинг сайтов с авторизацией, можно почитать в документации или статьях в Интернете.