Как парсить текст с сайта на python?

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import requests
from bs4 import BeautifulSoup

def get_html(url : str) -> str:
    response = requests.get(url) # Делаем запрос

    return response.text # Возвращаем html-документ

def parse_html(html : str) -> str:
    soup = BeautifulSoup(html, 'html.parser') # Создаем объект класса BeautifulSoup с режимом "html.parser"

    text = soup.find('div', {'class' : 'some-class'}).get_text() # Парсим текст по тегу div и классу "some-class"

    return text # Возвращаем полученные данные

if __name__ == "__main__":
    html = get_html("https://dropcode.ru")
    text = parse_html(html = html)
    
    print(text)

1

pip install beautifulsoup4

1

from bs4 import BeautifulSoup

1
2
3
4

import requests

url = "https://www.example.com"
page = requests.get(url)

1

soup = BeautifulSoup(page.content, "html.parser")