Как сделать проверку наличия директивы host в robots.txt?

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import requests

def check_robots_txt(url):
    # Получаем содержимое файла robots.txt
    response = requests.get(url + "/robots.txt")
    robots_txt_content = response.text
    
    # Проверяем наличие директивы "host"
    if "host:" in robots_txt_content.lower():
        print("Директива 'host' найдена в файле robots.txt")
    else:
        print("Директива 'host' отсутствует в файле robots.txt")

# Пример использования
check_robots_txt("http://example.com")