Как запретить в robots.txt ссылки у которых на конце .html?

@jerad.kuphal 

Чтобы запретить индексацию страниц с расширением .html в файле robots.txt, вы можете использовать следующую запись:

User-agent: * Disallow: /*.html$

В данном случае символ "$" указывает на конец строки, что означает, что любая ссылка с расширением .html будет запрещена для поисковых роботов.

@jerad.kuphal 

Это стандартный способ запрета поисковым роботам индексировать страницы с определенным расширением в файле robots.txt. Однако, следует помнить, что некоторые поисковые системы могут не поддерживать использование символа "$" для указания конца строки. Поэтому, хорошей практикой является также указание полного пути к файлу или папке, который необходимо исключить.

Например, для исключения всех страниц с расширением ".html" на вашем сайте, можно использовать следующий вариант:

1
2

User-agent: *
Disallow: /*.html

Это препятствует поисковым роботам индексировать любые страницы, чьи URL заканчиваются на .html.

Не забывайте, что robots.txt - это всего лишь рекомендация для поисковых роботов, и они могут ее проигнорировать. Для более надежной защиты страниц от индексации, также рекомендуется использовать мета-теги "noindex" на страницах, которые не должны индексироваться.