Джон Мюллер напомнил, что для удаления веб-страниц из поискового индекса Googlе следует использовать тег noundex, а не директивы файла robots.txt.
#новости
https://webformyself.com/direktivy-robots-txt-ne-prednaznacheny-dlya-deindeksacii-stranic-sajta/