Представитель Google рассказал, как поисковому роботу блокировать доступ к тестовой версии сайта. Лучше всего для этого подходит аутентификация на стороне сервера.
#новости
https://webformyself.com/servernaya-autentifikaciya-luchshij-sposob-blokirovki-skanirovaniya-sajta/