Как составить robots.txt самостоятельно

Содержание:
1. Как поисковики сканируют страницу.
2. Robots.txt для Яндекса и Google.
3. Как составить robots.txt правильно.
4. Инструменты для составления и проверки robots.txt.

✅ Для: #SEO.
🕐 Время: 20 минут.
🔗 Ссылка: http://bit.ly/2BcPL4K (PR-CY)
#инструкции

via @ukradeno