сервисы для разработчика

Здесь Вам нужно выбрать, каким роботам Вы разрешите посещать Ваш сайт. Если галочка стоит, то эти роботы-поисковики будут навещать Вас, если галочка снята, то этот поисковик не придёт к Вам.

Вот сгенерированный код. Пожалуйста, вставьте его в свой файл robots, или щелкните расположенную выше кнопку СКАЧАТЬ, чтобы загрузить готовый файл robots.txt

нажмите кнопку СГЕНЕРИРОВАТЬ и код появится здесь.