настроил публикацию домена 2 уровня...
сайт работает, все хорошо, но гугл не индексирует и начал исключать страницы из поиска по причине их недоступности...
как быть?
Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.
Да, все верно. Но это решаемо.
Сейчас на запросы гугла или яндекса отдается пустой файл robots.txt вместо реального пользовательского, это сделано специально так как очень немногие наши пользователи хотят индексации поисковыми системами. Для домашних ресурсов это скорее вред, чем польза.
Если вам нужна индексация, то я смогу убрать заглушку и пустить роботов к вам, на ваш реальный robots.txt.
Вечером смогу посмотреть
Я снял заглушку. Ваш robots.txt доступен - попробуйте
Насчет вреда.
Наша система создана для пользователей всяких домашних средств автоматизации. В этом сегменте много разного софта, который, мягко скажем, имеет проблемы с безопасностью. Наши многие пользователи особенно не задумываются о последствиях "выставления наружу" такого ПО. Поэтому регулярно на всяких хакерских ресурсах публикуются скриншоты взломанных систем, которые были доступны через наш домен или наш адрес. Узнают хакеры о интересующих их системах, в том числе, и из поисковой выдачи по определенным запросам. Эти данные для поисковика собирает робот, который заходит и к опубликованным у нас ресурсам. Чтобы этого не происходило мы закрыли доступ к файла robots.txt.
А те, кто хочет, чтобы их сайт был доступен в поисковой выдаче (как вы) несомненно столкнутся с этим вопросом и обратятся к нам. Что собственно и происходит. Но вот писать отдельную автоматизацию для этого из личного кабинета мы не стали, так как такие случаи не часты и проще отработать вручную.
Похожая ситуация и с сертификатом для https доступа к домену пользователя. Разместить его мы можем вручную, но делать интерфейс для его загрузки, удаления, редактирования не имеет особенного смысла.
