klondike

Корпоративный блог студии "Клондайк"

Клондайк интернет маркетинга - WEB, SEO, SMM


Previous Entry Share Next Entry
Игошев Дмитрий
klondike

GOOGLE & robots.txt для 1С-Битрикс.

В течении этой недели многие web-мастера получили от Google письма и сообщения следующего содержания (см. скриншоты).



Скриншот №1


Скриншот №2



Мы уже писали о том что Google начал оценивать удобство пользования сайтом на мобильных устройствах и предоставили один из инструментов оптимизации. Для оценки удобства просмотра сайта на мобильном устройстве роботу Google нужны JS и CSS файлы влияющие на отображение страницы, а из-за настроек robots.txt он не может этого сделать.

Дело в том что в стандартных настройках robots.txt для 1С-Битрикс закрывается директория /bitrix/, а в ней хранится кеш JS и CSS файлов!

Сам 1С-Битрикс в одной из статей на habrahabr приводит пример дополнительных настроек robots.txt.

1C-Битрикс советует открыть пять разделов:


Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/components/
Allow: /bitrix/panel/


Но при соблюдении современных стандартов разработки эти правила избыточны, на своих проектах мы используем следующий стандарт дополнительных настроек файла robots.txt для Google.
Резонный вопрос - "Почему не подходит вариант от самого 1С-Битрикс?"
Пройдемся по каждой строчке.


  1. "Allow: /bitrix/cache/" - открывается доступ ко всему кешу, но помимо JS и CSS там хранится уйма *.php файлов с кешем и индексировать их не нужно.

  2. "Allow: /bitrix/js/" - открывается доступ к JS базовой поставки БУС, но JS используемый в публичной части будет закеширован и сменит прописку на - /bitrix/cache/js/.

  3. "Allow: /bitrix/templates/" - открывается доступ к шаблонам сайта, но это OLD_SCHOOL, уже 2 с лишним года доступна папка /local/ в которой находится весь custom разработчика, в том числе шаблоны сайтов, компоненты, CSS, JS и прочие файлы. Этой директивой можно воспользоваться на древних проектах, собранных без использования /local/.

  4. "Allow: /bitrix/components/" - открывается доступ к компонентам, во первых есть /local/, во вторых если в компоненте подключается CSS, то он кешируется, подключается к общей CSS таблице и хранится тут - /bitrix/cache/css/, со скриптами аналогично.

  5. "Allow: /bitrix/panel/" - открывается доступ к файлам панели управления. Тут совсем ничего не понятно, кто-то будет давать Google индексировать интерфейс Эрмитаж? =)

Из всего вышеперечисленного делаем вывод что предложенный 1С-Битрикс'ом вариант не подходит, для себя мы оставили только следующее:


Allow: /bitrix/cache/js/
Allow: /bitrix/cache/css/


К сожалению в автоматически генерируемом robots.txt от 1С-Битрикс БУС этих директив нет, для того чтобы не забывать их проставлять, в обновлении 1.0.8 нашего решения Klondike.tools будет доработан валидатор robots.txt.





Оригинал статьи в корпоративном блоге Студии Клондайк, автор Дмитрий Игошев.


?

Log in

No account? Create an account