Перед тем как дать знать поисковикам о вашем сайте нужно подготовить сайт к этому. Одним из важных этапов подготовки является создание файла для поисковых роботов. При создании данного файла никаких особых навыков иметь не нужно. Достаточно просто знать что вы хотите закрыть от индексирования роботом. Этим вы улучшаете не только сео показатели блога, но и защищаетесь от недоброжелателей, которые вдруг захотят взломать сайт.
В этой статье вы узнаете:
Файл robots
Robots – это файл, который ограничивает доступ к содержимому на вашем личном сайте. А зачем что-то ограничивать скажете вы? Да все просто! Как только робот поисковика заходит на блог, то он сразу же начинает искать этот файл. Даже если вы нечего не хотите запрещать роботу, но он имеется, то индексация будет производиться быстрее, чем без него. Вот и можно ускорить индексацию даже без знаний как создавать правильный robots. Но мой совет это все-таки ограничить доступ поисковикам.
Как создать robots
Для того что б создать нужно сначала изучить как правильно его составить. Но если честно, то разбираться даже не нужно. Вот приведу пример как можно самому составить правильный robots. Расширение этот файл имеет txt, то есть создается в обычном блокноте. Надеюсь как создать блокнот вы знаете. Напомню жмете правой кнопкой мышки и клацаете на блокнот. Все блокнот создан. Не забудьте название дать ему – robots. Вот все папки и данные, которые имеются на моем блоге под wordpress:
Я создал вот такой для google:
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Вот в этом примере видно, что я запретил доступ поисковика к папкам, которые можно видеть на картинке. User-agent: Googlebot – это показывает, что применять эти действия можно только для google. Если вы хотите применить команды для всех поисковых роботов, то в эту строчку нужно написать ” * “.
А что насчет других поисковиков? Вот пример моего файла robots для яндекса:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Host: tut-blog.ru
На примере видно, что роботс для яндекса практически нечем не отличается. Для яндекса добавляется строка Host: tut-blog.ru. Почему именно только для яндекса добавляется, а для google нет, я даже не знаю. Видно, что создать robots легче, чем его название.
Кроме правильного файла робота нужно создать карту сайта, которая тоже вписывается в робота. Читайте «Как помочь поисковику не потеряться у вас на сайте». Но если вам необходимо проверить на правильность, то можно воспользоватся онлайн сервисами или же в кабинетах вебмастера гугл и яндекса.
На этом все. Надеюсь я убедил в необходимости создания роботс и у вас не составит труда при его построении.
АААА…забыл еще. Для того чтобы просмотреть файл робота любого сайта нужно «имя сайта/robots.txt».
Комментариев нет:
Отправить комментарий