Apostrofkoda'ru
Работы с сайтом

21.06.2021

Как настроить robots.txt для WordPress, где находится и какой плагин использовать

Содержание:

Теперь, когда вы выполнили первоначальную настройку и готовы приступить к наполнению сайта или решили запустить проект в работу, то самое время настроить файл robots.txt для WordPress и/или WooCommerce.

Где в WordPress robots.txt

Если вы самостоятельно установили свежую версию Вордпресс, то данный файл, необходимо создать и сохранить его в корневой папке сайта на хостинге. После этого, файл будет доступен по адресу https://домен вашего сайта/robots.txt или http://домен вашего сайта/robots.txt.

Загружаем robots на хостинг

Загружаем robots на хостинг, выбрать файл и нажать загрузить

Загружаем robots на хостинг, проверяем

Если вам достался готовый и рабочий проект, то тут возможно два варианта:

  1. файл robots.txt уже настроен и находится в корневой папке сайта;
  2. его забыли создать.

Индексация сайта на момент разработки

Если проект находится в разработке, то желательно активировать функцию, которая в WordPress находится: «Настройки», «Чтение», «Видимость для поисковых систем», «Попросить поисковые системы не индексировать сайт» и нажмите кнопку «Сохранить изменения». А в файле robots.txt временно запретить доступ к корневой папке поисковым роботам.

Не индексировать сайт на момент разработки

Зачем это нужно? — спросите вы.

Дело в том, что при создании сайта/блога в виду множества причин, будут не раз меняться url страниц и файлов сайта (меняются расположение рубрик/страниц/записей/карточек товаров, подключается транслитерация кириллицы для страниц и загружаемых файлов, создаются тестовые страницы...).

Чтобы «неправильные» адреса не попали в поисковую выдачу, необходимо сделать выше написанное. А когда все будет готово — то пункт «Видимость для поисковых систем» верните в исходное положение (убрать флажок в чекбоксе) и настройте правильный robots.txt для WordPress и/или WooCommerce.

Добавлять сайт в кабинет Яндекс Вебмастер и/или в Google Search Console – необходимо только тогда, когда будите готовы запустить проект в работу и на сайте будет настроен robots.txt и сформирована карта сайта в формате xml.

Настройка через хостинг и плагин

Если вы создаете файл самостоятельно, то для работы с ним рекомендуется использовать текстовый редактор, который не добавляет лишний код в разметку, например, Notepad++.

Основные директивы, которые понадобятся в настройке robots.txt через хостинг или плагин, например, Yoast SEO — выглядят следующим образом:

  • User-agent: — указывает к каким поисковым роботам применяется правило, например, Yandex, * (роботы всех ПС), Googlebot;
  • Disallow: — запрещает индексацию;
  • Allow: — индексация разрешена;
  • Sitemap: — указывает на расположение файла sitemap.xml. В данном файле содержатся все страницы, предназначенные для индексирования;
  • Host: — указывает на главное зеркало сайта, например, https://домен.ru/. В данный момент, директива Host не используется и прописывать ее в файле robots.txt — не надо.

Как запретить индексирование сайта в robots.txt

Чтобы запретить индексирование сайта в robots.txt для всех поисковых роботов, используйте следующую конструкцию:

User-agent: *
Disallow: /

robots для блога/сайта на WordPress

Файл robots.txt для WordPress выглядит следующим образом:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Disallow: /*?*
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg

Sitemap: https://заменить на домен вашего сайта/sitemap.xml (если не используете плагин Yoast SEO)

Sitemap: https://заменить на домен вашего сайта/sitemap_index.xml (если используете плагин Yoast SEO)

Для WooCommerce

Файл robots.txt для WooCommerce выглядит следующим образом:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /tag
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: *?replytocom
Disallow: *?*
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/
Disallow: /wp-login.php
Disallow: /wp-register.php
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Disallow: *?replytocom
Disallow: *?*
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/
Disallow: /wp-login.php
Disallow: /wp-register.php
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg

Sitemap: https://заменить на домен вашего сайта/sitemap.xml (если не используете плагин Yoast SEO)

Sitemap: https://заменить на домен вашего сайта/sitemap_index.xml (если используете плагин Yoast SEO)

Готовый файл robots.txt загрузите на хостинг, в корень сайта или создайте его там через стандартный менеджер файлов и сохраните изменения.

Повторюсь, если редактируете robots.txt на компьютере или работаете с любым другим файлом, который содержит в себе код, то используйте для этого Notepad++.

Для примера, этот текст написан в OpenOffice и если его скопировать и вставить, например, в онлайн HTML-редактор, то увидите это:

Пример: лишний код

Некоторые редакторы автоматически добавляют теги разметки в текст, а чтобы этого не происходило — используйте предназначенные для этого инструменты.

Настройка через плагин Yoast SEO

Если у вас установлен плагин Yoast SEO, то для создания и редактирования файла robots.txt в нем предусмотрена эта функция.

Для того,чтобы создать или редактировать — перейдите в настройки «SEO» и выберите пункт «Инструменты».

Выбирите пункт Инструменты для настроек robots.txt в Yoast SEO

Если файла нет, то плагин предложит создать его.

Создать robots.txt в Yoast SEO

Для этого нажмите на соответствующую кнопку «Создать файл robots.txt». В поле ниже автоматически появятся следующие строки:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Стандартный robots.txt Yoast

Если вы хотите запретить поисковым роботам индексировать сайт, то измените содержимое на:

User-agent: *
Disallow: /

Если вы готовы запустить проект, то настройте содержимое файла через редактор плагина.

Не забудьте сохранить настройки.

Как создать sitemap.xml для WordPress

Файл sitemap.xml для WordPress создает тот же плагин Yoast SEO автоматически и доступен по адресу: https://домен вашего сайта/sitemap_index.xml.

Данный плагин имеет всего две настройки xml-карты:

  • Вкл;
  • Выкл.

Чтобы активировать или выключить эту функцию, необходимо перейти в «SEO», «Общие», дополнительная вкладка «Возможности», пункт «XML-карта сайта» и установить в желаемое положение.

Создать sitemap.xml для WordPress в Yoast SEO

Здесь вы найдете и ссылку, перейдя по которой можно просмотреть карту сайта WordPress в формате xml.

Где sitemap.xml в Yoast SEO

Закрыть от индексации отдельные страницы

Часто требуется закрыть технические страницы от индексации. И забегая вперед, отмечу, что не стоит закрывать от индексации страницы в robots.txt – в Google Search Console быстро появиться ошибка.

Как быть?

Для того, чтобы закрыть от индексации отдельно взятые страницы сайта собранного на WordPress, используйте плагин Yoast SEO, в котором предусмотренный эти настройки.

Для этого переходим в редактирование страницы, записи или карточки товара и спускаемся вниз, к SEO блоку Yoast.

Под вкладкой «Ключевое содержимое» находим вкладку «Дополнительно». В ней необходимо указать следующие настройки:

  • Разрешить поисковым системам показывать тип записей «Страница» в результатах поиска? — Нет;
  • Должны ли поисковые системы проходить по ссылкам в этой записи типа «Страница»? — No;
  • Расширенная настройка тега Meta Robots – Не архивировать.

Затем нажмите в правом верхнем углу «Обновить».

Как закрыть от индексации страницы в Yoast SEO

Теперь данная страница не будет учитываться в результатах поиска, поскольку в исходном коде страницы будут прописаны атрибуты noindex и nofollow для Robots Tag.

Атрибуты noindex и nofollow в исходном коде

Чтобы просмотреть исходный код страницы, нажмите сочетание клавиш ctrl + u.

На этом я завершаю и надеюсь, что настройка robots.txt для WordPress не вызовет у вас затруднений, после изучения данной статьи. Вы теперь знаете где он находится и какой плагин использовать для его редактирования через админку.