Что такое мета-тег robots
Уже само название намекает на то, что мета-тег (МТ) robots имеет непосредственную связь с роботами поисковиков. Внедряя таких роботов в коды страниц, можно указывать поисковым ботам на свои требования относительно индексирования содержащейся в них информации и линков, которые в них имеются.
Чтобы предотвратить передачу веса странички по линкам, которые на них расположены, или найти на сайте дублирующийся контент, нужно чтобы внедрением html-тега robots занимались профессионалы, например, специалисты компании https://lungor.com.ua/uslugi/seo/.
Как выглядит мета-тег robots?
Когда вы хотите выставить по какой-то из страниц требования по индексированию, нужно в теге <head> ее html-кода установить html-тег robots со следующей структурой: <meta name=”robots” content=”xxxxx”/>. Для того чтобы роботы поисковиков правильно поняли МТ robots, нужно чтобы атрибут content («ххххх») состоял из одной или череды стандартных директив:
- index/noindex – индексировать или игнорить содержимое страницы;
- follow/nofollow – проводить анализ или игнорировать линки, находящиеся на страничке;
- all/none – индексировать или игнорировать страничку в полном объеме;
- noimageindex – не индексировать изображения на страничке;
- noarchive – не выводить в результатах поиска линка «Сохраненная копия»;
- nosnippet – не выводить в поисковых результатах под названием странички часть текста, который описывает ее;
- noodp – запрещает гугл-боту применять в качестве сниппета странички данные из DMOZ.
Для чего мета-тег robots?
Некоторые могут подумать, что данный мета-тег ничем не отличается от перенастройки файла robots.txt. Но есть некоторые особенности МТ robots, которые делают его более интересным для внедрения:
- с помощью этого html-тега можно более тонко осуществить настройку индексации, заблокировав контент, оставив при этом доступ к ссылкам, и в обратном порядке;
- если закрыт доступ к корневому каталогу веб-ресурса, невозможно редактировать robots.txt, в то время как html-тег robots абсолютно доступен;
- в файле robots возможно запретить индексацию целой директории, за счет чего доступ роботам закрывается ко всем страницам этого каталога, а мета-тег robots нужно прописывать отдельно по каждой странице. МТ лучше использовать при индексации выборочных страниц сайта.
Чтобы контролировать индексацию страничек, возможно в одно и то же время внедрять МТ robots и настройку одноименного файла. Их команды могут дублироваться либо отвечают за установку условий индексирования по разным страницам. Но в некоторых случаях дублирование команд может привести к некорректному принятию решений, по умолчанию будет выполнять более строгое условие, то есть по спорным страницам индексирование проводиться не будет.
В SEO-продвижении часто пользуются разными вариантами управления индексацией веб-сайта, при этом только специалист может точно определить, какой из них наиболее эффективен в той или иной ситуации.
Комментарии