Семён настроил robots.txt но в поиске отобразилось всего две страницы :(
-Как дела Семён, открыл индексацию сайта? - пожимая руку товарищу, говорит Аркадий.
-Да, открыл, но в поисковых системах всего две мои страницы, почему так?
-Тут всё дело в файле Sitemap Сёма - это такой системный файл в котором указаны все страницы твоего сайта, где они располагаются и с какими страницами связаны.
-А для чего вообще нужен этот файл? неужели поисковые системы не могут проиндексировать весь мой сайт сразу? - нахмурив брови, проговорил Семён.
-А ты можешь только открыв книгу понять о чём она, просто увидев заголовок? - улыбнулся Аркадий.
-Смотря сколько в ней страниц, и как хорошо представлена информация на первой странице.
-Вот тебе и отличная аналогия — сайт это своего рода книга с обложкой (главная), предисловием (о компании), и страничкой об авторе (контакты) поисковые системы не могут понять тематику сайта, не проанализировав его полностью, а для этого они должны пройтись по каждой страничке, присваивая ей определенный статус и привязывая к определенным запросам.
Файл Sitemap в этом случае выступает в роли оглавления, ведь по оглавлению куда проще ориентироваться в любой книге, будь в ней 10, 100 или 10 000 страниц.
-Кажется я начал понимать, файл Sitemap нужен для того, чтобы помочь поисковым системам быстрее пройтись по сайту, связав по тематическим группам отдельно расположенные на сайте страницы, а также понять на какой странице какая информация?
-Я бы лучше и не сказал. - похлопав по плечу товарища, сказал Аркадий.
Кстати, если не торопишься, могу тебе ещё вот что про Sitemap рассказать…
Если хочешь увидеть есть ли на твоем сайте карта — после адреса сайта добавляешь /sitemap.xml Должно получиться примерно так https://rosait.ru/sitemap.xml
И да, создать файл Sitemap куда проще чем ты думаешь, все современные cms могут генерировать карту при помощи плагинов - нужно лишь их установить, а также существуют генераторы вроде этого: https://www.xml-sitemaps.com/, просто введи свой сайт в поле и нажми enter, полученный файл залей в корневую папку сайта.
И как я уже говорил если ты введешь в поисковике команду site:названиесайта.ру то ты увидишь сколько и какие страницы твоего сайта можно найти в поисковиках!
А если вдаваться в детали, то есть 2 типа Sitemap — xml и html.