Проблема с индексацией сайта и файлом Sitemap.

[lekvar]

Добрый день.

 

Сайт на ocStore 3.0.3.7. Почти год назад сделал и планировал запускать интернет-магазин. Но потом планы поменялись и сайт просто висел на хостинге. Сайт полностью рабочий. Добавлено немного товаров, настроена корзина. Сайт добавлен в Google Search Console. Добавлена карта сайта туда же. Сайт до недавнего времени был не нужен и просто так висел на хостинге. Сайт двуязычный.

 

Теперь сайт понадобился и я полез смотреть в каком он состоянии. И у с удивлением обнаружил, что сайта вообще нет в индексе Google! Google Search Console не принимает sitemap. Пробовал несколько раз. Пытался разобраться самостоятельно, но ничего не могу понять...

 

Может кто-то сталкивался с такой проблемой? Подскажите где копать? Может какие-то дополнительные данные нужны для того, что бы понять что с сайтом?

[nikoshot]

27.01.2023 в 18:33, lekvar сказал:

Добрый день.

 

Сайт на ocStore 3.0.3.7. Почти год назад сделал и планировал запускать интернет-магазин. Но потом планы поменялись и сайт просто висел на хостинге. Сайт полностью рабочий. Добавлено немного товаров, настроена корзина. Сайт добавлен в Google Search Console. Добавлена карта сайта туда же. Сайт до недавнего времени был не нужен и просто так висел на хостинге. Сайт двуязычный.

 

Теперь сайт понадобился и я полез смотреть в каком он состоянии. И у с удивлением обнаружил, что сайта вообще нет в индексе Google! Google Search Console не принимает sitemap. Пробовал несколько раз. Пытался разобраться самостоятельно, но ничего не могу понять...

 

Может кто-то сталкивался с такой проблемой? Подскажите где копать? Может какие-то дополнительные данные нужны для того, что бы понять что с сайтом?

Проверьте robots.txt

проверьте карту сайта на ошибки.. что бы у нее был ответ 200

в интернете есть онлайн проверка

вариантов может быть куча..

[lekvar]

27.01.2023 в 19:03, nikoshot сказал:

Проверьте robots.txt

проверьте карту сайта на ошибки.. что бы у нее был ответ 200

в интернете есть онлайн проверка

вариантов может быть куча..

 

Странно... Проверил карту сайта через несколько сервисов. Все показывают ошибку. Подробностей нет, но то, что карта не доступна или содержит ошибки это факт.

Сама карта расположена по условному адресу https://site.com/index.php?route=extension/feed/google_sitemap и если открыть в браузере, то все ок. Карта открывается и все читается.

Зашёл посмотрел в robots.txt. Там ничего примечательного не вижу. По-моему он у меня дефолтный, кроме последней строчки, где адрес карты сайта указан:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

Sitemap: https://site.com/index.php?route=extension/feed/google_sitemap

 

Полез посмотрел в файл .htaccess. Есть подозрение, что может быть из-за некоторых модификаций там могут быть проблемы. Вспомнил, что когда ставил плагин для мультиязычности добавлял туда какой-то код и, по-моему, после активации плагина самой карты сайта тоже добавлял туда кусок кода:

 

....

# SEO URL Settings
RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.site.com$ [NC]
RewriteRule ^(.*)$ https://site.com//$1 [R=301,L]

....

RewriteBase /

RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap&lang_code=ru-ru [L]
RewriteRule ^ua/sitemap.xml$ index.php?route=extension/feed/google_sitemap&lang_code=uk-ua [L]

....

 

 

 

 

 

 

[nikoshot]

27.01.2023 в 20:45, lekvar сказал:

Сама карта расположена по условному адресу https://site.com/index.php?route=extension/feed/google_sitemap 

какой то редирект.. не открывается карта сайта

[lekvar]

27.01.2023 в 21:39, nikoshot сказал:

какой то редирект.. не открывается карта сайта

 

Так карта сайта не открывается потому, что site.com это просто условное название. Реальный домен сайта другой.

[WarStyle]

27.01.2023 в 20:45, lekvar сказал:

Все показывают ошибку.

 

Какую ошибку?

 

Гугл не принимает карты сайта без, ЧПУ, попробуйте задать ЧПУ.

[pawana]

В 27.01.2023 в 18:33, lekvar сказав:

Google Search Console не принимает sitemap

Можливо, сайтмеп генерується задовго для гугла. Є така проблема стандартного модуля. 

Спробуйте зробити наступним чином:
1. згенеруйте сайтмеп за вашим посиланням

2. збережіть його і завантажте на сервер

3. скорміть гуглу за новою адресою.

Якщо все буде гаразд, то або купляйте модуль швидкої генерації або, якщо змін в товарах не багато, то цей модуль 

[lekvar]

28.01.2023 в 09:42, WarStyle сказал:

Какую ошибку?

 

Проверил карту сайта через сайт https://www.xml-sitemaps.com/, показывает, что все ок.
А вот через https://seositecheckup.com/analysis выдал мне вот такое:

https://site.com/index.php?route=extension/feed/google_sitemap and https://www.site.com/index.php should resolve to the same URL, but currently do not.

 

Т.е., если я правильно понял, якобы не настроен редирект с www на без www. Но это не так. На сайте такой редирект настроен. Если взять любой адрес страницы без www, дописать в адрес www и нажать Enter произойдёт редирект. На карте сайта это работает так же. Я проверил.

[lekvar]

28.01.2023 в 09:42, WarStyle сказал:

Гугл не принимает карты сайта без, ЧПУ, попробуйте задать ЧПУ.

 

Так ЧПУ есть. В настройках сайта активирован SeoPro от ocStore. И ЧПУ включено и даже .html в конце страниц с товарами активировано.

[lekvar]

29.01.2023 в 15:51, pawana сказал:

Можливо, сайтмеп генерується задовго для гугла.

 

Вітаю.

Як це можливо? На сайті пару десятків товарів лише. Суто візуально карта сайта генерується швидко. Ну принаймі не 2 хвилини)

Я не думаю, що проблема в цьому. Мені здається, що тут питання в двомовності сайта. Може я і помиляюсь. Але щоб це перевірити, мені треба вимкнути плагін мультимовності зі всіма ризиками. Не дуже хочеться)

[lekvar]

У меня еще один вопрос возник. Если проблема только в индексации карты сайта со стороны Googl-а, то почему Google за целый год так и не проиндексировал сайт? Он что игнорирует сайт, если не может проиндексировать карту сайта?

[chukcha]

Наличие карты и ссылок в карте не гарантирует индексацию.
Мой модуль - интересен на этапе  запуска и контроля.
Можно дать, конечно команду из консоли, но на это уходит масса времени.
Знаю, что иногда страницы попадают в индекс, а потом чудом оттуда улетают.
В основном это происходит при отсутствии трафика на сайта - внешних ссылок, или же из поиска.
Да, казалось бы (нет сайта в индексе - нет трафика с поиска) но это так, если вы находитесь за пределами приемлемого топа.

Двумовність ніяк не впливає на індексацію.
 

[lekvar]

29.01.2023 в 15:51, pawana сказал:

Спробуйте зробити наступним чином:
1. згенеруйте сайтмеп за вашим посиланням

2. збережіть його і завантажте на сервер

3. скорміть гуглу за новою адресою.

 

Спробував так зробити. Завантажив просто sitemap.xml в корень сайту і дійсно Google Console проковтнув цей файл без проблем...

Так а що за модуль швидкої генерації? Можете якийсь порадити? 

Той модуль, що ви скинули, Google Indexing Api, я так розумію він просто пришвидшує сканування карти сайту. А мені виходить потрібен модуль який буде формувати карту сайта не за адресою https://site.com/index.php?route=extension/feed/google_sitemap а за https://site.com/sitemap.xml

Чи може я щось не так зрозумів?

[Etegro]

Встановіть і не будете мати ніяких проблем з мапою.

 

[chukcha]

30.01.2023 в 00:35, lekvar сказал:

Той модуль, що ви скинули, Google Indexing Api, я так розумію він просто пришвидшує сканування карти сайту.

Нет, модуль есть альтернатива
Карта - это список  ссылок
Google Indexing Api дает сигнал для ПС (в данном случае для Google) на индексирование отправленных страниц.

[pawana]

В 30.01.2023 в 00:35, lekvar сказав:

Можете якийсь порадити? 

Ні, бо я собі так і не встановив  Мав таку ж проблему з сайтмеп, просто час від часу оновлював її вручну. Загалом, для гугла цього достатньо, нові позиції він підхватує сам якщо вони є на головній. 

В 30.01.2023 в 00:35, lekvar сказав:

Той модуль, що ви скинули, Google Indexing Api, я так розумію він просто пришвидшує сканування карти сайту.

Не зовсім. Трохи додам до відповіді @chukcha. Основний плюс цього модуля в тому, що він може "викликати" бота після зміни/додавання конкретної позиції. Це, теоретично, може пришвидшити індексацію/переіндексацію в певних умовах. До того ж, наприклад, у мене в сніпет попадає і ціна товару також, тому при зміні ціни, особливо при зниженні, важливо щоб гугл дізнався про це і вніс зміни якомога швидше.

Щодо виліту з індексу - тут @chukchaзагалом картину описав. Підключайте гугл аналітику і ганяйте рекламу. Якщо гугл побачить, що ваш магазин цікавий покупцям - сам проіндексує. Якось так.

[lekvar]

Дякую всім за відповіді. Буду дивитись, пробувати, аналізувати. Пізніше за результатами відпишусь.

[lekvar]

Четно кажучи, дуже здивований, що така базова опція як карта сайта не працює нормально з коробки...

[pawana]

В 30.01.2023 в 13:22, lekvar сказав:

базова опція як карта сайта не працює нормально з коробки...

Скоріше за все, це якість зміни з боку гугла тому що раніше все було гаразд

[WarStyle]

29.01.2023 в 20:58, lekvar сказал:

 

Так ЧПУ есть. В настройках сайта активирован SeoPro от ocStore. И ЧПУ включено и даже .html в конце страниц с товарами активировано.

 

ЧПУ не у товаров и т.д., а именно у сайтмапа. У Вас как вот такая ссылка: index.php?route=extension/feed/google_sitemap, а должна быть короткая, например /sitemap

[Etegro]

30.01.2023 в 13:24, pawana сказал:

Скоріше за все, це якість зміни з боку гугла тому що раніше все було гаразд

Так і є. Вже майже рік не приймає стандартну мапу. Десь читав, що причина в редіректі.

[chukcha]

30.01.2023 в 13:35, WarStyle сказал:

 

ЧПУ не у товаров и т.д., а именно у сайтмапа. У Вас как вот такая ссылка: index.php?route=extension/feed/google_sitemap, а должна быть короткая, например /sitemap

sitemap.xml

[WarStyle]

30.01.2023 в 13:56, chukcha сказал:

sitemap.xml

 

Да хоть xml, хоть нет - у меня принимало, главное чтобы чпу было)

[chukcha]

30.01.2023 в 14:00, WarStyle сказал:

, хоть нет - у меня принимало

в основном sitemap используют для html карты

[lekvar]

30.01.2023 в 13:35, WarStyle сказал:

ЧПУ не у товаров и т.д., а именно у сайтмапа. У Вас как вот такая ссылка: index.php?route=extension/feed/google_sitemap, а должна быть короткая, например /sitemap

 

А вы об этом. Понял. 

Так это опять ставить какой-то модуль нужно дополнительный?