проблемы с sitemap.xml

[baxabit]

при отправке гуглу domain.ru/sitemap.xml

выдаёт ошибку 

При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
URL, запрещенный файлом robots.txt

файлы robots.txt и .htaccess

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /index.php?

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?
Clean-param: tracking

Sitemap: http://domain.ru/sitemap.xml
Host: www.domain.ru

Options +FollowSymlinks
Options -Indexes

<FilesMatch "\.(tpl|ini|log)">
 Order deny,allow
 Deny from all
</FilesMatch>

<FilesMatch "error.(txt)$">
Order Allow,Deny
Deny from all
</FilesMatch>

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]
RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

[Гість brk]

при отправке гуглу domain.ru/sitemap.xml

выдаёт ошибку 

С чего Вы взяли,что он по этому адресу находится?

Зайдите в "каналы продвижения" включите и скопируйте адрес.

[baxabit]

при отправке гуглу domain.ru/sitemap.xml

выдаёт ошибку 

С чего Вы взяли,что он по этому адресу находится?

Зайдите в "каналы продвижения" включите и скопируйте адрес.

Естественно там всё включено.

а это тогда для чего?

 

RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L] 

Я и вариант с "Sitemap: domain.ru/index.php?route=feed/google_sitemap"  пробовал, так же ругается на robots.txt

[Гість brk]

а это тогда для чего?

 

RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L] 

Я и вариант с "Sitemap: domain.ru/index.php?route=feed/google_sitemap"  пробовал, так же ругается на robots.txt

Вот уж не знаю что это даёт по сути.

Сайтмап по любому из адресов открывается?

[baxabit]

Да, причём если "смотреть как бот", то так же удачно открывает по обоим ссылкам и сразу предлагает отправить на индексацию. Но и такой способ терпит неудачу из-за якобы запрета в robots.txt Только всё никак понять не могу, где ж там и что ему запрещает? я уже и "Disallow: /index.php?" убрал, почистил кэш и перепроверил - не оно.

 

PS: так RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L] и выполняет функцию переадресации с mydomain.ru/sitemap.xml на mydomain.ru/index.php?route=feed/google_sitemap разве нет?

[iSeller]

Вот почему ваш сайтмэп не проходит Disallow: /index.php?.

Теперь по порядку. У вас в роботс есть вот такая фишка Host: www.domain.ru, для чего? Вы что не можете определиться как вашему сайту работать?

 

Вот это.

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]
RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]

 

С вот этим ни как не вяжется.

Host: www.domain.ru

 

Что касаемо вашего сайтпэм, я взглянул на свой магический шар, так как сайта я не вижу вашего. И подозреваю что сайтмэп вы ищите по адресу  www.domain.ru/sitemap.xml опять же как подсказывает мне шар у вас возникает конфликт переадресаций. Попробуйте с www и без www. Тот адрес который сработает без переадресации на domain.ru/index.php?route=feed/google_sitemap, и являеться главным сдеркалом вашего сайта. Вот оттуда и начинайте плясать. Если www.domain.ru/sitemap.xml в браузере превращается в domain.ru/index.php?route=feed/google_sitemap значит вы определили не правильное зеркало. У вас вообще каша с адресами судя по robots.txt и хтакцесс. Хотите нормальный ответ сайт в студию, мой шар на этом закончил давать информацию с потустороннего мира.

[iSeller]

я уже и "Disallow: /index.php?" убрал, почистил кэш и перепроверил - не оно.

А гуглу пофиг че вы там почистили, у него свой кеш, когда обновиться сайтмэп в ГВМ тогда и проверяйте. А лучше настройте CMS на правильную отдачу урл если у вас редирект на адрес сайта без www, значит такой адрес и надо добавлять в ГВМ.

[baxabit]

Host: www.domain.ru

 

Добавился уже последним, перебирая все варианты.

Т.е. изначально не было строчки, потом domain.ru, теперь www.domain.ru

Видать один из вариантов колдовства пришёлся на старый кэш гугла? )

Хотя я каждый раз удалял в ГВМ и добавлял заново

[baxabit]

Disallow: /index.php?

Allow: /index.php?route=feed/google_sitemap

 

не катит?

Яндекс мгновенно "хавает". 

А гугл кэш чистит раз в сутки чтоль? )))

[iSeller]

Нет ни какого кеша, есть желание посещать ваш сайт. Чем чаще он обновляется тем чаще гугл его пеосещает и при каждом почещении гугл сначал смотрит robots. Через 1-24 часа он обновит информацию в ГВМ. В общем пока все. Не вижу сайта, значит советовать ничего не буду. Не телепат. Строчка host для гугл не имеет ни какого значения, он не понимает что это такое. А вот Яндекс может и обидется, то вы ему редиректом указываете что главный домен без WWW то сразу роботсом обратное пытаетесь доказать. Так и АГС схлопотать не долго, а АГС как раз за внутренние факторы и дается.

[baxabit]

Я всё понять не могу, чего Вы уцепились за индексацию роботом, когда речь идёт о мануальном добавлении и мгновенной проверке сайтмапа?

Не советуйте, я ж не настаиваю. К тому же не по теме. Сайт мой ничем не поможет. Есть robots.txt и .htaccess, всё остальное - контент. Да и гугл открытым тестом говорит о конфликте с файлом robots.txt, а Вы начинаете вводить в заблуждение  про какие то кэши гугла.

 

PS: поочерёдно "сую" одинаковые условия обоим ПС. В результате яндекс запрещает логичные моменты, правильно "хавает" disallow и allow, а гугл ни при каких условиях не даёт положительный результат МГНОВЕННОЙ проверки путей к ЕЩЁ НЕ ДОБАВЛЕННОМУ сайтмапу. 

[iSeller]

Я всё понять не могу, чего Вы уцепились за индексацию роботом, когда речь идёт о мануальном добавлении и мгновенной проверке сайтмапа?

Не советуйте, я ж не настаиваю. К тому же не по теме. Сайт мой ничем не поможет. Есть robots.txt и .htaccess, всё остальное - контент. Да и гугл открытым тестом говорит о конфликте с файлом robots.txt, а Вы начинаете вводить в заблуждение  про какие то кэши гугла.

 

PS: поочерёдно "сую" одинаковые условия обоим ПС. В результате яндекс запрещает логичные моменты, правильно "хавает" disallow и allow, а гугл ни при каких условиях не даёт положительный результат МГНОВЕННОЙ проверки путей к ЕЩЁ НЕ ДОБАВЛЕННОМУ сайтмапу. 

Суйте дальше.

[AzaZzell]

столкнулся с точно такой же проблемой, целый день уже бьюсь над проблемой )

вот бы узнать как решилось

[Gann]

del

[AlexShkundia]

Здраствуйте. Проблема такая же. сайт - krukswall.com.

Помогите разобраться. 

[Garin]

Добрый день,может кто сталкивался,один для яндекса,второй как написано в админке для гугла, яндекс сьел все в порядке а вот гугл - (/index.php?route=extension/feed/sitemap_pro) завмсает сайт намертво.

/index.php?route=extension/feed/yandex_feed

/index.php?route=extension/feed/sitemap_pro

Короче говоря запутался сам намертво!

[111111111111]

Сайт на WP но проблема аналогичная. Правда странность в том что на домене с www. ошибки нет,а без - есть. Основным доменом выбран сайт без www.

 

http://racivsofia.eu/

 

http://racivsofia.eu/robots.txt

 

http://racivsofia.eu/sitemap_index.xml

 

[demo8]

В файле .htaccess закомментируйте строки подобные этой: RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap [L] - комментируется #

[shelline]

Помогите разобраться с аналогичной проблемой. И яндекс и гугл не могут скачать файлы sitemap, хотя по проверке URL они видят эти страницы

 

дополнение sitemap включено, адреса стандартные

 

https://semka46.ru/index.php?route=extension/feed/google_sitemap

https://semka46.ru/index.php?route=extension/feed/yandex_sitemap

 

robots

 

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

 

 

.htaccess

 

Скрытый текст

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.semka46.ru$ [NC]
RewriteRule ^(.*)$ https://semka46.ru/$1 [R=301,L]
# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing
Options -Indexes

# Prevent Direct Access to files
<FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))">
 Require all denied
## For apache 2.2 and older, replace "Require all denied" with these two lines :
# Order deny,allow
# Deny from all
</FilesMatch>

# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=extension/feed/google_base [L]
RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

 

[shelline]

К предыдущему сообщению. Вероятно, у хостера кэш обновился, поисковики стали находить sitemap, но ругаются, что у части страниц не верное время - 

 

<lastmod>-0001-11-30T00:00:00+02:30</lastmod>

 

При чём, эти ошибки только у части товаров. Весь каталог руками вводился. 

 

Ошибка времени и в яндексе и в гугле. Нашёл тут исправление, но оно только для гугл sitemap

 

 

Змінено 18 серпня 2019 користувачем shelline

[Gusev]

В 18.08.2019 в 16:20, shelline сказал:

К предыдущему сообщению. Вероятно, у хостера кэш обновился, поисковики стали находить sitemap, но ругаются, что у части страниц не верное время - 

 

<lastmod>-0001-11-30T00:00:00+02:30</lastmod>

 

При чём, эти ошибки только у части товаров. Весь каталог руками вводился. 

 

Ошибка времени и в яндексе и в гугле. Нашёл тут исправление, но оно только для гугл sitemap

 

 

sitemap fx поставьте и будет Вам щастье