Перейти к содержанию
ecp

Google webmaster не распознаёт sitemap, ругаясь на robots.txt

Рекомендуемые сообщения

Есть магазин на опенкарт. В магазине включены ЧПУ вида domain.com/kategoriya/tovar.html

Средствами движка сгенерирована карта сайта, в которой кроме этих самых ссылок с ЧПУ (на товары и категории) больше ничего нет, никаких технических страниц типа корзины, профиля юзера.

Создан robots.txt вида

User-agent: *
Disallow: /*&filter_description=
Disallow: /*&filter_name=
Disallow: /*&filter_sub_category=
Disallow: /*&limit=
Disallow: /*&order=
Disallow: /*&sort
Disallow: /*&tracking=
Disallow: /*?av
Disallow: /*?filter_description=
Disallow: /*?filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*?keyword
Disallow: /*?manufacturer
Disallow: /*?order
Disallow: /*?page=1
Disallow: /*?route=account/
Disallow: /*?route=affiliate/
Disallow: /*?route=checkout/
Disallow: /*?route=product/search
Disallow: /*?sort
Disallow: /*?tracking=
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system
Disallow: /index.php?route=common/home
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Только при попытке зайти на domain.com/robots.txt htaccess подсовывает 404, но Google webmaster его обнаруживает.

Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", причем блокируются как раз ссылки вида domain.com/kategoriya/tovar.html. Если удалить robots.txt то ситуация такая же, тоже ругается с той же ошибкой.

Также был сделан 301 редирект на сайт без www и в Google Webmaster в настройках указан основной сайт без www.

Фрагмент карты сайта:


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>
http://domain.com/aksessuary-dlya-barbekyu/nabor-dlya-barbekyu-shashlyka-s-silikonovymi-ruchkami-5-predmetov.html
</loc>
<lastmod>2012-12-03</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/shampury-shampura/bambukovyye-vilki-nabor-shampurov.html
</loc>
<lastmod>2012-11-30</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/dnevesnyy-ugol-brikety-drova/brikety-ugolnyye-2-5.html
</loc>
<lastmod>2012-11-20</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>

.....

Карта генерирована стандартным инструментом ОС

Фрагмент htaccess

Options +FollowSymlinks
Options -Indexes
# Prevent Direct Access to files
<FilesMatch ".(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
RewriteEngine On
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap ***91;L***93;
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base ***91;L***93;
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^(***91;^?***93;*) index.php?_route_=$1 ***91;L,QSA***93;
RewriteCond %{HTTP_HOST} ^www.domain.com$ ***91;NC***93;
RewriteRule ^(.*)$ http://domain.com/$1 ***91;R=301,L***93;

Как заставить гугл нормально обрабатывать карту сайта? Или в чём дело?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Напиши в своем файле htaccess вот так:

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
а в роботс тхт напиши вот так:

Sitemap: http://domain.com/sitemap.xml

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.