Jump to content
Sign in to follow this  
ecp

Google webmaster не распознаёт sitemap, ругаясь на robots.txt

Recommended Posts

Есть магазин на опенкарт. В магазине включены ЧПУ вида domain.com/kategoriya/tovar.html

Средствами движка сгенерирована карта сайта, в которой кроме этих самых ссылок с ЧПУ (на товары и категории) больше ничего нет, никаких технических страниц типа корзины, профиля юзера.

Создан robots.txt вида

User-agent: *
Disallow: /*&filter_description=
Disallow: /*&filter_name=
Disallow: /*&filter_sub_category=
Disallow: /*&limit=
Disallow: /*&order=
Disallow: /*&sort
Disallow: /*&tracking=
Disallow: /*?av
Disallow: /*?filter_description=
Disallow: /*?filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*?keyword
Disallow: /*?manufacturer
Disallow: /*?order
Disallow: /*?page=1
Disallow: /*?route=account/
Disallow: /*?route=affiliate/
Disallow: /*?route=checkout/
Disallow: /*?route=product/search
Disallow: /*?sort
Disallow: /*?tracking=
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system
Disallow: /index.php?route=common/home
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Только при попытке зайти на domain.com/robots.txt htaccess подсовывает 404, но Google webmaster его обнаруживает.

Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", причем блокируются как раз ссылки вида domain.com/kategoriya/tovar.html. Если удалить robots.txt то ситуация такая же, тоже ругается с той же ошибкой.

Также был сделан 301 редирект на сайт без www и в Google Webmaster в настройках указан основной сайт без www.

Фрагмент карты сайта:


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>
http://domain.com/aksessuary-dlya-barbekyu/nabor-dlya-barbekyu-shashlyka-s-silikonovymi-ruchkami-5-predmetov.html
</loc>
<lastmod>2012-12-03</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/shampury-shampura/bambukovyye-vilki-nabor-shampurov.html
</loc>
<lastmod>2012-11-30</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/dnevesnyy-ugol-brikety-drova/brikety-ugolnyye-2-5.html
</loc>
<lastmod>2012-11-20</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>

.....

Карта генерирована стандартным инструментом ОС

Фрагмент htaccess

Options +FollowSymlinks
Options -Indexes
# Prevent Direct Access to files
<FilesMatch ".(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
RewriteEngine On
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap ***91;L***93;
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base ***91;L***93;
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^(***91;^?***93;*) index.php?_route_=$1 ***91;L,QSA***93;
RewriteCond %{HTTP_HOST} ^www.domain.com$ ***91;NC***93;
RewriteRule ^(.*)$ http://domain.com/$1 ***91;R=301,L***93;

Как заставить гугл нормально обрабатывать карту сайта? Или в чём дело?

Share this post


Link to post
Share on other sites

Напиши в своем файле htaccess вот так:

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
а в роботс тхт напиши вот так:

Sitemap: http://domain.com/sitemap.xml

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.