Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Google webmaster не распознаёт sitemap, ругаясь на robots.txt


Recommended Posts

Есть магазин на опенкарт. В магазине включены ЧПУ вида domain.com/kategoriya/tovar.html

Средствами движка сгенерирована карта сайта, в которой кроме этих самых ссылок с ЧПУ (на товары и категории) больше ничего нет, никаких технических страниц типа корзины, профиля юзера.

Создан robots.txt вида

User-agent: *
Disallow: /*&filter_description=
Disallow: /*&filter_name=
Disallow: /*&filter_sub_category=
Disallow: /*&limit=
Disallow: /*&order=
Disallow: /*&sort
Disallow: /*&tracking=
Disallow: /*?av
Disallow: /*?filter_description=
Disallow: /*?filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*?keyword
Disallow: /*?manufacturer
Disallow: /*?order
Disallow: /*?page=1
Disallow: /*?route=account/
Disallow: /*?route=affiliate/
Disallow: /*?route=checkout/
Disallow: /*?route=product/search
Disallow: /*?sort
Disallow: /*?tracking=
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system
Disallow: /index.php?route=common/home
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Только при попытке зайти на domain.com/robots.txt htaccess подсовывает 404, но Google webmaster его обнаруживает.

Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", причем блокируются как раз ссылки вида domain.com/kategoriya/tovar.html. Если удалить robots.txt то ситуация такая же, тоже ругается с той же ошибкой.

Также был сделан 301 редирект на сайт без www и в Google Webmaster в настройках указан основной сайт без www.

Фрагмент карты сайта:


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>
http://domain.com/aksessuary-dlya-barbekyu/nabor-dlya-barbekyu-shashlyka-s-silikonovymi-ruchkami-5-predmetov.html
</loc>
<lastmod>2012-12-03</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/shampury-shampura/bambukovyye-vilki-nabor-shampurov.html
</loc>
<lastmod>2012-11-30</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>
http://domain.com/dnevesnyy-ugol-brikety-drova/brikety-ugolnyye-2-5.html
</loc>
<lastmod>2012-11-20</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>

.....

Карта генерирована стандартным инструментом ОС

Фрагмент htaccess

Options +FollowSymlinks
Options -Indexes
# Prevent Direct Access to files
<FilesMatch ".(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
RewriteEngine On
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap ***91;L***93;
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base ***91;L***93;
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^(***91;^?***93;*) index.php?_route_=$1 ***91;L,QSA***93;
RewriteCond %{HTTP_HOST} ^www.domain.com$ ***91;NC***93;
RewriteRule ^(.*)$ http://domain.com/$1 ***91;R=301,L***93;

Как заставить гугл нормально обрабатывать карту сайта? Или в чём дело?

Надіслати
Поділитися на інших сайтах


  • 1 month later...

Напиши в своем файле htaccess вот так:

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
а в роботс тхт напиши вот так:

Sitemap: http://domain.com/sitemap.xml
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.