Перейти к содержанию

Рекомендуемые сообщения

Добрый день , все страницы сайта блокирует робот текст , подскажите где ошибка ( все ссылки на сайте ЧПУ) :

User-agent: *
Disallow: /*index.php*
Disallow: /catalog
Disallow: /admin
Disallow: /system
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?attrb*
Disallow: /*&attrb*
Disallow: /*?manufs*
Disallow: /*&manufs*
Disallow: /*?prs*
Disallow: /*&prs*
Disallow: /*?psp*
Disallow: /*&psp*
Disallow: /*?optv*
Disallow: /*&optv*
Disallow: /*?qnts*
Disallow: /*&qnts*
Disallow: /*?nows*
Disallow: /*&nows*
Disallow: /cart
Disallow: /checkout
Disallow: /downloads
Disallow: /compare-products
Disallow: /wishlist
Disallow: /login
Allow: /index.php?route=extension/feed/yandex_sitemap
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

 

Изменено пользователем 55555

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а зачем вы index заблокировали? Не надо его блокировать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А как он влияет если все ссылки на сайте ЧПУ? Не в одной index нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, 55555 сказал:

А как он влияет если все ссылки на сайте ЧПУ? Не в одной index нет.

 

index в нашем случае = главная страница. Получается, что вы заблокировали для поисковиков главную страницу (как следствие весь сайт).

 

Уберите Disallow: /*index.php* и посмотрите результат.

Изменено пользователем Truth_Explorer

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 минуту назад, Truth_Explorer сказал:

 

index в нашем случае = главная страница. Получается, что вы заблокировали для поисковиков главную страницы (как следствие весь сайт).

Я пробовал без этой строки Disallow: /*index.php* . Результат тот же , все страницы сайта не индэксируются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

сайт не секретный? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет) я и стандартный робот заливал всеравно блокирует хз. в чем причина. Гугл указывает на робот текст

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У вас seo url'ы или через жопу route?

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 минуты назад, zlatoff сказал:

У вас seo url'ы или через жопу route?

/postelnoe-bele/standartnie-koplekti/

Вот один из урлов с сайта без домена

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

del

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 минуты назад, ibond сказал:

You don't have permission to access /robot.txt on this server.

Что это значит не понял

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
34 минуты назад, 55555 сказал:

Нет) я и стандартный робот заливал всеравно блокирует хз. в чем причина. Гугл указывает на робот текст

 

Я имел ввиду - ссылку-то дадите?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У Вас сейчас другой робот стоит, не тот что в начале. Робот, который сейчас стоит проходит тесты нормально.

7 минут назад, Truth_Explorer сказал:

 

Я имел ввиду - ссылку-то дадите?

погуглите, Вам же сео-урл дали 8-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да робот текст поставил новый но результат прежний 

Вот что пишет гугл

Предупреждения
Доступ к URL заблокирован в файле robots.txt.
 
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

и блокирует все ссылки в карте сайта

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
18 минут назад, 55555 сказал:

и блокирует все ссылки в карте сайта 

блокирует, потому что у вас

Allow: /index.php?route=extension/feed/yandex_sitemap

Disallow: /*index.php*

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 часов назад, Xelen сказал:

блокирует, потому что у вас

Allow: /index.php?route=extension/feed/yandex_sitemap

Disallow: /*index.php*

 

Немного не так. Не потому, что Disallow: /*index.php* , а потому, что условие разрешения стоит после запрещения.

 

ТС, вынесите все Allow наверх (до Disallow). И запомните на будущее:

 

Сначала всё разрешаем, а потом запрещаем. Потому что робот натыкается на запрещение, и потом ему уже не важно, что есть разрешение. Ну и вообще, я бы не рекомендовал index запрещать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, Truth_Explorer сказал:

робот натыкается на запрещение, и потом ему уже не важно, что есть разрешение

:o да ну?

 

 

  • +1 3

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
7 минут назад, Otvet сказал:

:o да ну?

Та тут вся тема такая:D

Изменено пользователем florapraktik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

тут видимо просто не совсем правильно поставлен вопрос

на неверное в роботе уже сказано было выше... в купе с этим можно (и даже нужно обратить внимание на этот сервис... подумалось что именно о нем и была речь изначально)
Не помешает прописать в роботе строки типа
 

Цитата

User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png*

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.