Все страницы сайта блокирует робот текст

[55555]

Добрый день , все страницы сайта блокирует робот текст , подскажите где ошибка ( все ссылки на сайте ЧПУ) :

User-agent: *
Disallow: /*index.php*
Disallow: /catalog
Disallow: /admin
Disallow: /system
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?attrb*
Disallow: /*&attrb*
Disallow: /*?manufs*
Disallow: /*&manufs*
Disallow: /*?prs*
Disallow: /*&prs*
Disallow: /*?psp*
Disallow: /*&psp*
Disallow: /*?optv*
Disallow: /*&optv*
Disallow: /*?qnts*
Disallow: /*&qnts*
Disallow: /*?nows*
Disallow: /*&nows*
Disallow: /cart
Disallow: /checkout
Disallow: /downloads
Disallow: /compare-products
Disallow: /wishlist
Disallow: /login
Allow: /index.php?route=extension/feed/yandex_sitemap
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 

Змінено 6 червня 2018 користувачем 55555

[Truth_Explorer]

а зачем вы index заблокировали? Не надо его блокировать...

[55555]

А как он влияет если все ссылки на сайте ЧПУ? Не в одной index нет.

[Truth_Explorer]

6 минут назад, 55555 сказал:

А как он влияет если все ссылки на сайте ЧПУ? Не в одной index нет.

 

index в нашем случае = главная страница. Получается, что вы заблокировали для поисковиков главную страницу (как следствие весь сайт).

 

Уберите Disallow: /*index.php* и посмотрите результат.

Змінено 6 червня 2018 користувачем Truth_Explorer

[55555]

1 минуту назад, Truth_Explorer сказал:

 

index в нашем случае = главная страница. Получается, что вы заблокировали для поисковиков главную страницы (как следствие весь сайт).

Я пробовал без этой строки Disallow: /*index.php* . Результат тот же , все страницы сайта не индэксируются.

[Truth_Explorer]

сайт не секретный?

[55555]

Нет) я и стандартный робот заливал всеравно блокирует хз. в чем причина. Гугл указывает на робот текст

[zlatoff]

У вас seo url'ы или через жопу route?

[55555]

4 минуты назад, zlatoff сказал:

У вас seo url'ы или через жопу route?

/postelnoe-bele/standartnie-koplekti/

Вот один из урлов с сайта без домена

[ibond]

del

[55555]

2 минуты назад, ibond сказал:

You don't have permission to access /robot.txt on this server.

Что это значит не понял

[Truth_Explorer]

34 минуты назад, 55555 сказал:

Нет) я и стандартный робот заливал всеравно блокирует хз. в чем причина. Гугл указывает на робот текст

 

Я имел ввиду - ссылку-то дадите?

[ibond]

У Вас сейчас другой робот стоит, не тот что в начале. Робот, который сейчас стоит проходит тесты нормально.

7 минут назад, Truth_Explorer сказал:

 

Я имел ввиду - ссылку-то дадите?

погуглите, Вам же сео-урл дали 

[55555]

Да робот текст поставил новый но результат прежний 

Вот что пишет гугл

Предупреждения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

 

 

[55555]

и блокирует все ссылки в карте сайта

[Xelen]

18 минут назад, 55555 сказал:

и блокирует все ссылки в карте сайта 

блокирует, потому что у вас

Allow: /index.php?route=extension/feed/yandex_sitemap

Disallow: /*index.php*

[Truth_Explorer]

6 часов назад, Xelen сказал:

блокирует, потому что у вас

Allow: /index.php?route=extension/feed/yandex_sitemap

Disallow: /*index.php*

 

Немного не так. Не потому, что Disallow: /*index.php* , а потому, что условие разрешения стоит после запрещения.

 

ТС, вынесите все Allow наверх (до Disallow). И запомните на будущее:

 

Сначала всё разрешаем, а потом запрещаем. Потому что робот натыкается на запрещение, и потом ему уже не важно, что есть разрешение. Ну и вообще, я бы не рекомендовал index запрещать.

[Otvet]

3 часа назад, Truth_Explorer сказал:

робот натыкается на запрещение, и потом ему уже не важно, что есть разрешение

 да ну?

 

 

[florapraktik]

7 минут назад, Otvet сказал:

 да ну?

Та тут вся тема такая

Змінено 7 червня 2018 користувачем florapraktik