Еще раз про robots.txt

[Zetx]

Сайт по непонятным причинам без внимания гугл бота...

(яндекс на  данный момент не интересует)

так вот, решил подкорректировать дефолтный роботс и сделал такой:

как думаете, что добавить или убрать?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

 

[Guava]

зайдите в вебмастер гугла и проверьте инструментом проверки роботс. 

 

что подразумевается под "без внимания"?

ссылку на сайт проверьте в поиске способом site:domen.com

[SiteMix]

20 часов назад, Zetx сказал:

Еще раз про robots.txt

Чем этот раз лучше предыдущих? Чем не устраивают другие аналогичные темы где уже неоднократно всё обсудили?

[Zetx]

22 минуты назад, SiteMix сказал:

Чем этот раз лучше предыдущих? Чем не устраивают другие аналогичные темы где уже неоднократно всё обсудили?

в дефолтном к примеру нет:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

и если я не ошибаюсь, то темы с универсальным и грамотно составленным роботс на форуме нет... тыкните носом если я не прав...

да и в принципе универсального файлика быть не может, т.к. это делается под каждый сайт отдельно, поэтому я и выложил свой роботс, чтоб получить совет..

[SiteMix]

Вот, например

[Zetx]

12 минут назад, SiteMix сказал:

Вот, например

вы че самый умный здесь, ссылку на поисковик скидывать? я х...ю с таких умников)

 

 

п.с. я этим недопоисковиком не пользуюсь

[SiteMix]

Самый не самый, но мне хватает ума чтобы не создавать очередную тему по которой уже всё давно обсудили и уже есть готовые решения.

[chukcha]

22 часа назад, Zetx сказал:

User-agent: *
Disallow: /*route=account/

User-agent: *
А все остальное закрыть через метатег,  robots и не париться
 

[Atlet]

1 час назад, Zetx сказал:

вы че самый умный здесь, ссылку на поисковик скидывать? я х...ю с таких умников)

 

 

п.с. я этим недопоисковиком не пользуюсь

Просветите, плиз почему не пользуютесь? Может я зря им пользуюсь, не по понятиям щас это? Или если зарегался на форуме, то и не надо в других источниках искать ответы на вопросы..

[Zetx]

16 минут назад, Atlet сказал:

Просветите, плиз почему не пользуютесь? Может я зря им пользуюсь, не по понятиям щас это? Или если зарегался на форуме, то и не надо в других источниках искать ответы на вопросы..

я пользуююсь другим поисковиком, который выдает те результаты, которые нужны мне, а не те, которые хочет показывать поисковик

[Zetx]

13 минут назад, nikifalex сказал:

да без проблем

 

почему же вы так активно не кидаете ссылки на поисковик, когда человек ищет модуль определенного функционала, а кидаете сразу линк на модуль из раздела дополнение...а еще лучше когда сразу тыкаете на свой модуль

Змінено 9 листопада 2018 користувачем Zetx

[SiteMix]

Тут даже не в поисковике дело. Поискать и по сайту можно. Но я не мог бы прикрепить ссылку на результаты поиска форума.

Раз тема названа "Еще раз про robots.txt", значит, известно что темы про robots.txt существуют. Так почему бы не не написать в одной из них?

Зачем плодить клоны - вот в чём вопрос был.

Совсем недавно кто-то публиковал идеальный (по версии автора) роботс. В нём нет ничего лишнего и открыт доступ к скриптам и картинкам.

 

[Zetx]

14 часов назад, nikifalex сказал:

а, окей. специально для вас

 

это стеб? 

с такой репутацией и пиарить это гавнище, где в теме поддержки, за два года автор не оставил ни единого сообщения

[Zetx]

14 часов назад, nikifalex сказал:

а, окей. специально для вас

 

кантора занимается сео продвижением... имеет офисы в Киеве, Львове, Лондоне...!!!!

ради интереса вбил запрос seo продвижение львов

и что вы думаете...

Карл, их нет даже в топ 30 гугла

и это даже не по Киеву

 

 

так что спасибо, откажусь от вашего совета

 

[florapraktik]

В 08.11.2018 в 20:25, Zetx сказал:

Сайт по непонятным причинам без внимания гугл бота...

...

так вот, решил подкорректировать дефолтный роботс..

...

"Я и стёкла протёр и по колёсам постучал, а машина всё равно не заводится" (с) - цитата из одного бородатого анекдота. Как раз про Ваш случай.

 

Нельзя привлечь внимание гугла корректируя файл robots.txt

[MaxD]

Удалите robots.txt до тех пор, пока не появится внимание Гугла.

Назначение этого файла - намекнуть поисковикам, что какие-то части сайта индексировать не стоит.