robots.txt

[Helloween]

Я уже понял, но как узнать какие страницы можно открыть?

ручками. берешь и пишешь в своей адресной строке всякую ересь. Естественно, перебирая реальные и нереальные директории. Где страница открывается - там надо в роботсах закрывать, где вылетает на ошибку 404 - там норм, все работает, можно в роботс не запихивать

[Pirate]

Кстати про ошибку 404. Если я удалил папку catalog\controller\account и при заходе

http://mebel-avilon.ru/login/

выдает такую страницу - посмотрите, пожалуйста. то это и есть эта ошибка 404? Т.е. для аккаунта можно и не прописывать ничего выходит?

 

И я верно же понимаю, что если у меня ЧПУ, то мне не надо уже прописывать:

Disallow: /*route=checkout/

Disallow: /*route=checkout/cart

Disallow: /*route=product/search

 

так как у меня уже прописано:

Disallow: /cart/

Disallow: /checkout/

Disallow: /search

 

? или все равно надо?

[1nSane]

Pirate

Еще раз, вставляем в строку адреса все, что хочется проверить и проверяем. Если идет редирект куда-то, закрывать нет смысла. Если отдает 404 ошибку - закрывать нет смысла. Если выдается какой-то результат и статус 200 - закрываем.

 

Поставьте любой плагин, показывающий заголовки и будете видеть какой статус.

[Pirate]

Ну ладно Вам, не ругайтесь  :-)

Вот скажите лучше:

Кстати про ошибку 404. Если я удалил папку catalog\controller\account и при заходе

http://mebel-avilon.ru/login/

выдает такую страницу - посмотрите, пожалуйста. то это и есть эта ошибка 404? Т.е. для аккаунта можно и не прописывать ничего выходит?

 

 

Поставьте любой плагин, показывающий заголовки и будете видеть какой статус.

 

посоветуете что-нибудь? А то не очень понял о чем идет речь )

[1nSane]

Pirate

Я пользуюсь на Firefox устаревшим Live HTTP Headers - меня он устраивает.

[RodgerFox]

А почему не сделан 301 на 404 страницу? Разве это не логичнее? так будет одна 404 страница и редиректы (временные или постоянные), а так тьма 404

[1nSane]

RodgerFox

Это кому был вопрос? И лучше с реализацией, т.к. в этой теме много тех, кто Ваши слова вообще не понимает ;)

[RodgerFox]

301- перенаправляет не понимающих на другую страницу

404 - ошибка указывающая, что данной страницы нет.

вопрос был всем, хоть и странно, но за последние темы про 404 в ветке про роботс.тихити

ну мне кажется, что иметь одну страницу 404 лучше, и лучше в ней не будет лишнего (стандартная шапка, футер или даже доп. модули). а может это не так, уверен есть человек "познающее" меня. выйди же из темноты! да пролей ты, яркость истины в данной веточке, да получим мы снисхождение твоё в виде ответа твоего! аминь.

[Pirate]

Я тут все думал. А зачем мы вообще все закрываем? Ну вот, например, доступ таким ссылкам, как: регистрация, аккаунт, корзина и т.д. что в них плохого то? Ну проиндексируют поисковики их и чего? 

 

Просто я смотрю вот на файл и выходит, что проще указывать ссылки не те, что надо закрыть, а те, что оставить открытыми. Т.е. закрыть весь сайт и открыть только те ссылки, которые нужны: т.е. каталог с товарами, информация, контакты да и все выходит... - а остальное мы и так все закрываем.

[Pirate]

Подскажите, как прописать такое условие:

 

Есть ссылки

sait/kategofiya

и

sait/kategofiya?limit=75

 

Мне надо, чтобы была разрешена ссылка sait/kategofiya и все, что после нее (подкатегории и товары) кроме:

sait/kategofiya?limit=75

sait/kategofiya?sort=pd.name&order=DESC

и т.д.

 

Если прописать

Allow: /kategofiya*

Disallow: /*?sort=

 

то не работает, так как Allow: /kategofiya* открывает доступ ко всему: и к sait/kategofiya и к sait/kategofiya?limit=75, а мне надо закрыть для сортировки и т.д.

Как можно решить данную проблему?

[Otvet]

Не использовать аллоу

Дизаллоу *лимит

[Pirate]

Спасибо! 

[Anton270]

Всем доброго времени ! начал замечать что плохо индексируются товары в магазине eurohobby.ru даже если добавить уникальный товар.а точнее по артикулу он выдается в поиске. а когда ищешь по названию то его нет даже в топ 100. У меня пало подозрение на файл robots.txt прошу посмотреть и помочь написать новый файл если дело в нем.

версия движка ocStore Version 1.5.3.1

ЧПУ включено 

использую SEO Pack

у меня сейчас такой файл

 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: www.eurohobby.ru

 

вот еще один подозрительный момент это выдает Вебмастер

Документ запрещен в файле robots.txt 21599 Документ является неканоническим 11491 

 

[RodgerFox]

Милый Anton270,  а почему не решились узнать какие именно ссылки не понравились яше? на счет артикула, это вообще не относится к роботс. ведь вы сами проверили, что товар есть в результатах поиска, просто по другим ключикам он не так высоко, как по вашему артиклю) 

[Anton270]

доброго времени! по артикулу примерно понятно. Проблема в следующем на сайте загружено 37000 товаров страниц в поиске 13000 и ситуация не меняется уже год . Вот я и решил разобраться в чем может быть проблема?

в вебмастер показывает что закрыто от индекса: Документ запрещен в файле robots.txt 21599 поэтому и встал такой вопрос. У меня раньше был магазин на cms PHPSHOP и проблем с индексацией не было почти все товары попадали в поиск ,а вот позиции зависели от конкуренции. При просмотре закрытых страниц, видно что они есть в наличии, примеры товаров 

 

 

 

/index.php?route=product/search&filter_tag=HPI-HB70711

 

/index.php?route=product/product&manufacturer_id=134&product_id=15298

 

http://www.eurohobby.ru/pruzhini-patrubka-1-8-2-sht-dlinnie.html?filter_tag=TM-101612-1

 

если взять артикул одного из товаров вбить в поиск то все находит и с нормальным урлом.

 

http://www.eurohobby.ru/kuzov-1-10-nissan-skyline-pgc10-gt-r-4dr.html

 

на сколько я понимаю первая ссылка это закрытая метка которая формируется в seopak. Зачем тогда они нужны ?

 

прошу не судить строго я только учусь )

[RodgerFox]

научитесь сравнивать, вы же не мартышка. запрещаете ссылку где присутствует какой то тег, а потом пишите суда, что его запретили и данная страница не загружается роботами =\ вы сами понимаете проблему? 

подсказка, урл товара не должен запрещаться в роботс.тихити

[Anton270]

Спасибо конечно за критику,но я не на это немного рассчитывал. Если бы я все понимал то бы и не писал наверно. я хочу понять дело в роботсе или нет? и что нужно убрать или дописать чтобы  исправить этот косяк. Спасибо 

[al7786]

Подскажите например mysite.ru/? отдает 200.

Закрыть в роботс

Disallow:/?

но у меня пагинация /?page=2 и закрывать страницы категорий не хочется.

Что можно сделать в этом случае?

Хотя может это и не ошибка, даже этот форум отдает код 200 на /? и нужно ли париться по этому поводу.

[al7786]

"в вебмастер показывает что закрыто от индекса: Документ запрещен в файле robots.txt 21599 страниц"

То есть вы хотите сказать что яндекс пишет страница запрещена в роботсе а на самом деле нет.

Проверяли ссылку на страницу товара где то еще на доступность. Например в Гугле в "как видит гуглобот" или с Гуглом все в порядке?

Посмотрел ваш robots.txt

на первый взгляд ничего криминального почти такой как у меня

[RodgerFox]

вообще меня бесит яша и я на неё не обращаю внимание, имхо. 

Антон двести семьдесят, надо лишь понять, что allow это разрешить, Disallow запретить, еще есть юзер агент.. да не, есть и другие плюшки, но о них не сегодня. И самое важное, на каждой странице данного обсуждения есть ответ, ну на крайняк на двух страницах с флудом будет один ответ. 

и почему нету ссылки хотя бы на http://robotstxt.org.ru/ , если лень прочитать https://support.google.com/webmasters/answer/6062596?hl=ru https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

[tolsolovev]

Подскажите пожалуйста! В дистрибутиве ocstore, как по умолчанию настроен роботс? Надо ли вносить в него изменения на стадии разработки магазина? Стандартный магазин движка висит на домене уже неделю ,без изменений в файле роботс. Пророчит ли это неприятности?

[Otvet]

Пока сайт не готов, надо закрыть от индексации

[tolsolovev]

Скиньте пожалуйста "наполнение " робота для полного закрытия от индексации. Спрошу еще раз. Страшно ли то что сайт уже неделю висит не закрытый от пс. Что будет если роботы проиндексируют дефолтный шаблон движка? Заранее спасибо!

[1nSane]

Ничего страшного не будет, хоть пол года. Я никогда не закрывал сайт от ПС.

[Otvet]

Ищите тут уже была тема с баном от яндекса. И это я встречал не единожды, особенно когда сайт верстали с нуля.