Убираем дубли в robots

[dsking]

Здравствуйте форумчане. Толковые ребята помогите разобраться правильно ли мне сделали robots http://king-sites.com/robots.txt

[puno]

Здравствуйте форумчане. Толковые ребята помогите разобраться правильно ли мне сделали robots http://king-sites.com/robots.txt

 

 

У тебя работает ЧПУ в твоем случаи так будет проще.

 

Host: главное зеркало 

Если есть

Sitemap: главное зеркало/google_sitemap

 

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

[V4mp]

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару такой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Яндекса, чтобы не индексировались дубли, а основной полный путь индексировался для всего товара?

 

Также интересует устранение дубля категории- site.ru/category2/

 

 

Мой роботс:

 

User-agent: *

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: site.ru

[spambot]

robots.txt почти ни на что сейчас не влияет, реально закрытые страницы почему то попадают в выдачу поэтому если не можете настроить для шопики выкиньте шопику потому что продвижение важнее на мой взгляд или обратитесь за помощью чтоб Вам настроили сео про для шопики

[puno]

Я уже писал выше рабочий robots к нему можно еще добавить 

 

Disallow: /*?       к каждому User-agent.

 

 

В вашем случае

 

Роботом это не устранить да и зачем, здесь совсем другое нужно, то что позволит из этого извлечь выгоду для вашего сайта.

[puno]

Disallow: /*?       к каждому User-agent.

 

 

Лучше не включать!

[destreser]

robots.txt почти ни на что сейчас не влияет

 

Он по прежнему влияет на то, на что должен влиять.

[colordays]

 

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару такой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Яндекса, чтобы не индексировались дубли, а основной полный путь индексировался для всего товара?

 

Также интересует устранение дубля категории- site.ru/category2/

 

 

Мой роботс:

 

User-agent: *

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

# account*

Disallow: /*route=account/

Disallow: /wishlist

Disallow: /my-account

Disallow: /login

Disallow: /logout

Disallow: /order-history

Disallow: /newsletter

Disallow: /request-return

Disallow: /forgot-password

Disallow: /downloads

Disallow: /returns

Disallow: /transactions

Disallow: /create-account

Disallow: /edit-account

Disallow: /change-password

Disallow: /address-book

Disallow: /reward-points

# affiliate*

Disallow: /*route=affiliate/

Disallow: /affiliates

Disallow: /edit-affiliate-account

Disallow: /change-affiliate-password

Disallow: /affiliate-payment-options

Disallow: /affiliate-tracking-code

Disallow: /affiliate-transactions

Disallow: /affiliate-logout

Disallow: /affiliate-forgot-password

Disallow: /create-affiliate-account

Disallow: /affiliate-login

# checkout*

Disallow: /*route=checkout/

Disallow: /shopping-cart

Disallow: /checkout

Disallow: /gift-vouchers

#

Disallow: /*route=product/search

Disallow: /search

#

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: site.ru

 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожалей денюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть будет твоим страховочными вариантом в борьбе с дублями. Так поисковику намного легче будет индексировать то, что ты хочешь.

 

2. Слишком большой robots.txt не есть хорошо. Насколько я знаю, есть определенный лимит строк, который воспринимают поисковые роботы (уже не помню сколько). У меня, например, на сайте проще перечислить то, что нужно индексировать, чем запрещать, поэтому у меня такой небольшой роботс

 

User-agent: * - алгоритм касается всех роботов

 

Disallow: / - сначала запрещаю индексацию всего сайта

 

Allow: /$ - затем разрешаю индексацию главной страницы

 

Allow: /katalog-tovarov - далее разрешаю индексировать категорию katalog-tovarov и все, что в ней находится

 

Disallow: /katalog-tovarov/*?* - но при этом запрещаю индексировать динамические страницы

Disallow: /katalog-tovarov/*&*

Disallow: /katalog-tovarov/*php*

 

Disallow: /katalog-tovarov/novinki/* - и еще запрещаю индексировать товары, находящиеся в подкатегории novinki, так как там повторяются некоторые товары из категории katalog-tovarov, а это дубли

 

Allow: /kak-zakazat - разрешаю индексировать информационные страницы

Allow: /oplata-i-dostavka

Allow: /garantii

Allow: /otzyvy

Allow: /blog

Allow: /akcii

Allow: /kontakty

 

Allow: /sitemap.xml - разрешаю индексировать сайтмэп

 

Вот с этой связкой у меня нет проблем ни с гуглом ни с яндексом

[puno]

 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожалей денюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть будет твоим страховочными вариантом в борьбе с дублями. Так поисковику намного легче будет индексировать то, что ты хочешь.

 

 

 

Хотелось бы задать вопрос чем поможет? Потратить деньги выпасть из выдачи?

Посмотрел Демо все на месте

site.ru/tovar-00001

http://siriusdev.no-ip.org/product-20-ipod-classic.html

site.ru/category1/tovar-00001

http://siriusdev.no-ip.org/desktops/product-20-ipod-classic.html

Если этот же товар добавить в другую категорию наверное будет так

site.ru/category2/tovar-00001

 

Плюс перепишется rel="canonical"

если он раньше был site.ru/tovar-00001 здесь  rel="canonical"

то теперь будет здесь site.ru/category1/tovar-00001 rel="canonical"

 

То есть, применив это ПРОЩАЙ Выдача и все что нажито непосильным трудом!

Теперь становится понятно многое когда читаешь рассказы о том как был в топе лег спать проснулся, а ты уже не в топе!

[Wolf555]

Disallow: /*?       к каждому User-agent.

 

 

Лучше не включать!

Почему?

[Wolf555]

Подскажите по моему роботсу пожалуйста

сделал как написано выше. Нужно ли еще что добовлять или удалять? ps Я не очень разбираюсь во всем этом, поэтому если что не так , то опишите подробней. Спасибо. 

[strob]

Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ роботов.

 

Вот Яндекс да, иногда выделяют отдельно, но лично я так не делаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для яндекса

 - для всех (включая гугл и яндекс)

[puno]

Почему?

 

Вот пример с вашего сайта biserom-religiya?page=2  после biserom-religiya знак ? закрывает страницы от индекса этим правилом.

 

http://www.rukodelochka.com.ua/nabory-biserom/biserom-religiya?page=2

 

 

Совет избавьтесь от этого Powered By OpenCart.

 

 

 

Подскажите по моему роботсу

 

С ним все нормально!

[Wolf555]

Спасибо!

[puno]

Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ роботов.

 

Вот Яндекс да, иногда выделяют отдельно, но лично я так не делаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для яндекса

 - для всех (включая гугл и яндекс)

 

 

 

Что пишет на эту тему Яндекс это как пример.

 

 

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

 

 

По этому в моем случае robots написан для каждого робота в отдельности, объясню почему это позволяет управлять разными роботами по разному,  плюс яндекс и гугл по разному читают определенную информацию в robots поэтому что для одного хорошо для другого плохо, об остальных роботах я вообще не говорю. И этот список можно продолжать. 

 

 

Что касается Вашего варианта конечно можно и так один для всех! Это выбор каждого из нас.

 

Но нужно понимать что не просто так есть описания конкретно для User-agent: Yandex и Googlebot ......

и их роботы ищут именно эти названия!

[puno]

Спасибо!

 

Пожалуйста!

[poetiq]

Друзья дайте пожалуйста оценку для моего файла robots.txt.

 

http://www.cosmetic59.ru/robots.txt

 

Спасибо :)

[puno]

Друзья дайте пожалуйста оценку для моего файла robots.txt.

 

http://www.cosmetic59.ru/robots.txt

 

Спасибо :)

 

Disallow: /*?  Надо убрать, об этом я писал выше, а в остальном стандартный рабочий.

 

[vecherskyy]

Помогите настроить роботс, плиз.

Раньше была структура: /товар.html

Но, не смотря на rel=canonical в гуглвебмастере появились дубли:

/товар.html

/категория/товар.html

/категория/подкатегория/товар.html

 

Подключил сео_про.

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

Теперь в гуглвебмастер полезли дубли старые страницы+новые страницы.

Удаление старых страниц в этом же гуглвеб мастере результатов не дает. Толи надо долго ждать, толи, как рекомендуют, надо одновременно с удалением запретить старые страницы в роботс.

 

Подскаже, как это прописать???? Или хотя бы " /товар.html" (этих страниц будет поболее)

 

Или со временем старые страницы сами выпадут из индекса??? Когда??

 

Спасибо. 

[puno]

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожалению здесь РоботС вам не поможет, а наоборот навредит.

Если запретить индексировать старые страницы то и редирект с них работать не будет. 

 

Все следите за результатами если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем старые страницы сами выпадут из индекса???

Если все правильно сделано то да.

 

Когда??

Как только Googlebot проиндексирует, а фильтры классифицируют ну и счетчики посчитают.

[vecherskyy]

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожалению здесь РоботС вам не поможет, а наоборот навредит.

Если запретить индексировать старые страницы то и редирект с них работать не будет. 

 

Все следите за результатами если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем старые страницы сами выпадут из индекса???

Если все правильно сделано то да.

 

Когда??

Как только Googlebot проиндексирует, а фильтры классифицируют ну и счетчики посчитают.

Спасибо! Будем ждать

[vecherskyy]

Подскажите, плиз!!

Мой роботс:

 

User-agent: *
Disallow: /admin
    Disallow: /cache
    Disallow: /niks
Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
Disallow: /index.php?route=product/manufacturer/

 

Если я правильно понимаю, в нем закрыто от индексации страницы пагинации page=2 и далее.

Хочу их открыть для индексации! Но не пойму в какой строчке они закрыты!!

+ хочу сделать, что бы в тайтлах и дискрипшинах дописывалсиь "Страница 2: тайтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

Спасибо.

[puno]

Если я правильно понимаю, в нем закрыто от индексации страницы пагинации page=2 и далее.

Хочу их открыть для индексации! Но не пойму в какой строчке они закрыты!!

 

В нем нет закрытых страниц.

 

+ хочу сделать, что бы в тайтлах и дискрипшинах дописывалсиь "Страница 2: тайтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

 

К сожалению это вопрос не этой темы.

 

Но для общей информации агрегированные данные для поисковых систем не представляют ни какой ценности они попадают в дополнительный индекс.

[nicskvo]

Ребята, такая проблема. Моему магазину уже месяца 3 никак не удается выйти за пределы ~130 проиндексированных страниц в Яндексе, при том, что загружено роботом порядка 4к. Вот мой роботос.тхт

 

User-agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

User-agent: Yandex

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

Host: мой сайт

Sitemap: http:// мой сайт/sitemap.xml

 

 

В чем беда?

[puno]

Здесь robots не причем

 

 

Ребята, такая проблема. Моему магазину уже месяца 3 никак не удается выйти за пределы ~130 проиндексированных страниц в Яндексе, при том, что загружено роботом порядка 4к. Вот мой роботос.тхт

 

User-agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

User-agent: Yandex

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

 

Host: мой сайт

Sitemap: http:// мой сайт/sitemap.xml

 

 

В чем беда?

 

 

Какое количество товаров в магазине?