Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Убираем дубли в robots


Рекомендованные сообщения

Здравствуйте форумчане. Толковые ребята помогите разобраться правильно ли мне сделали robots http://king-sites.com/robots.txt

Ссылка на комментарий
Поделиться на других сайтах


  • 3 недели спустя...

Здравствуйте форумчане. Толковые ребята помогите разобраться правильно ли мне сделали robots http://king-sites.com/robots.txt

 

 

У тебя работает ЧПУ в твоем случаи так будет проще.

 

Host: главное зеркало 

Если есть

Sitemap: главное зеркало/google_sitemap

 

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

Ссылка на комментарий
Поделиться на других сайтах


  • 2 недели спустя...

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару такой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Яндекса, чтобы не индексировались дубли, а основной полный путь индексировался для всего товара?

 

Также интересует устранение дубля категории- site.ru/category2/

 

 

Мой роботс:

 

User-agent: *
# account*
Disallow: /*route=account/
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
# affiliate*
Disallow: /*route=affiliate/
Disallow: /affiliates
Disallow: /edit-affiliate-account
Disallow: /change-affiliate-password
Disallow: /affiliate-payment-options
Disallow: /affiliate-tracking-code
Disallow: /affiliate-transactions
Disallow: /affiliate-logout
Disallow: /affiliate-forgot-password
Disallow: /create-affiliate-account
Disallow: /affiliate-login
# checkout*
Disallow: /*route=checkout/
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
#
Disallow: /*route=product/search
Disallow: /search
#
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
# account*
Disallow: /*route=account/
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
# affiliate*
Disallow: /*route=affiliate/
Disallow: /affiliates
Disallow: /edit-affiliate-account
Disallow: /change-affiliate-password
Disallow: /affiliate-payment-options
Disallow: /affiliate-tracking-code
Disallow: /affiliate-transactions
Disallow: /affiliate-logout
Disallow: /affiliate-forgot-password
Disallow: /create-affiliate-account
Disallow: /affiliate-login
# checkout*
Disallow: /*route=checkout/
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
#
Disallow: /*route=product/search
Disallow: /search
#
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: site.ru
Ссылка на комментарий
Поделиться на других сайтах


robots.txt почти ни на что сейчас не влияет, реально закрытые страницы почему то попадают в выдачу поэтому если не можете настроить для шопики выкиньте шопику потому что продвижение важнее на мой взгляд или обратитесь за помощью чтоб Вам настроили сео про для шопики

Ссылка на комментарий
Поделиться на других сайтах


Я уже писал выше рабочий robots к нему можно еще добавить 

 

Disallow: /*?       к каждому User-agent.

 

 

В вашем случае

 

Роботом это не устранить да и зачем, здесь совсем другое нужно, то что позволит из этого извлечь выгоду для вашего сайта.

Ссылка на комментарий
Поделиться на других сайтах


 

Прошу помощи. OC 1.5.5.1

Seo_Pro не использую, конфликтует с темой Shoppica2.

Включен Seo_URL.

 

Основной путь к товару такой :

site.ru/category1/category2/tovar-00001 (и т.д. -00002,-00003, ....)

 

Дубли:

site.ru/category1/tovar-00001

site.ru/category2/tovar-00001

site.ru/tovar-00001

 

Как правильно прописать Disallow: для Гугла и Яндекса, чтобы не индексировались дубли, а основной полный путь индексировался для всего товара?

 

Также интересует устранение дубля категории- site.ru/category2/

 

 

Мой роботс:

 

User-agent: *
# account*
Disallow: /*route=account/
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
# affiliate*
Disallow: /*route=affiliate/
Disallow: /affiliates
Disallow: /edit-affiliate-account
Disallow: /change-affiliate-password
Disallow: /affiliate-payment-options
Disallow: /affiliate-tracking-code
Disallow: /affiliate-transactions
Disallow: /affiliate-logout
Disallow: /affiliate-forgot-password
Disallow: /create-affiliate-account
Disallow: /affiliate-login
# checkout*
Disallow: /*route=checkout/
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
#
Disallow: /*route=product/search
Disallow: /search
#
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
# account*
Disallow: /*route=account/
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
# affiliate*
Disallow: /*route=affiliate/
Disallow: /affiliates
Disallow: /edit-affiliate-account
Disallow: /change-affiliate-password
Disallow: /affiliate-payment-options
Disallow: /affiliate-tracking-code
Disallow: /affiliate-transactions
Disallow: /affiliate-logout
Disallow: /affiliate-forgot-password
Disallow: /create-affiliate-account
Disallow: /affiliate-login
# checkout*
Disallow: /*route=checkout/
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
#
Disallow: /*route=product/search
Disallow: /search
#
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: site.ru

 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожалей денюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть будет твоим страховочными вариантом в борьбе с дублями. Так поисковику намного легче будет индексировать то, что ты хочешь.

 

2. Слишком большой robots.txt не есть хорошо. Насколько я знаю, есть определенный лимит строк, который воспринимают поисковые роботы (уже не помню сколько). У меня, например, на сайте проще перечислить то, что нужно индексировать, чем запрещать, поэтому у меня такой небольшой роботс

 

User-agent: * - алгоритм касается всех роботов
 
Disallow: / - сначала запрещаю индексацию всего сайта
 
Allow: /$ - затем разрешаю индексацию главной страницы
 
Allow: /katalog-tovarov - далее разрешаю индексировать категорию katalog-tovarov и все, что в ней находится
 
Disallow: /katalog-tovarov/*?* - но при этом запрещаю индексировать динамические страницы
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*
 
Disallow: /katalog-tovarov/novinki/* - и еще запрещаю индексировать товары, находящиеся в подкатегории novinki, так как там повторяются некоторые товары из категории katalog-tovarov, а это дубли
 
Allow: /kak-zakazat - разрешаю индексировать информационные страницы
Allow: /oplata-i-dostavka
Allow: /garantii
Allow: /otzyvy
Allow: /blog
Allow: /akcii
Allow: /kontakty
 
Allow: /sitemap.xml - разрешаю индексировать сайтмэп
 
Вот с этой связкой у меня нет проблем ни с гуглом ни с яндексом
Ссылка на комментарий
Поделиться на других сайтах


 

1. С твоими дублями лучше разобраться с помощью вот этого модуля http://www.opencart.com/index.php?route=extension/extension/info&extension_id=4085

Не пожалей денюжку и купи. С его помощью ты избавишься от дублей типа site.ru/category1/tovar-00001, site.ru/category2/tovar-00001, site.ru/tovar-00001 а robots.txt пусть будет твоим страховочными вариантом в борьбе с дублями. Так поисковику намного легче будет индексировать то, что ты хочешь.

 

 

 

Хотелось бы задать вопрос чем поможет? Потратить деньги выпасть из выдачи?

Посмотрел Демо все на месте

site.ru/tovar-00001

http://siriusdev.no-ip.org/product-20-ipod-classic.html

site.ru/category1/tovar-00001

http://siriusdev.no-ip.org/desktops/product-20-ipod-classic.html

Если этот же товар добавить в другую категорию наверное будет так

site.ru/category2/tovar-00001

 

Плюс перепишется rel="canonical"

если он раньше был site.ru/tovar-00001 здесь  rel="canonical"

то теперь будет здесь site.ru/category1/tovar-00001 rel="canonical"

 

То есть, применив это ПРОЩАЙ Выдача и все что нажито непосильным трудом!

Теперь становится понятно многое когда читаешь рассказы о том как был в топе лег спать проснулся, а ты уже не в топе!

Ссылка на комментарий
Поделиться на других сайтах


Подскажите по моему роботсу пожалуйста

сделал как написано выше. Нужно ли еще что добовлять или удалять? ps Я не очень разбираюсь во всем этом, поэтому если что не так , то опишите подробней. Спасибо. 

Ссылка на комментарий
Поделиться на других сайтах


Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ роботов.

 

Вот Яндекс да, иногда выделяют отдельно, но лично я так не делаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для яндекса

 - для всех (включая гугл и яндекс)

Ссылка на комментарий
Поделиться на других сайтах


Почему?

 

Вот пример с вашего сайта biserom-religiya?page=2  после biserom-religiya знак ? закрывает страницы от индекса этим правилом.

 

http://www.rukodelochka.com.ua/nabory-biserom/biserom-religiya?page=2

 

 

Совет избавьтесь от этого Powered By OpenCart.

 

 

 

Подскажите по моему роботсу

 

С ним все нормально!

Ссылка на комментарий
Поделиться на других сайтах


Если не ошибаюсь, то не всегда надо писать правила для каждого поисковика отдельно.

Например, Гугл прекрасно понимает правила под звёздочкой.

 

* - они же для ВСЕХ роботов.

 

Вот Яндекс да, иногда выделяют отдельно, но лично я так не делаю.

 

У меня просто стоит звезда и все правила. И пока что все поисковики всё понимают.

 

А у вас получается:

 - для гугла

 - для яндекса

 - для всех (включая гугл и яндекс)

 

 

 

Что пишет на эту тему Яндекс это как пример.

 

 

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

 

 

По этому в моем случае robots написан для каждого робота в отдельности, объясню почему это позволяет управлять разными роботами по разному,  плюс яндекс и гугл по разному читают определенную информацию в robots поэтому что для одного хорошо для другого плохо, об остальных роботах я вообще не говорю. И этот список можно продолжать. 

 

 

Что касается Вашего варианта конечно можно и так один для всех! Это выбор каждого из нас.

 

Но нужно понимать что не просто так есть описания конкретно для User-agent: Yandex и Googlebot ......

и их роботы ищут именно эти названия!

Ссылка на комментарий
Поделиться на других сайтах


Друзья дайте пожалуйста оценку для моего файла robots.txt.

 

http://www.cosmetic59.ru/robots.txt

 

Спасибо :)

 

Disallow: /*?  Надо убрать, об этом я писал выше, а в остальном стандартный рабочий.

 

Ссылка на комментарий
Поделиться на других сайтах


  • 3 недели спустя...

Помогите настроить роботс, плиз.

Раньше была структура: /товар.html

Но, не смотря на rel=canonical в гуглвебмастере появились дубли:

/товар.html

/категория/товар.html

/категория/подкатегория/товар.html

 

Подключил сео_про.

Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

Теперь в гуглвебмастер полезли дубли старые страницы+новые страницы.

Удаление старых страниц в этом же гуглвеб мастере результатов не дает. Толи надо долго ждать, толи, как рекомендуют, надо одновременно с удалением запретить старые страницы в роботс.

 

Подскаже, как это прописать???? Или хотя бы " /товар.html" (этих страниц будет поболее)

 

Или со временем старые страницы сами выпадут из индекса??? Когда??

 

Спасибо. 

Ссылка на комментарий
Поделиться на других сайтах


Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожалению здесь РоботС вам не поможет, а наоборот навредит.

Если запретить индексировать старые страницы то и редирект с них работать не будет. 

 

Все следите за результатами если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем старые страницы сами выпадут из индекса???

Если все правильно сделано то да.

 

Когда??

Как только Googlebot проиндексирует, а фильтры классифицируют ну и счетчики посчитают.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Теперь строго:  /категория/подкатегория/товар

С других вариантов стоит редирект.

 

 

К сожалению здесь РоботС вам не поможет, а наоборот навредит.

Если запретить индексировать старые страницы то и редирект с них работать не будет. 

 

Все следите за результатами если все правильно перенастроили. Архитектура должна перестроиться.  

 

Или со временем старые страницы сами выпадут из индекса???

Если все правильно сделано то да.

 

Когда??

Как только Googlebot проиндексирует, а фильтры классифицируют ну и счетчики посчитают.

Спасибо! Будем ждать

Ссылка на комментарий
Поделиться на других сайтах


Подскажите, плиз!!

Мой роботс:

 

User-agent: *
Disallow: /admin
    Disallow: /cache
    Disallow: /niks
Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
Disallow: /index.php?route=product/manufacturer/

 

Если я правильно понимаю, в нем закрыто от индексации страницы пагинации page=2 и далее.

Хочу их открыть для индексации! Но не пойму в какой строчке они закрыты!!

+ хочу сделать, что бы в тайтлах и дискрипшинах дописывалсиь "Страница 2: тайтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

Спасибо.

Ссылка на комментарий
Поделиться на других сайтах


Если я правильно понимаю, в нем закрыто от индексации страницы пагинации page=2 и далее.

Хочу их открыть для индексации! Но не пойму в какой строчке они закрыты!!

 

В нем нет закрытых страниц.

 

+ хочу сделать, что бы в тайтлах и дискрипшинах дописывалсиь "Страница 2: тайтл" и для последующих страниц соответственно ( как у розетки).

Имеет ли это смысл в плане сео?

 

К сожалению это вопрос не этой темы.

 

Но для общей информации агрегированные данные для поисковых систем не представляют ни какой ценности они попадают в дополнительный индекс.

Ссылка на комментарий
Поделиться на других сайтах


  • 4 недели спустя...

Ребята, такая проблема. Моему магазину уже месяца 3 никак не удается выйти за пределы ~130 проиндексированных страниц в Яндексе, при том, что загружено роботом порядка 4к. Вот мой роботос.тхт

 

User-agent: *
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
 
User-agent: Yandex
 
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
 
Host: мой сайт
Sitemap: http:// мой сайт/sitemap.xml
 
 
В чем беда?
Ссылка на комментарий
Поделиться на других сайтах


Здесь robots не причем

 

 

Ребята, такая проблема. Моему магазину уже месяца 3 никак не удается выйти за пределы ~130 проиндексированных страниц в Яндексе, при том, что загружено роботом порядка 4к. Вот мой роботос.тхт

 

User-agent: *
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
 
User-agent: Yandex
 
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
 
Host: мой сайт
Sitemap: http:// мой сайт/sitemap.xml
 
 
В чем беда?

 

 

Какое количество товаров в магазине?

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.