Запрет на индексацию дублей

[OldAine]

Предположим, есть у меня страница акриловых ванн.

Ссылка на эту страницу: index.php?route=product/category&path=25_32  
Чпу ссылка этой страницы: /vanny/akrilovye/  

Вопрос: Если в robots.txt я напишу:
Disallow: index.php?route=product/category&path=25_32

Таким образом я запрещу поисковику индексировать страницу акриловых ванн совсем? или только её не-чпу дубль?

 

Мне просто не совсем понятно, как это дело работает. Запрет идет на индексацию содержимого страницы или ссылок на содержимое?

[freelancer]

моё мнение Disallow это указание не индексировать конкретную страницу index.php?route=product/category&path=25_32

в доках яндекса пишут 

 

Чтобы оставить в поисковой выдаче нужную страницу, рекомендуем явно указывать ее для робота Яндекса. Это можно сделать следующими способами:

• Установите редирект 301 с одной дублирующей страницы на другую. В этом случае при поиске будет учитываться цель установленного перенаправления.
• Укажите предпочитаемый (канонический) адрес страницы, который будет участвовать в поиске.

[OldAine]

моё мнение Disallow это указание не индексировать конкретную страницу index.php?route=product/category&path=25_32

в доках яндекса пишут 

 

А в costore это уже реализовано? Я имею ввиду seo_pro, вроде как, этим и занимается - перенаправляет с не чпу, на чпу страницы товаров, категорий, статей...

[snastik]

По первому вопросу - да запретите дубль.
Я иногда у себя в магазинах делаю полный запрет на индексацию страниц без ЧПУ
в таком виде:
Disalow: /index.php*

 

По второму вопросу - да seopro сделает вам 301 редирект и даже если кривые ссылки попали в индекс - то у вас все красиво переклеится через какое то время на уникальную ЧПУ

[OldAine]

Спасибо за пояснение, потихоньку туман рассеивается)
 
Правда исходя из выше написанного про Disallow: /index.php* у меня появился новый вопрос: я планирую прикупить модуль SEOFIX Mета-тег NOINDEX 1.2, он изменяет отношение поисковика к страницам типа:
 
Disallow: /*?sort
Disallow: /*?limit
Disallow: /*?page
 
но это лишь окончание для страницы типы  /index.php?route=product/category&path=25_32&limit=25
 
Вопрос в том, что будет если я применю правило Disallow: /index.php* - не сойдет ли на нет работа модуля SEOFIX ?
 
И где вообще можно увидеть страницы с таким окончанием ?limit или ?page?
У меня везде только &limit или &page ...

например: /vanny/akrilovye/?sort=p.sort_order&order=ASC&limit=12&page=2

[snastik]

1. Нет не сойдет, все будет ок, не забудьте только из роботса убрать запрет сортировок - чтобы бот ходил на эти страницы но не индексировал. Это важно! (в противном случае - долгое мучительное выпадение из соплей, если туда что то попало)

2. /vanny/akrilovye/?order=ASC&limit=12&page=2

[OldAine]

1. Нет не сойдет, все будет ок, не забудьте только из роботса убрать запрет сортировок - чтобы бот ходил на эти страницы но не индексировал. Это важно! (в противном случае - долгое мучительное выпадение из соплей, если туда что то попало)

2. /vanny/akrilovye/?order=ASC&limit=12&page=2

1. Точно, глупый был вопрос. Это же почти одно и то же, что через роботс индексацию дублей запретить, что через seofix запретить индексировать ненужные страницы.

2. Не понял, что имелось в виду под: /vanny/akrilovye/?order=ASC&limit=12&page=2 ?

 

Я пытался указать на знак перед sort, limit, page

 

 

Модуль seofix воздействует на подобные страницы:

• /*?sort   - тут ?
• /*?limit   - тут ?
• /*?page - тут ?

А на деле, на сайте, видим такие:

• /*?sort     - тут ?
• /*&limit     - тут &
• /*&page   - тут &

Что-то не сходится, вот я о чем)

 

UPD^ Все понял сам, можете не отвечать.

 

Спасибо за помощь :)

Змінено 21 травня 2015 користувачем OldAine

[OldAine]

Спасибо большое за подсказки, я уже почти закончил со своим роботсом, остался последний вопрос, я при фильтрации получаю ссылку:

• /vanny/akrilovye/?mfp=price....

или

• /index.php?route=product/category&path=18_45&mfp=manufacturers[24]

Как правильно составить правило?

 

Disallow: /*?mfp=
Disallow: /?mfp=*

Disallow: /*?mfp=*

или

Disallow: *?mfp=*

 

В целом можно ставить звездочки с двух сторон или это неправильно? А то по логике получается, что вроде можно, но в примерах яндекса, ничего подобного нет.

[OldAine]

Disallow: /*?mfp=
Disallow: /*&mfp=

Это случаем не самый верный вариант?

[simons8920]

Нужно что б все ссылки были с чпу. что б робот просто не находил ссылок без чпу. Разве это не решение всех проблем,

Все что описано в этой теме это обезболивающее, а не лекарство болезни.

[OldAine]

Нужно что б все ссылки были с чпу. что б робот просто не находил ссылок без чпу. Разве это не решение всех проблем,

Все что описано в этой теме это обезболивающее, а не лекарство болезни.

Чпу у меня, само собой, есть, тут в другом дело - как я понял, поисковик вполне себе может проиндексировать не-чпу ссылки - а каждая не-чпу ссылка - это дубль на чпу ссылку. Соответственно, все это дело надо как-то через robots запретить к индексации. Кроме того, для моего фильтра(megafilerpro) seo нет и в помине, так что кроме как закрыть его через роботс, мне ничего и не остается. Вот только я с этим делом не очень дружу, а документации до меня плохо доходят и не рассматривают всех примеров, отсюда и вопросы в этой теме. Если не сложно ответь на последний, а то я до сих пор в замешательстве.

[simons8920]

Если есть чпу ссылки то почему нельзя сделать 

Disalow: /index.php*

То есть запретить все ссылки без чпу.

и вам останется запретить только фильтр

/vanny/akrilovye/?mfp=price....

Disalow: /?mfp=*

[OldAine]

Если есть чпу ссылки то почему нельзя сделать

Disalow: /index.php*

То есть запретить все ссылки без чпу.

Да вроде как можно, просто не хочу рисковать. Чисто теоретически, я мог пропустить что-то и в таком случае, поисковик не станет индексировать нужную страницу, хоть она и без чпу.

 

/vanny/akrilovye/?mfp=price....

Disalow: /?mfp=*

Спасибо за ответ, а Вы уверены в том, что звездочку надо ставить именно после знака ровно?

Просто мне кажется, что так: /?mfp=*, что так: /*?mfp= или так: /*?mfp=* - все равно это одно и то-же. Или я не прав?

[simons8920]

Да вроде как можно, просто не хочу рисковать. Чисто теоретически, я мог пропустить что-то и в таком случае, поисковик не станет индексировать нужную страницу, хоть она и без чпу.

 

Спасибо за ответ, а Вы уверены в том, что звездочку надо ставить именно после знака ровно?

Просто мне кажется, что так: /?mfp=*, что так: /*?mfp= или так: /*?mfp=* - все равно это одно и то-же. Или я не прав?

по первому пункту если думаете что что то пропустили проверьте через гугл (какие страницы он съел).

по второму это три разные директивы

/?mfp=* // запрещяет страницы вида /?mfp=trolololo

/*?mfp= // запрещает страницы вида /trotototo?mfp=

/*?mfp=* // запретит страницы вида /trololo?mfp=trololo

[OldAine]

по первому пункту если думаете что что то пропустили проверьте через гугл (какие страницы он съел).

по второму это три разные директивы

/?mfp=* // запрещяет страницы вида /?mfp=trolololo

/*?mfp= // запрещает страницы вида /trotototo?mfp=

/*?mfp=* // запретит страницы вида /trololo?mfp=trololo

Так получается, что мне подходит только последний, с двумя звездочками Disalow: /*?mfp=* ? а не с одной Disalow: /?mfp=*, как Вы ранее предлагали 

 

ибо вид страницы после фильтрации такой: http://сайт.ком/vanny/akrilovye/?mfp=12-kollektsiya[Helice],107-material[%D0%90%D0%BA%D1%80%D0%B8%D0%BB]

[simons8920]

Так получается, что мне подходит только последний, с двумя звездочками Disalow: /*?mfp=* ? а не с одной Disalow: /?mfp=*, как Вы ранее предлагали 

 

ибо вид страницы после фильтрации такой: http://сайт.ком/vanny/akrilovye/?mfp=12-kollektsiya[Helice],107-material[%D0%90%D0%BA%D1%80%D0%B8%D0%BB]

Это лишнее имхо.

подойдет и то и другое для ваших страниц.

если у вас до ? нет ничего зачем ставить звездочку?

Disalow: /?mfp=* закроет страницы ?mfp=12-kollektsiya[Helice],107-material[%D0%90%D0%BA%D1%80%D0%B8%D0%BB]

зачем вам больше?

если вы как раз поставите /*?mfp=* то не чпу ссылки попадут под дизаллов.

[OldAine]

если у вас до ? нет ничего зачем ставить звездочку?

Не пойму логику, почему ничего нет? Там либо не чпу ссылка на страницу, либо чпу ссылка, типа: http://сайт.ком/vanny/akrilovye/ а потом уже ?mfp=....

 

 

зачем вам больше?

если вы как раз поставите /*?mfp=* то не чпу ссылки попадут под дизаллов.

Так вроде этого и пытаюсь добиться. Правда в таком случае не только не чпу ссылки попадут, но и чпу, но это не имеет значения ибо ссылки с фильтра не должны попадать в поиск совсем, какие бы они не были.

[RodgerFox]

ОМГ! может хватит? столько тем одних и тех же, и все какой то бред пишите. у вас же такая простенькая задачка, есть ссылки - нужно запретить, есть дубли - нужно запретить, есть дубли контента из-за гет запросов - ну так запретите же их, а еще лучше прочитайте, что такое гиперссылка. 

Серьезно, хотите найти решение, и сделать его самим покажите свою компетентность. Скажите нам, что такое гиперссылка и что там? за горизонтом "пакетов". 

[OldAine]

ОМГ! может хватит? столько тем одних и тех же, и все какой то бред пишите. у вас же такая простенькая задачка, есть ссылки - нужно запретить, есть дубли - нужно запретить, есть дубли контента из-за гет запросов - ну так запретите же их, а еще лучше прочитайте, что такое гиперссылка.

Серьезно, хотите найти решение, и сделать его самим покажите свою компетентность. Скажите нам, что такое гиперссылка и что там? за горизонтом "пакетов".

Вы темой не ошиблись? Не могу понять зачем и кому это бессмысленное сверх эмоциональное послание было оставлено.

И при чем тут гиперссылки?

[RodgerFox]

Вы темой не ошиблись? Не могу понять зачем и кому это бессмысленное сверх эмоциональное послание было оставлено.

И при чем тут гиперссылки?

2 и 3 строчка, это ссылки, вы указали ссылки. так вы помощь ищите или просто рассказываете с чем столкнулись в жизни? 

[OldAine]

2 и 3 строчка, это ссылки, вы указали ссылки.

где 2 и 3 строчка, в каком сообщение? тут ничего не помечено цифрами.

 

И, на сколько я знаю, гиперсылка - это ссылка из текста, сообщения, а ссылка в адресной строке - это просто "ссылка", url. И тут нет вообще никаких ссылок если уж на то пошло, здесь есть только примеры и части ссылок.

 

 

так вы помощь ищите или просто рассказываете с чем столкнулись в жизни? 

С учетом того, что вы пишите, я не уверен, что от вас можно получить помощь, уже два сообщения, а смысла и пользы от них 0.

[RodgerFox]

ну да.. с гиперссылками криво. хотя вы это точно прочли после моего поста. отлично, мы знаем что такое ссылки, теперь давайте подумаем каким образом поисковики узнают эти ссылки? 

мы пройдем с вами долгий путь, и в конце будет ждать истина и решение задачи. 

[OldAine]

ну да.. с гиперссылками криво. хотя вы это точно прочли после моего поста. отлично, 

Я это знаю с момента появления офиса на пк, гиперсылки задаются даже в ворде, причем кнпока так и называются "гиперссылка".

 

 

мы знаем что такое ссылки, теперь давайте подумаем каким образом поисковики узнают эти ссылки? 

мы пройдем с вами долгий путь, и в конце будет ждать истина и решение задачи. 

Менторский тон этой "беседы" меня утомляет. Я не вижу в вас учителя, ибо вы не написали ничего, от чего я мог бы хотя-бы предположить, что вы в этом сечете больше чем я. Хотя я и не скрывал, что в сео я не разибраюсь, и изучаю эту сторону жизни сайта, всего 3-4 дня.

 

Короче, если вам есть что посоветовать, то пишите, буду благодарен, а в игры "вопрос/ответ" играть не собираюсь.

[RodgerFox]

т.е. за 3-4 дня вы стали разбираться кто знает сео и кто нет, и единственное на что опираются ваши суждения.... помогли или нет? Я не могу дать совет, он до безобразия очевиден! Но узнав как поисковики узнают о страницах, вы придете к решению на одну треть

[OldAine]

Через инструменты гугл-вебмастера проверил ссылки, единственным правильным вариантом оказалось это:

 

Disallow: /*?mfp=*
Disallow: /*&mfp=*

 

все остальные запреты, аля:

 

Disallow: /*?mfp=
Disallow: /*&mfp=

 

или

 

Disallow: /?mfp=*
Disallow: /&mfp=*

 

не срабатывают, как правило на запрет.