Как заблокировать индексацию дублей в опен карте ?

[NePridumal]

Как заблокировать индексацию дублей в опен карте ?

 

что имеем на данный момент (фото) в яндекс веб мастере 

 

уникальных страниц порядка 300, с дублями проиндексировано около 1000шт. 

 

как с этим бороться ? 

 

роботс выглядит следующим образом:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: бла бла
Sitemap: сайтмап иксмел

 

Edited September 16, 2017 by NePridumal

[Yurta]

посмотрите эту тему, там есть хорошие решения от paint 

 

[NePridumal]

Только что, Yurta сказал:

посмотрите эту тему, там есть хорошие решения от paint 

 

ни слова о ?page

[Otvet]

https://opencartforum.com/files/file/2645-seo-full-index-uluchshenie-indeksacii/

 

[NePridumal]

Мне не нужны какие то платные модули, все решается через роботс. важно понять как все это заблокировать ?

[agefremov]

Бесплатные модули

У Вас страницы пагинации в поисковый индекс попадают? 

[NePridumal]

мне не нужны плагины, есть ручное решение

[hoolygan]

Ручное есть. Вам дали 2 бнсплатных мода на посмотреть. Перенесите вручную эти изменения - и получите результат, если так уж сильно не нравится модификатор.

Кнопочка "сделать зашибись" есть только в платных решениях. В остальных случаях нужно понимать что и как делается.

Edited September 17, 2017 by hoolygan

[florapraktik]

5 часов назад, NePridumal сказал:

мне не нужны плагины, есть ручное решение

Мне кажется, что вы правы - строчка 

Disallow: /*&page=

должна исключать появление страниц пагинации в вебмастере.

Почему они появляются?

 

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.

 

Проблема не совсем в том, что теперь делать (это не так, что бы прям косяк). Проблема как такое вообще могло произойти? 

 

 

 

Edited September 17, 2017 by florapraktik

[NePridumal]

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Edited September 17, 2017 by NePridumal

[florapraktik]

8 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет.

??? А что будет завтра?

Если страницы попали в индекс ПС, то файл роботс.тхт их от туда НЕ уберёт - они так и останутся в индексе.

 

Цитата

проверил через яндекс веб мастер - ссылки заблокированы в роботс

Алилуя! директива  Disallow: /*&page= работает  благополучно.

 

Цитата

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Если данная проблема не воспроизводится, то это НЕ проблема.

 

Edited September 17, 2017 by florapraktik

[optimlab]

6 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Это баг в Opencart 2.2.0.0 - 2.3.0.2 при включённом ЧПУ .
pagination-fix.ocmod.xml

 

А индексацию пейджингов зря вы закрыли.

 

[NePridumal]

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

[florapraktik]

6 минут назад, NePridumal сказал:

почему зря отключены page?

Потому что пагитнация, это НЕ дубли.

[NePridumal]

mysite.ru/blabla/?page=-2   а вот такой тип страницы это уже дубль считается. почему ?  это же тоже пагинация

 

mysite.ru/blabla/?page=2  и это тоже дубль

[optimlab]

21 минуту назад, NePridumal сказал:

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Потому что для ПС страницы с одинаковыми названиями товаров и описанием - это дубли и она их поклеит.

Поэтому и делают разное название товара и описание - это называется оптимизация интеренет-магазина 18-й пункт.

[florapraktik]

11 минут назад, NePridumal сказал:

mysite.ru/blabla/?page=2  и это тоже дубль

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

[NePridumal]

Только что, florapraktik сказал:

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

Edited September 17, 2017 by NePridumal

[NePridumal]

И да:

 

Цитата

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.

 

роботс только вчера изменил, до этого год не были запрещены к индексации страницы типа:

 

/*?page=

/*?page=-

/*&page=

/*&page=-

 

Но сегодня смотрел все равно добавилось несколько страниц. Надеюсь больше не будет добавлений, а те что уже в поиске дубли придется удалить вручную через site:mysite.ru

[florapraktik]

41 минуту назад, NePridumal сказал:

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

В принципе, как хотите, пусть так

С другой стороны, вот у Васи пагинация закрыта дальше первой и каноникл стоит. А у Пети вся пагинация открыта и проиндексирована. И получается, что у Васи 20 товаров в категории (только первая страница), а у Пети 220 (всё, что есть в категории). Впрочем, Платон как то дал понять, что это как бы не показатель для яндекса.

 

У вас проблема (насколько я понял) что движок портачит и генерит бесконечное количество страниц с отрицательной пагинацией. Это проблема. 

Выше человек предложил мод, который фиксит это баг. Вы читали тему, где обсуждалось как пофиксить вручную. И в той же теме был вариант закрывать только страницы с отрицательной пагинацией.

 

Я бы закрыл только несуществующие страницы с минусом. Оставил реальные страницы и добавил прев/некст.

Но это такое...

Edited September 17, 2017 by florapraktik

[NePridumal]

понял спасибо, попробуем так и сделать. 

 

 

[florapraktik]

8 минут назад, NePridumal сказал:

попробуем так и сделать. 

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

[NePridumal]

Только что, florapraktik сказал:

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

слишком сложно для меня, и не люблю моды, они перегружают сайт. По мне идеальный сайт это hmtl + sql, рукописный.

[florapraktik]

6 минут назад, NePridumal сказал:

 не люблю моды

Никто не любит.

Вот сижу, читаю за ЛЕФТ ЖОИН.

А в это время, моды уже работают. А я пока только читаю...

[hoolygan]

Если пользоваться только left join постоянно - получите в итоге периодические потери в производительности в разы. Сразу одновременно нужно учить индексы, смотреть планы выполнения и пробовать, бесконечно пробовать )