Перейти к содержанию
NePridumal

Как заблокировать индексацию дублей в опен карте ?

Рекомендуемые сообщения

Как заблокировать индексацию дублей в опен карте ?

 

что имеем на данный момент (фото) в яндекс веб мастере Clipboard02.jpg.c0e38dfdf8b60b640a83177a8bae02f1.jpg

 

уникальных страниц порядка 300, с дублями проиндексировано около 1000шт. 

 

как с этим бороться ? 

 

роботс выглядит следующим образом:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: бла бла
Sitemap: сайтмап иксмел

 

Изменено пользователем NePridumal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

посмотрите эту тему, там есть хорошие решения от paint 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, Yurta сказал:

посмотрите эту тему, там есть хорошие решения от paint 

 

ни слова о ?page

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Мне не нужны какие то платные модули, все решается через роботс. важно понять как все это заблокировать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Бесплатные модули

У Вас страницы пагинации в поисковый индекс попадают? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

мне не нужны плагины, есть ручное решение

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ручное есть. Вам дали 2 бнсплатных мода на посмотреть. Перенесите вручную эти изменения - и получите результат, если так уж сильно не нравится модификатор.

Кнопочка "сделать зашибись" есть только в платных решениях. В остальных случаях нужно понимать что и как делается.

Изменено пользователем hoolygan
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 часов назад, NePridumal сказал:

мне не нужны плагины, есть ручное решение

Мне кажется, что вы правы - строчка 

Disallow: /*&page=

должна исключать появление страниц пагинации в вебмастере.

Почему они появляются?

 

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

Проблема не совсем в том, что теперь делать (это не так, что бы прям косяк). Проблема как такое вообще могло произойти? 

 

 

 

Изменено пользователем florapraktik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Изменено пользователем NePridumal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
8 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет.

??? А что будет завтра?

Если страницы попали в индекс ПС, то файл роботс.тхт их от туда НЕ уберёт - они так и останутся в индексе.

 

Цитата

проверил через яндекс веб мастер - ссылки заблокированы в роботс

Алилуя! директива  Disallow: /*&page= работает  благополучно.

 

Цитата

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Если данная проблема не воспроизводится, то это НЕ проблема.

 

Изменено пользователем florapraktik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Это баг в Opencart 2.2.0.0 - 2.3.0.2 при включённом ЧПУ .
pagination-fix.ocmod.xml

 

А индексацию пейджингов зря вы закрыли. :wacko:

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, NePridumal сказал:

почему зря отключены page?

Потому что пагитнация, это НЕ дубли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

mysite.ru/blabla/?page=-2   а вот такой тип страницы это уже дубль считается. почему ?  это же тоже пагинация

 

mysite.ru/blabla/?page=2  и это тоже дубль

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
21 минуту назад, NePridumal сказал:

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Потому что для ПС страницы с одинаковыми названиями товаров и описанием - это дубли и она их поклеит.

Поэтому и делают разное название товара и описание - это называется оптимизация интеренет-магазина 18-й пункт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
11 минут назад, NePridumal сказал:

mysite.ru/blabla/?page=2  и это тоже дубль

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, florapraktik сказал:

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

Изменено пользователем NePridumal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

И да:

 

Цитата

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

роботс только вчера изменил, до этого год не были запрещены к индексации страницы типа:

 

/*?page=

/*?page=-

/*&page=

/*&page=-

 

Но сегодня смотрел все равно добавилось несколько страниц. Надеюсь больше не будет добавлений, а те что уже в поиске дубли придется удалить вручную через site:mysite.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
41 минуту назад, NePridumal сказал:

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

В принципе, как хотите, пусть так:)

С другой стороны, вот у Васи пагинация закрыта дальше первой и каноникл стоит. А у Пети вся пагинация открыта и проиндексирована. И получается, что у Васи 20 товаров в категории (только первая страница), а у Пети 220 (всё, что есть в категории). Впрочем, Платон как то дал понять, что это как бы не показатель для яндекса.:)

 

У вас проблема (насколько я понял) что движок портачит и генерит бесконечное количество страниц с отрицательной пагинацией. Это проблема. 

Выше человек предложил мод, который фиксит это баг. Вы читали тему, где обсуждалось как пофиксить вручную. И в той же теме был вариант закрывать только страницы с отрицательной пагинацией.

 

Я бы закрыл только несуществующие страницы с минусом. Оставил реальные страницы и добавил прев/некст.

Но это такое...

Изменено пользователем florapraktik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

понял спасибо, попробуем так и сделать. 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
8 минут назад, NePridumal сказал:

попробуем так и сделать. 

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, florapraktik сказал:

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

слишком сложно для меня, и не люблю моды, они перегружают сайт. По мне идеальный сайт это hmtl + sql, рукописный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, NePridumal сказал:

 не люблю моды

:D

Никто не любит.

Вот сижу, читаю за ЛЕФТ ЖОИН.

А в это время, моды уже работают. А я пока только читаю...

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если пользоваться только left join постоянно - получите в итоге периодические потери в производительности в разы. Сразу одновременно нужно учить индексы, смотреть планы выполнения и пробовать, бесконечно пробовать )

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.