Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Как заблокировать индексацию дублей в опен карте ?


NePridumal
 Поделиться

Рекомендованные сообщения

Как заблокировать индексацию дублей в опен карте ?

 

что имеем на данный момент (фото) в яндекс веб мастере Clipboard02.jpg.c0e38dfdf8b60b640a83177a8bae02f1.jpg

 

уникальных страниц порядка 300, с дублями проиндексировано около 1000шт. 

 

как с этим бороться ? 

 

роботс выглядит следующим образом:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: бла бла
Sitemap: сайтмап иксмел

 

Изменено пользователем NePridumal
Ссылка на комментарий
Поделиться на других сайтах


посмотрите эту тему, там есть хорошие решения от paint 

 

Ссылка на комментарий
Поделиться на других сайтах

Только что, Yurta сказал:

посмотрите эту тему, там есть хорошие решения от paint 

 

ни слова о ?page

Ссылка на комментарий
Поделиться на других сайтах


Мне не нужны какие то платные модули, все решается через роботс. важно понять как все это заблокировать ?

Ссылка на комментарий
Поделиться на других сайтах


Ручное есть. Вам дали 2 бнсплатных мода на посмотреть. Перенесите вручную эти изменения - и получите результат, если так уж сильно не нравится модификатор.

Кнопочка "сделать зашибись" есть только в платных решениях. В остальных случаях нужно понимать что и как делается.

Изменено пользователем hoolygan
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


5 часов назад, NePridumal сказал:

мне не нужны плагины, есть ручное решение

Мне кажется, что вы правы - строчка 

Disallow: /*&page=

должна исключать появление страниц пагинации в вебмастере.

Почему они появляются?

 

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

Проблема не совсем в том, что теперь делать (это не так, что бы прям косяк). Проблема как такое вообще могло произойти? 

 

 

 

Изменено пользователем florapraktik
Ссылка на комментарий
Поделиться на других сайтах


да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Изменено пользователем NePridumal
Ссылка на комментарий
Поделиться на других сайтах


8 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет.

??? А что будет завтра?

Если страницы попали в индекс ПС, то файл роботс.тхт их от туда НЕ уберёт - они так и останутся в индексе.

 

Цитата

проверил через яндекс веб мастер - ссылки заблокированы в роботс

Алилуя! директива  Disallow: /*&page= работает  благополучно.

 

Цитата

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Если данная проблема не воспроизводится, то это НЕ проблема.

 

Изменено пользователем florapraktik
Ссылка на комментарий
Поделиться на других сайтах


6 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Это баг в Opencart 2.2.0.0 - 2.3.0.2 при включённом ЧПУ .
pagination-fix.ocmod.xml

 

А индексацию пейджингов зря вы закрыли. :wacko:

 

Ссылка на комментарий
Поделиться на других сайтах

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Ссылка на комментарий
Поделиться на других сайтах


mysite.ru/blabla/?page=-2   а вот такой тип страницы это уже дубль считается. почему ?  это же тоже пагинация

 

mysite.ru/blabla/?page=2  и это тоже дубль

Ссылка на комментарий
Поделиться на других сайтах


21 минуту назад, NePridumal сказал:

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Потому что для ПС страницы с одинаковыми названиями товаров и описанием - это дубли и она их поклеит.

Поэтому и делают разное название товара и описание - это называется оптимизация интеренет-магазина 18-й пункт.

Ссылка на комментарий
Поделиться на других сайтах

11 минут назад, NePridumal сказал:

mysite.ru/blabla/?page=2  и это тоже дубль

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

Ссылка на комментарий
Поделиться на других сайтах


Только что, florapraktik сказал:

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

Изменено пользователем NePridumal
Ссылка на комментарий
Поделиться на других сайтах


И да:

 

Цитата

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

роботс только вчера изменил, до этого год не были запрещены к индексации страницы типа:

 

/*?page=

/*?page=-

/*&page=

/*&page=-

 

Но сегодня смотрел все равно добавилось несколько страниц. Надеюсь больше не будет добавлений, а те что уже в поиске дубли придется удалить вручную через site:mysite.ru

Ссылка на комментарий
Поделиться на других сайтах


41 минуту назад, NePridumal сказал:

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

В принципе, как хотите, пусть так:)

С другой стороны, вот у Васи пагинация закрыта дальше первой и каноникл стоит. А у Пети вся пагинация открыта и проиндексирована. И получается, что у Васи 20 товаров в категории (только первая страница), а у Пети 220 (всё, что есть в категории). Впрочем, Платон как то дал понять, что это как бы не показатель для яндекса.:)

 

У вас проблема (насколько я понял) что движок портачит и генерит бесконечное количество страниц с отрицательной пагинацией. Это проблема. 

Выше человек предложил мод, который фиксит это баг. Вы читали тему, где обсуждалось как пофиксить вручную. И в той же теме был вариант закрывать только страницы с отрицательной пагинацией.

 

Я бы закрыл только несуществующие страницы с минусом. Оставил реальные страницы и добавил прев/некст.

Но это такое...

Изменено пользователем florapraktik
Ссылка на комментарий
Поделиться на других сайтах


8 минут назад, NePridumal сказал:

попробуем так и сделать. 

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

Ссылка на комментарий
Поделиться на других сайтах


Только что, florapraktik сказал:

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

слишком сложно для меня, и не люблю моды, они перегружают сайт. По мне идеальный сайт это hmtl + sql, рукописный.

Ссылка на комментарий
Поделиться на других сайтах


6 минут назад, NePridumal сказал:

 не люблю моды

:D

Никто не любит.

Вот сижу, читаю за ЛЕФТ ЖОИН.

А в это время, моды уже работают. А я пока только читаю...

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Если пользоваться только left join постоянно - получите в итоге периодические потери в производительности в разы. Сразу одновременно нужно учить индексы, смотреть планы выполнения и пробовать, бесконечно пробовать )

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.