Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Как заблокировать индексацию дублей в опен карте ?


Recommended Posts

Как заблокировать индексацию дублей в опен карте ?

 

что имеем на данный момент (фото) в яндекс веб мастере Clipboard02.jpg.c0e38dfdf8b60b640a83177a8bae02f1.jpg

 

уникальных страниц порядка 300, с дублями проиндексировано около 1000шт. 

 

как с этим бороться ? 

 

роботс выглядит следующим образом:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /forgot-password
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: бла бла
Sitemap: сайтмап иксмел

 

Edited by NePridumal
Link to post
Share on other sites

посмотрите эту тему, там есть хорошие решения от paint 

 

Link to post
Share on other sites
Только что, Yurta сказал:

посмотрите эту тему, там есть хорошие решения от paint 

 

ни слова о ?page

Link to post
Share on other sites

Мне не нужны какие то платные модули, все решается через роботс. важно понять как все это заблокировать ?

Link to post
Share on other sites

Бесплатные модули

У Вас страницы пагинации в поисковый индекс попадают? 

Link to post
Share on other sites

мне не нужны плагины, есть ручное решение

Link to post
Share on other sites

Ручное есть. Вам дали 2 бнсплатных мода на посмотреть. Перенесите вручную эти изменения - и получите результат, если так уж сильно не нравится модификатор.

Кнопочка "сделать зашибись" есть только в платных решениях. В остальных случаях нужно понимать что и как делается.

Edited by hoolygan
  • +1 1
Link to post
Share on other sites

5 часов назад, NePridumal сказал:

мне не нужны плагины, есть ручное решение

Мне кажется, что вы правы - строчка 

Disallow: /*&page=

должна исключать появление страниц пагинации в вебмастере.

Почему они появляются?

 

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

Проблема не совсем в том, что теперь делать (это не так, что бы прям косяк). Проблема как такое вообще могло произойти? 

 

 

 

Edited by florapraktik
Link to post
Share on other sites

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Edited by NePridumal
Link to post
Share on other sites

8 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет.

??? А что будет завтра?

Если страницы попали в индекс ПС, то файл роботс.тхт их от туда НЕ уберёт - они так и останутся в индексе.

 

Цитата

проверил через яндекс веб мастер - ссылки заблокированы в роботс

Алилуя! директива  Disallow: /*&page= работает  благополучно.

 

Цитата

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Если данная проблема не воспроизводится, то это НЕ проблема.

 

Edited by florapraktik
Link to post
Share on other sites

6 минут назад, NePridumal сказал:

да добавил и минус в роботс, посмотрим завтра что будет. проверил через яндекс веб мастер - ссылки заблокированы в роботс не читаются.

 

причина появления страниц мне не ясна, вообще и раньше они были видимо, возможно из за пагинации (которую уже пофиксил).

Это баг в Opencart 2.2.0.0 - 2.3.0.2 при включённом ЧПУ .
pagination-fix.ocmod.xml

 

А индексацию пейджингов зря вы закрыли. :wacko:

 

Link to post
Share on other sites

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Link to post
Share on other sites

6 минут назад, NePridumal сказал:

почему зря отключены page?

Потому что пагитнация, это НЕ дубли.

Link to post
Share on other sites

mysite.ru/blabla/?page=-2   а вот такой тип страницы это уже дубль считается. почему ?  это же тоже пагинация

 

mysite.ru/blabla/?page=2  и это тоже дубль

Link to post
Share on other sites

21 минуту назад, NePridumal сказал:

почему зря отключены page? если в категории одной будет несколько дублей это же не есть хорошо ? с разным перечнем товаров, но одинаковым описанием.

Потому что для ПС страницы с одинаковыми названиями товаров и описанием - это дубли и она их поклеит.

Поэтому и делают разное название товара и описание - это называется оптимизация интеренет-магазина 18-й пункт.

Link to post
Share on other sites
11 минут назад, NePridumal сказал:

mysite.ru/blabla/?page=2  и это тоже дубль

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

Link to post
Share on other sites

Только что, florapraktik сказал:

Это дубль какой страницы?

mysite.ru/blabla/?page=3 Этой?

mysite.ru/blabla/?page=4 И этой?

Но, ведь там другой контент! Там другие товары. Разве нет?

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

Edited by NePridumal
Link to post
Share on other sites

И да:

 

Цитата

Вы роботс сразу залили? С самого первого дня? Потому что, если страница уже попала в индекс, то роботс её от туда НЕ удалит. Скорее, наоборот.:)

 

роботс только вчера изменил, до этого год не были запрещены к индексации страницы типа:

 

/*?page=

/*?page=-

/*&page=

/*&page=-

 

Но сегодня смотрел все равно добавилось несколько страниц. Надеюсь больше не будет добавлений, а те что уже в поиске дубли придется удалить вручную через site:mysite.ru

Link to post
Share on other sites

41 минуту назад, NePridumal сказал:

 

mysite.ru/blabla/ - основная страница с описанием и перечнем товаров

mysite.ru/blabla/?page=2 - вторая страница этого же раздела, с другим набором товаров, и этим же описанием. По сути дубль, т.к описание дескрипшен одно и тоже. 

 

mysite.ru/blabla/?page=-1, 2, 3. итд итп, 99999... - это дубли так же mysite.ru/blabla/ этой основной страницы

В принципе, как хотите, пусть так:)

С другой стороны, вот у Васи пагинация закрыта дальше первой и каноникл стоит. А у Пети вся пагинация открыта и проиндексирована. И получается, что у Васи 20 товаров в категории (только первая страница), а у Пети 220 (всё, что есть в категории). Впрочем, Платон как то дал понять, что это как бы не показатель для яндекса.:)

 

У вас проблема (насколько я понял) что движок портачит и генерит бесконечное количество страниц с отрицательной пагинацией. Это проблема. 

Выше человек предложил мод, который фиксит это баг. Вы читали тему, где обсуждалось как пофиксить вручную. И в той же теме был вариант закрывать только страницы с отрицательной пагинацией.

 

Я бы закрыл только несуществующие страницы с минусом. Оставил реальные страницы и добавил прев/некст.

Но это такое...

Edited by florapraktik
Link to post
Share on other sites

понял спасибо, попробуем так и сделать. 

 

 

Link to post
Share on other sites

8 минут назад, NePridumal сказал:

попробуем так и сделать. 

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

Link to post
Share on other sites

Только что, florapraktik сказал:

Кстати, у Otvet есть мод, который убирает описание категории на страницах дальше первой, уникализирует тайтл и ставил прев/некст на страницах пагинации.

Так, если чё...

слишком сложно для меня, и не люблю моды, они перегружают сайт. По мне идеальный сайт это hmtl + sql, рукописный.

Link to post
Share on other sites

6 минут назад, NePridumal сказал:

 не люблю моды

:D

Никто не любит.

Вот сижу, читаю за ЛЕФТ ЖОИН.

А в это время, моды уже работают. А я пока только читаю...

  • +1 1
Link to post
Share on other sites

Если пользоваться только left join постоянно - получите в итоге периодические потери в производительности в разы. Сразу одновременно нужно учить индексы, смотреть планы выполнения и пробовать, бесконечно пробовать )

  • +1 1
Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.