Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Индексируется "мусор" , много страниц с задублир. слешами


Recommended Posts

Приветствую всех! 

С недавнего времени заметил , что в индекс в вебмастере стали попадать страницы вида 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

В robots.txt стоит запрет и в яндексе и в гугле 

вида 

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

 

Но при проверке  в Вебмастере  "Результаты анализа robots.txt" и чеке любой такой мусорной ссылки, она стоит разрешенная , с зеленой галочкой  

 

 

Галочка seo pro в админке стоит , система os store 1.4.5.1 , robots файл лежит где нужно, вебмастер его видит ,  модулями за последними несколькими месяцами никакими не баловался, однако проблема 

обострилась именно в последнее время 

 

Братцы помогите советом , где копать, откуда идет такая генерация , правится ли это как то через системные файлы или на крайний случай, 

как закрыть на индексацию такие ссылки с задублир. слешами. Сайт постепенно стал понижаться  из за этого в выдаче 

 

 

Анализ robots txt.png

Статистика Обхода.png

Мой файл robots.txt

Link to comment
Share on other sites


1 час назад, Sibselmash сказал:

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

Link to comment
Share on other sites

1 hour ago, optimlab said:

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

 

А что можно сделать с файлом Sitemap ? Убрать все строки где больше 1 слеша в конце ? 

 

И как правильно тогда настроить robots , в разных источниках указывают именно 

Disallow: /?limit=*
Disallow: /&limit=*

но это действительно не работает

 

 

Link to comment
Share on other sites


Всем привет. Подскажите у меня sitemap в порядке? А то у меня тоже проблема, кривым ссылкам Яша присваивает код 200 . Сайт dabydaby.ru Спасибо за ранние. 

Edited by Veretin
Link to comment
Share on other sites


20 часов назад, Sibselmash сказал:

в разных источниках указывают именно

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

Link to comment
Share on other sites

13 hours ago, optimlab said:

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

 

Sitemap поправил, убрав все строки с несколькими слэшами, ушло около 50-ти строк , как считаете , сейчас лучше ?

 

По robots просто если в гугле вбить настройка robots.txt и добавить /?limit= или /?page=* , то он сходу показывает готовые рекомендации с такими включениями

 

Я сделал сейчас вот таким образом:

 

Disallow: /*?
Disallow: /*&
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=2
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=3
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=4
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=5
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=6
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=7
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=1

 

Включил только несколько страниц где у меня много товаров  в важном разделе , 

остальные все закрыл такими 2-мя строками , сейчас вроде по анализу" Разрешены ли URL?"

в вебмастере 

Такие ссылки 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

вместо зеленой галочки стоят вот с таким знаком красного цвета "/*?*" как думаете , нормальный такой вариант ? 

 

 

 

 

 

Edited by Sibselmash
Link to comment
Share on other sites


Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

Link to comment
Share on other sites


1 hour ago, Polaris said:

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

 

Спасибо за ответ!, но вроде это не совсем то.

Вставил код, получил ошибку переадресации . 

 

Вообще нашел еще вот такую тему ,

  , честно говоря не могу сказать, такая же там проблема как у меня, но похоже по описанию . А вообще как считаете если побороть эту проблему , Яндекс вообще поднимет позиции ? У меня в вебмастере уже 800 страниц таких проиндексированных 

с ссылками типа , 

N / a 200OK
N / a 200OK
N / a 200OK
и т.д. Уже около года добавляются . Надо посмотреть , будут ли счс добавляться ссылки такого типа после запрета в robots.txt. Отпишусь !

7.png

Link to comment
Share on other sites


Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

Link to comment
Share on other sites


15 hours ago, Polaris said:

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

 

Не могли бы вы подсказать как именно должно выглядить такое решение ? Если я правильно понимаю речь идет о файле .htaccess

Link to comment
Share on other sites


В 28.03.2018 в 07:29, Sibselmash сказал:

как думаете , нормальный такой вариант ? 

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

В 26.03.2018 в 20:06, optimlab сказал:

И вообще у вас там пипец! Дальше хуже...

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

В 26.03.2018 в 20:06, optimlab сказал:

Вас ждет дорога к опенкарт 3.х...

 

Link to comment
Share on other sites

1 hour ago, optimlab said:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

 

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Link to comment
Share on other sites


51 минуту назад, Sibselmash сказал:

 может кто то другой имел такой опыт на практике с opencart 

 

Бесплатный фикс, решающий вашу проблему с "мусором"

Спойлер

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Link to comment
Share on other sites

9 minutes ago, markimax said:

 

Бесплатный фикс, решающий вашу проблему

  Hide contents

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Спасибо! Только у меня ссылка не открывается 

Link to comment
Share on other sites


3 минуты назад, Sibselmash сказал:

Спасибо! Только у меня ссылка не открывается 

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Link to comment
Share on other sites

29 minutes ago, markimax said:

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Спасибо ! Постараюсь проделать все, я вроде похожую тему находил , если это та инструкция где нужно работать с базой , делать запросы , 

боюсь что сам не смогу справиться , но отпишусь в любом случае !

Link to comment
Share on other sites


5 minutes ago, Polaris said:

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

 

 

Да, вот пожалуйста , Там есть строки

RewriteCond %{REQUEST_URI} ^/informaciya/tkani-i-razmery/tipy-tkani/velikolepnyy-tureckiy-shenill.html$
RewriteRule ^(.*)$ http://beanlife.ru/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/ [L,R=301]

 

Это я уже с несуществующих разделов делал переадресацию  

.htaccess

Link to comment
Share on other sites


3 часа назад, Sibselmash сказал:

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

4 часа назад, optimlab сказал:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле.

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

Link to comment
Share on other sites

On 31.03.2018 at 12:08 AM, optimlab said:

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

 

Я просто пытаюсь разобраться, я не профессионал . А как то по вашим советам вы рекомендуете "отрезать руку" когда болит палец, 

но конечно я также невнимателен , признаю 

 

 

Установил модуль уважаемого  markimax

Все равно "проходят" ссылки такого вида , с задублир. слэшами , в настройках модуля все стоит . 

есть ли какой то вариант закрыть задублированный слэш через robots или htaccess ?

 

 

blog1.png

blog2.png

Link to comment
Share on other sites


Зд-те.

А как объяснить если вдруг в индекс попали несуществующие страницы подкатегорий. На сайте только топ-категории, например https://100kotlov.by/kotly-gazovye/ подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс. Разумеется, возникает дубликат статьи на топ-категории . Вначале я делал редирект в .htaccess, но они все время возвращаются. Уже устал отслеживать. В карте сайта этих страниц нет. Можно ли в .htaccess прописать запрет на все что идет после топ-категории?

Link to comment
Share on other sites


5 минут назад, adida сказал:

я делал редирект в .htaccess

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

Link to comment
Share on other sites

1 час назад, adida сказал:

 

 подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс.

 

Есть они

5546108056.jpg

Link to comment
Share on other sites

Так вот те на! Так это производитель, он и в фильтре есть, а не подкатегория.  почему к url  категории добавляется url производителя? в реальности, такой подкатегории нет уже давно... но она есть  если ввести прямо в адресную строку адрес

 

 есть ли смысл делать в robots.txt 

Allow:/ топкатегория 

Disallow: /топкатегория*      - как-то так ?

Edited by adida
Link to comment
Share on other sites


9 часов назад, Otvet сказал:

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

 а где взять  seo pro? на официальном opencart.com или какого-то русс. язычного  - может есть какой-то более адаптированный?

Link to comment
Share on other sites


Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.