Перейти к содержанию
Sibselmash

Индексируется "мусор" , много страниц с задублир. слешами

Рекомендуемые сообщения

Приветствую всех! 

С недавнего времени заметил , что в индекс в вебмастере стали попадать страницы вида 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

В robots.txt стоит запрет и в яндексе и в гугле 

вида 

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

 

Но при проверке  в Вебмастере  "Результаты анализа robots.txt" и чеке любой такой мусорной ссылки, она стоит разрешенная , с зеленой галочкой  

 

 

Галочка seo pro в админке стоит , система os store 1.4.5.1 , robots файл лежит где нужно, вебмастер его видит ,  модулями за последними несколькими месяцами никакими не баловался, однако проблема 

обострилась именно в последнее время 

 

Братцы помогите советом , где копать, откуда идет такая генерация , правится ли это как то через системные файлы или на крайний случай, 

как закрыть на индексацию такие ссылки с задублир. слешами. Сайт постепенно стал понижаться  из за этого в выдаче 

 

 

Анализ robots txt.png

Статистика Обхода.png

Мой файл robots.txt

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, Sibselmash сказал:

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 hour ago, optimlab said:

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

 

А что можно сделать с файлом Sitemap ? Убрать все строки где больше 1 слеша в конце ? 

 

И как правильно тогда настроить robots , в разных источниках указывают именно 

Disallow: /?limit=*
Disallow: /&limit=*

но это действительно не работает

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Всем привет. Подскажите у меня sitemap в порядке? А то у меня тоже проблема, кривым ссылкам Яша присваивает код 200 . Сайт dabydaby.ru Спасибо за ранние. 

Изменено пользователем Veretin

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
20 часов назад, Sibselmash сказал:

в разных источниках указывают именно

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
13 hours ago, optimlab said:

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

 

Sitemap поправил, убрав все строки с несколькими слэшами, ушло около 50-ти строк , как считаете , сейчас лучше ?

 

По robots просто если в гугле вбить настройка robots.txt и добавить /?limit= или /?page=* , то он сходу показывает готовые рекомендации с такими включениями

 

Я сделал сейчас вот таким образом:

 

Disallow: /*?
Disallow: /*&
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=2
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=3
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=4
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=5
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=6
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=7
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=1

 

Включил только несколько страниц где у меня много товаров  в важном разделе , 

остальные все закрыл такими 2-мя строками , сейчас вроде по анализу" Разрешены ли URL?"

в вебмастере 

Такие ссылки 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

вместо зеленой галочки стоят вот с таким знаком красного цвета "/*?*" как думаете , нормальный такой вариант ? 

 

 

 

 

 

Изменено пользователем Sibselmash

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 hour ago, Polaris said:

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

 

Спасибо за ответ!, но вроде это не совсем то.

Вставил код, получил ошибку переадресации . 

 

Вообще нашел еще вот такую тему ,

  , честно говоря не могу сказать, такая же там проблема как у меня, но похоже по описанию . А вообще как считаете если побороть эту проблему , Яндекс вообще поднимет позиции ? У меня в вебмастере уже 800 страниц таких проиндексированных 

с ссылками типа , 

N / a 200OK
N / a 200OK
N / a 200OK
и т.д. Уже около года добавляются . Надо посмотреть , будут ли счс добавляться ссылки такого типа после запрета в robots.txt. Отпишусь !

7.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
15 hours ago, Polaris said:

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

 

Не могли бы вы подсказать как именно должно выглядить такое решение ? Если я правильно понимаю речь идет о файле .htaccess

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 28.03.2018 в 07:29, Sibselmash сказал:

как думаете , нормальный такой вариант ? 

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

В 26.03.2018 в 20:06, optimlab сказал:

И вообще у вас там пипец! Дальше хуже...

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

В 26.03.2018 в 20:06, optimlab сказал:

Вас ждет дорога к опенкарт 3.х...

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 hour ago, optimlab said:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

 

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
51 минуту назад, Sibselmash сказал:

 может кто то другой имел такой опыт на практике с opencart 

 

Бесплатный фикс, решающий вашу проблему с "мусором"

Спойлер

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
9 minutes ago, markimax said:

 

Бесплатный фикс, решающий вашу проблему

  Hide contents

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Спасибо! Только у меня ссылка не открывается 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 минуты назад, Sibselmash сказал:

Спасибо! Только у меня ссылка не открывается 

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
29 minutes ago, markimax said:

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Спасибо ! Постараюсь проделать все, я вроде похожую тему находил , если это та инструкция где нужно работать с базой , делать запросы , 

боюсь что сам не смогу справиться , но отпишусь в любом случае !

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 minutes ago, Polaris said:

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

 

 

Да, вот пожалуйста , Там есть строки

RewriteCond %{REQUEST_URI} ^/informaciya/tkani-i-razmery/tipy-tkani/velikolepnyy-tureckiy-shenill.html$
RewriteRule ^(.*)$ http://beanlife.ru/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/ [L,R=301]

 

Это я уже с несуществующих разделов делал переадресацию  

.htaccess

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, Sibselmash сказал:

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

4 часа назад, optimlab сказал:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле.

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
On 31.03.2018 at 12:08 AM, optimlab said:

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

 

Я просто пытаюсь разобраться, я не профессионал . А как то по вашим советам вы рекомендуете "отрезать руку" когда болит палец, 

но конечно я также невнимателен , признаю 

 

 

Установил модуль уважаемого  markimax

Все равно "проходят" ссылки такого вида , с задублир. слэшами , в настройках модуля все стоит . 

есть ли какой то вариант закрыть задублированный слэш через robots или htaccess ?

 

 

blog1.png

blog2.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Зд-те.

А как объяснить если вдруг в индекс попали несуществующие страницы подкатегорий. На сайте только топ-категории, например https://100kotlov.by/kotly-gazovye/ подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс. Разумеется, возникает дубликат статьи на топ-категории . Вначале я делал редирект в .htaccess, но они все время возвращаются. Уже устал отслеживать. В карте сайта этих страниц нет. Можно ли в .htaccess прописать запрет на все что идет после топ-категории?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 минут назад, adida сказал:

я делал редирект в .htaccess

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, adida сказал:

 

 подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс.

 

Есть они

5546108056.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Так вот те на! Так это производитель, он и в фильтре есть, а не подкатегория.  почему к url  категории добавляется url производителя? в реальности, такой подкатегории нет уже давно... но она есть  если ввести прямо в адресную строку адрес

 

 есть ли смысл делать в robots.txt 

Allow:/ топкатегория 

Disallow: /топкатегория*      - как-то так ?

Изменено пользователем adida

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
9 часов назад, Otvet сказал:

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

 а где взять  seo pro? на официальном opencart.com или какого-то русс. язычного  - может есть какой-то более адаптированный?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От chukcha
      Скачать/Купить дополнение


      Robots noindex
      Это небольшое дополнение, которое добавляет тег
      <meta name="robots" content="noindex,follow"> на некоторые страницы.
      Это хорошо для SEO.
      Страницы, которые затрагивает расширение:
      Категория страницы: (sort, page, limit)
      Производитель: (sort, page, limit)
      Акции: (sort, page, limit)
      Сравнение: (вся страница)
      Поиск: ( вся страница)
      Регистрация и Логин: (вся страница)
      Оформление заказ: (вся страница)
      Корзина: (вся страница)
      Q.A:
      Зачем это делать?
      Из коробки OpenCart этого всего нет. Расширение позволяет корректно установить мета тег на конкретных страницах.
      Для SEO это важный тег, это позволит вам побороть дублирующий контент на страницах несущих технологическую нагрузку.
      Почему бы не использовать / запретить в файле robots.txt?
      Наличие запретов в robots.txt не помешает, но некоторые боты не хотят в него смотреть.
      И Google говорит, что этот тег ему нравится
      Требования:
      версия 2.x , отдельно для simple (demo: http://demo2.slasoft.kharkov.ua/index.php?route=product/category&path=20_27&limit=50)
      версия 1.5.x (demo: http://demo.slasoft.kharkov.ua/compare-products/)
      Добавил chukcha Добавлено 09.12.2015 Категория Прочее Системные требования Метод активации Ioncube Loader OpenCart ocStore OpenCart.Pro, ocShop  
    • От snastik
      500.00 руб
      Скачать/Купить дополнение


      SEOFIX Mета-тег NOINDEX
      vQmod SEO Mета-тег Избавляет от дублей контента и ускоряет индексацию поисковыми системами.
      ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
      Работает на всей линейке 1.5.х opencart, ocstore, думаю и максисторе тоже если что подправлю под ваши файлы.
      На страницах Категории, Производителя, Акций для:
      1. Пагинации – (постраничный переход)
      2. Сортировки – (по цене, названию, рейтингу и тд)
      3. Лимита – (кол-во товара на странице)
      Добавляет Мета-тег: <meta name="robots" content="noindex,follow" />
      Новое в версии 1.2
      4. Ссылки вида /site/category/?page=1 перобразуются в /site/category
      временно приостановлено - требует багфикса.
      5. Описание категории выводиться только для первой страницы.
      6. Убирает дублированные ссылки с изображений во всех списках товаров (категории, производитель, поиск, акции и стандартные модули) заменяя href=" на onclick="location.href тем самым устраняя ссылочную переспамленность шабла
      Тем самым нет необходимости в robots.txt закрывать от индексации такие страницы как:
      Disallow: /*?sort
      Disallow: /*?limit
      Disallow: /*?page
      Что существенно ускоряет индексацию поисковыми системами, так как, тег noindex говорит поисковой системе что эту страницу индексировать ненужно, но в свою очередь тег follow говорит о том что необходимо переходить по ссылкам дальше. Подробнее в мануале Яндекса http://help.yandex.ru/webmaster/controlling-robot/html.xml#meta Google разумеется тоже понимает данные Мета-Теги.
      Единственное действующее решение, которое действительно выкидывает быстро дубли из ПС, если закрывать через robots.txt, этот процесс может затянуться более чем на полгода.
      Установка происходит по средствам vQmod в случае его отсутствия возможна ручная установка.
      После установки на страницах пагинации,сортировки, лимита в исходном коде Вы увидите что появился Мета-тег: <meta name="robots" content="noindex,follow" /> на «хороших» страницах он будет отсутствовать.
      Пункты 1-4 гарантированно работают на всех шаблонах и сборках. Пункты 4-6 гарантированно работают на дефолтном шаблоне.
      Для индивидуальных шаблоном могут потребоваться правки вкумода, если в шаблоне изменен код вывода изображений.
      F.A.Q. (будет дополняться)
      Приветствую! Заинтересовал ваш новый модуль "SEO Мета-тег".
      В описании модуля идет речь про постраничный переход в пагинации,
      Каким образом это реализовано? Решает ли это проблему дублей, когда идут вот такие урлы /?page=2 /?page=3 /?page=4
      Да решает, если в строке есть "page=", то на страницу добавляется метатег "noindex"
      А будет ли это работать на моем шаблоне?
      Я не знаю, так как я не телепат. Гарантировано работает на дефолтном шаблоне и шаблонах сделанных на его основе. Но при небольших доработках запускается на любом шаблоне.
      Адаптация к нестандартным шаблонам платная.
      Как проверить что модуль установлен и правильно работает ?
      Откройте любую страницу с сортировкой или пагинацией и посмотрите ее исходный код, если в разделе <head> появилось <meta name="robots" content="noindex,follow" /> значит ок.
      По аналогии смотрим ссылку в пагинации на первую страницу со второй и ссылки в списках на изображениях.
      В случае необходимости технической поддержки пишите в личку:
      Адрес сайта.
      Доступ в административную часть
      Доступ на ftp
      Техническая поддержка сайтам на локальном хостинге не оказывается.
      Техническая поддержка не связанная с работоспособностью модуля платная.
      Автор модуля не несет ответственности за работоспособность модуля и ошибки возникшие в его работе связанные с использованием неоригинального шаблона, сторонних или сильно модифицированных версий движка, использования дополнений от сторонних разработчиков, вызывающих конфликты с кодом данного дополнения.
      Автор гарантирует работу модуля на оригинальном движке OcStore 1.5.х B Opencart 1.5.х скачанных с официальных сайтов.
      Автор не гарантирует работоспособность модуля и не осуществляет консультации и поддержку дополнения, в случае использования покупателем (ворованных, купленных в складчину дополнений, для которых у покупателя отсутствует поддержка авторов дополнений).
      Дополнение распространяется для использования на одном магазине. Для использования на нескольких магазинах, пожалуйста приобретайте лицензию на каждый.
      Добавил snastik Добавлено 27.01.2014 Категория SEO, карта сайта, оптимизация  
    • От muha777
      Здравствуйте Друзя!
      Нужна помощь в настройке robots и  sitemap.
       Готов оплатить .
      В админке есть такое поле 
      что это значит и нужно ли что то тут менять 
      http://prntscr.com/gudouc
       
       
      файл robots в таком виде
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
    • От DmitriySun
      Была создана тестовая версия сайта для проведения некоторых изменений в дизайне. Индексация закрыл удалив все с robots и вставил
      User-agent: *
      Disallow: /
      но встречал статьи где говорят что этого недостаточно и лучше на каждой странице прописывать
      <META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW">
      - ваши за и против ...
    • От ale120188
      Подскажите как настроить правильно кириллический адрес в robots и .htaccess ? 
      Пример: правильно или нет ?
       
      # SEO URL Settings
      RewriteEngine On
      RewriteCond %{HTTP_HOST} ^www.xn--70adpd.net.ua
      RewriteRule ^(.*)$ http://xn--70adpd.net.ua/$1 [R=301,L]
       
      И на robots ?
       
      Host: xn--70adpd.net.ua
      Sitemap: http://xn--70adpd.net.ua/index.php?route=record/google_sitemap_blog
       
      Уже третий месяц не индексируется сайт. Поисковики не могут понять ?
       
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.