Jump to content
Sign in to follow this  
Sibselmash

Индексируется "мусор" , много страниц с задублир. слешами

Recommended Posts

Приветствую всех! 

С недавнего времени заметил , что в индекс в вебмастере стали попадать страницы вида 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

В robots.txt стоит запрет и в яндексе и в гугле 

вида 

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

 

Но при проверке  в Вебмастере  "Результаты анализа robots.txt" и чеке любой такой мусорной ссылки, она стоит разрешенная , с зеленой галочкой  

 

 

Галочка seo pro в админке стоит , система os store 1.4.5.1 , robots файл лежит где нужно, вебмастер его видит ,  модулями за последними несколькими месяцами никакими не баловался, однако проблема 

обострилась именно в последнее время 

 

Братцы помогите советом , где копать, откуда идет такая генерация , правится ли это как то через системные файлы или на крайний случай, 

как закрыть на индексацию такие ссылки с задублир. слешами. Сайт постепенно стал понижаться  из за этого в выдаче 

 

 

Анализ robots txt.png

Статистика Обхода.png

Мой файл robots.txt

Share this post


Link to post
Share on other sites
1 час назад, Sibselmash сказал:

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

Share this post


Link to post
Share on other sites
1 hour ago, optimlab said:

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

 

А что можно сделать с файлом Sitemap ? Убрать все строки где больше 1 слеша в конце ? 

 

И как правильно тогда настроить robots , в разных источниках указывают именно 

Disallow: /?limit=*
Disallow: /&limit=*

но это действительно не работает

 

 

Share this post


Link to post
Share on other sites

Всем привет. Подскажите у меня sitemap в порядке? А то у меня тоже проблема, кривым ссылкам Яша присваивает код 200 . Сайт dabydaby.ru Спасибо за ранние. 

Edited by Veretin

Share this post


Link to post
Share on other sites
20 часов назад, Sibselmash сказал:

в разных источниках указывают именно

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

Share this post


Link to post
Share on other sites
13 hours ago, optimlab said:

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

 

Sitemap поправил, убрав все строки с несколькими слэшами, ушло около 50-ти строк , как считаете , сейчас лучше ?

 

По robots просто если в гугле вбить настройка robots.txt и добавить /?limit= или /?page=* , то он сходу показывает готовые рекомендации с такими включениями

 

Я сделал сейчас вот таким образом:

 

Disallow: /*?
Disallow: /*&
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=2
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=3
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=4
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=5
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=6
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=7
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=1

 

Включил только несколько страниц где у меня много товаров  в важном разделе , 

остальные все закрыл такими 2-мя строками , сейчас вроде по анализу" Разрешены ли URL?"

в вебмастере 

Такие ссылки 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

вместо зеленой галочки стоят вот с таким знаком красного цвета "/*?*" как думаете , нормальный такой вариант ? 

 

 

 

 

 

Edited by Sibselmash

Share this post


Link to post
Share on other sites

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

Share this post


Link to post
Share on other sites
1 hour ago, Polaris said:

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

 

Спасибо за ответ!, но вроде это не совсем то.

Вставил код, получил ошибку переадресации . 

 

Вообще нашел еще вот такую тему ,

  , честно говоря не могу сказать, такая же там проблема как у меня, но похоже по описанию . А вообще как считаете если побороть эту проблему , Яндекс вообще поднимет позиции ? У меня в вебмастере уже 800 страниц таких проиндексированных 

с ссылками типа , 

N / a 200OK
N / a 200OK
N / a 200OK
и т.д. Уже около года добавляются . Надо посмотреть , будут ли счс добавляться ссылки такого типа после запрета в robots.txt. Отпишусь !

7.png

Share this post


Link to post
Share on other sites

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

Share this post


Link to post
Share on other sites
15 hours ago, Polaris said:

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

 

Не могли бы вы подсказать как именно должно выглядить такое решение ? Если я правильно понимаю речь идет о файле .htaccess

Share this post


Link to post
Share on other sites
В 28.03.2018 в 07:29, Sibselmash сказал:

как думаете , нормальный такой вариант ? 

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

В 26.03.2018 в 20:06, optimlab сказал:

И вообще у вас там пипец! Дальше хуже...

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

В 26.03.2018 в 20:06, optimlab сказал:

Вас ждет дорога к опенкарт 3.х...

 

Share this post


Link to post
Share on other sites
1 hour ago, optimlab said:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

 

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Share this post


Link to post
Share on other sites
51 минуту назад, Sibselmash сказал:

 может кто то другой имел такой опыт на практике с opencart 

 

Бесплатный фикс, решающий вашу проблему с "мусором"

Спойлер

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Share this post


Link to post
Share on other sites
9 minutes ago, markimax said:

 

Бесплатный фикс, решающий вашу проблему

  Hide contents

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Спасибо! Только у меня ссылка не открывается 

Share this post


Link to post
Share on other sites
3 минуты назад, Sibselmash сказал:

Спасибо! Только у меня ссылка не открывается 

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Share this post


Link to post
Share on other sites

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

Share this post


Link to post
Share on other sites
29 minutes ago, markimax said:

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Спасибо ! Постараюсь проделать все, я вроде похожую тему находил , если это та инструкция где нужно работать с базой , делать запросы , 

боюсь что сам не смогу справиться , но отпишусь в любом случае !

Share this post


Link to post
Share on other sites
5 minutes ago, Polaris said:

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

 

 

Да, вот пожалуйста , Там есть строки

RewriteCond %{REQUEST_URI} ^/informaciya/tkani-i-razmery/tipy-tkani/velikolepnyy-tureckiy-shenill.html$
RewriteRule ^(.*)$ http://beanlife.ru/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/ [L,R=301]

 

Это я уже с несуществующих разделов делал переадресацию  

.htaccess

Share this post


Link to post
Share on other sites
3 часа назад, Sibselmash сказал:

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

4 часа назад, optimlab сказал:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле.

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

Share this post


Link to post
Share on other sites
On 31.03.2018 at 12:08 AM, optimlab said:

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /&order=*
Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

 

Я просто пытаюсь разобраться, я не профессионал . А как то по вашим советам вы рекомендуете "отрезать руку" когда болит палец, 

но конечно я также невнимателен , признаю 

 

 

Установил модуль уважаемого  markimax

Все равно "проходят" ссылки такого вида , с задублир. слэшами , в настройках модуля все стоит . 

есть ли какой то вариант закрыть задублированный слэш через robots или htaccess ?

 

 

blog1.png

blog2.png

Share this post


Link to post
Share on other sites

Зд-те.

А как объяснить если вдруг в индекс попали несуществующие страницы подкатегорий. На сайте только топ-категории, например https://100kotlov.by/kotly-gazovye/ подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс. Разумеется, возникает дубликат статьи на топ-категории . Вначале я делал редирект в .htaccess, но они все время возвращаются. Уже устал отслеживать. В карте сайта этих страниц нет. Можно ли в .htaccess прописать запрет на все что идет после топ-категории?

Share this post


Link to post
Share on other sites
5 минут назад, adida сказал:

я делал редирект в .htaccess

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

Share this post


Link to post
Share on other sites

Так вот те на! Так это производитель, он и в фильтре есть, а не подкатегория.  почему к url  категории добавляется url производителя? в реальности, такой подкатегории нет уже давно... но она есть  если ввести прямо в адресную строку адрес

 

 есть ли смысл делать в robots.txt 

Allow:/ топкатегория 

Disallow: /топкатегория*      - как-то так ?

Edited by adida

Share this post


Link to post
Share on other sites
9 часов назад, Otvet сказал:

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

 а где взять  seo pro? на официальном opencart.com или какого-то русс. язычного  - может есть какой-то более адаптированный?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By chukcha
      Скачать/Купить дополнение


      Robots noindex
      Это небольшое дополнение, которое добавляет тег
      <meta name="robots" content="noindex,follow"> на некоторые страницы.
      Это хорошо для SEO.
      Страницы, которые затрагивает расширение:
      Категория страницы: (sort, page, limit)
      Производитель: (sort, page, limit)
      Акции: (sort, page, limit)
      Сравнение: (вся страница)
      Поиск: ( вся страница)
      Регистрация и Логин: (вся страница)
      Оформление заказ: (вся страница)
      Корзина: (вся страница)
      Q.A:
      Зачем это делать?
      Из коробки OpenCart этого всего нет. Расширение позволяет корректно установить мета тег на конкретных страницах.
      Для SEO это важный тег, это позволит вам побороть дублирующий контент на страницах несущих технологическую нагрузку.
      Почему бы не использовать / запретить в файле robots.txt?
      Наличие запретов в robots.txt не помешает, но некоторые боты не хотят в него смотреть.
      И Google говорит, что этот тег ему нравится
      Требования:
      версия 2.x , отдельно для simple (demo: http://demo2.slasoft.kharkov.ua/index.php?route=product/category&path=20_27&limit=50)
      версия 1.5.x (demo: http://demo.slasoft.kharkov.ua/compare-products/)
      Добавил chukcha Добавлено 09.12.2015 Категория Прочее Системные требования Метод активации Ioncube Loader OpenCart ocStore OpenCart.Pro, ocShop Обращение к серверу разработчика Старая цена  
    • By agent008
      Здравствуйте!
      Подскажите пожалуйста, надо ли разрешать индексировать страницы ("Новинки", "Популярные", "Лидеры продаж", "Все товары")?
    • By snastik
      500.00 руб
      Скачать/Купить дополнение


      SEOFIX Mета-тег NOINDEX
      vQmod SEO Mета-тег Избавляет от дублей контента и ускоряет индексацию поисковыми системами.
      ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
      Работает на всей линейке 1.5.х opencart, ocstore, думаю и максисторе тоже если что подправлю под ваши файлы.
      На страницах Категории, Производителя, Акций для:
      1. Пагинации – (постраничный переход)
      2. Сортировки – (по цене, названию, рейтингу и тд)
      3. Лимита – (кол-во товара на странице)
      Добавляет Мета-тег: <meta name="robots" content="noindex,follow" />
      Новое в версии 1.2
      4. Ссылки вида /site/category/?page=1 перобразуются в /site/category
      временно приостановлено - требует багфикса.
      5. Описание категории выводиться только для первой страницы.
      6. Убирает дублированные ссылки с изображений во всех списках товаров (категории, производитель, поиск, акции и стандартные модули) заменяя href=" на onclick="location.href тем самым устраняя ссылочную переспамленность шабла
      Тем самым нет необходимости в robots.txt закрывать от индексации такие страницы как:
      Disallow: /*?sort
      Disallow: /*?limit
      Disallow: /*?page
      Что существенно ускоряет индексацию поисковыми системами, так как, тег noindex говорит поисковой системе что эту страницу индексировать ненужно, но в свою очередь тег follow говорит о том что необходимо переходить по ссылкам дальше. Подробнее в мануале Яндекса http://help.yandex.ru/webmaster/controlling-robot/html.xml#meta Google разумеется тоже понимает данные Мета-Теги.
      Единственное действующее решение, которое действительно выкидывает быстро дубли из ПС, если закрывать через robots.txt, этот процесс может затянуться более чем на полгода.
      Установка происходит по средствам vQmod в случае его отсутствия возможна ручная установка.
      После установки на страницах пагинации,сортировки, лимита в исходном коде Вы увидите что появился Мета-тег: <meta name="robots" content="noindex,follow" /> на «хороших» страницах он будет отсутствовать.
      Пункты 1-4 гарантированно работают на всех шаблонах и сборках. Пункты 4-6 гарантированно работают на дефолтном шаблоне.
      Для индивидуальных шаблоном могут потребоваться правки вкумода, если в шаблоне изменен код вывода изображений.
      F.A.Q. (будет дополняться)
      Приветствую! Заинтересовал ваш новый модуль "SEO Мета-тег".
      В описании модуля идет речь про постраничный переход в пагинации,
      Каким образом это реализовано? Решает ли это проблему дублей, когда идут вот такие урлы /?page=2 /?page=3 /?page=4
      Да решает, если в строке есть "page=", то на страницу добавляется метатег "noindex"
      А будет ли это работать на моем шаблоне?
      Я не знаю, так как я не телепат. Гарантировано работает на дефолтном шаблоне и шаблонах сделанных на его основе. Но при небольших доработках запускается на любом шаблоне.
      Адаптация к нестандартным шаблонам платная.
      Как проверить что модуль установлен и правильно работает ?
      Откройте любую страницу с сортировкой или пагинацией и посмотрите ее исходный код, если в разделе <head> появилось <meta name="robots" content="noindex,follow" /> значит ок.
      По аналогии смотрим ссылку в пагинации на первую страницу со второй и ссылки в списках на изображениях.
      В случае необходимости технической поддержки пишите в личку:
      Адрес сайта.
      Доступ в административную часть
      Доступ на ftp
      Техническая поддержка сайтам на локальном хостинге не оказывается.
      Техническая поддержка не связанная с работоспособностью модуля платная.
      Автор модуля не несет ответственности за работоспособность модуля и ошибки возникшие в его работе связанные с использованием неоригинального шаблона, сторонних или сильно модифицированных версий движка, использования дополнений от сторонних разработчиков, вызывающих конфликты с кодом данного дополнения.
      Автор гарантирует работу модуля на оригинальном движке OcStore 1.5.х B Opencart 1.5.х скачанных с официальных сайтов.
      Автор не гарантирует работоспособность модуля и не осуществляет консультации и поддержку дополнения, в случае использования покупателем (ворованных, купленных в складчину дополнений, для которых у покупателя отсутствует поддержка авторов дополнений).
      Дополнение распространяется для использования на одном магазине. Для использования на нескольких магазинах, пожалуйста приобретайте лицензию на каждый.
      Добавил snastik Добавлено 27.01.2014 Категория SEO, карта сайта, оптимизация  
    • By muha777
      Здравствуйте Друзя!
      Нужна помощь в настройке robots и  sitemap.
       Готов оплатить .
      В админке есть такое поле 
      что это значит и нужно ли что то тут менять 
      http://prntscr.com/gudouc
       
       
      файл robots в таком виде
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
    • By DmitriySun
      Была создана тестовая версия сайта для проведения некоторых изменений в дизайне. Индексация закрыл удалив все с robots и вставил
      User-agent: *
      Disallow: /
      но встречал статьи где говорят что этого недостаточно и лучше на каждой странице прописывать
      <META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW">
      - ваши за и против ...
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.