Проиндексировано, несмотря на блокировку в файле robots.txt

[johngalt1]

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Змінено 31 грудня 2019 користувачем johngalt1

[vk37]

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

 

Змінено 31 грудня 2019 користувачем vk37

[Shureg]

1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Змінено 31 грудня 2019 користувачем Shureg

[vk37]

12 часов назад, Shureg сказал:

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

[Jurgen]

1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообще класть. Яндекс чуть более внимательный. 

[markimax]

5 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Да

[vk37]

1 час назад, markimax сказал:

Да

Понятно, спасибо

[chukcha]

6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в результатх поиска
При этом страница, возможно была проиндексирована и конечно же ее посетил бот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru

nofollow - Это тоже не ах и ох значение, но это уже другая тема

[Shureg]

От гугла, может, и поможет. А вот яндексу на все накласть: 
 

Цитата

Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

[chukcha]

14 минут назад, Shureg сказал:

но на нее ведут ссылки,

Скорей всего внешние ссылки

[SerGan]

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проиндексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Змінено 2 квітня 2020 користувачем SerGan
ДОБАВИЛ

[butdenis970]

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

[chukcha]

8 минут назад, butdenis970 сказал:

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Не индексирует, а посещает

[Zetx]

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Змінено 2 червня 2021 користувачем Zetx

[Yoda]

6 минут назад, Zetx сказал:

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть дважды одно и тоже, поэтому и выводит такое сообщение в консоли

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

[Zetx]

10 минут назад, Yoda сказал:

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

 

[Yoda]

3 минуты назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

 

Слушайте, я не знаю, как там кто рекомендует.
У меня тут по легенде альтернативно одаренных нет ни одного годного проекта. И не будет. Ибо светить свои чужие проекты акулам ддоса не комильфо.
Но я однозначно могу сказать, что достаточно robots  и нормального каноникала.
А все "СПЕЦИАЛИСТЫ" типа ahrefs и netpeak - у них немного иные цели и задачи, поэтому они выдумывают регулярно фантастику, чтобы нагрузить клиентосов дополнительными услугами.

Змінено 2 червня 2021 користувачем Yoda

[Shureg]

5 минут назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

Ну и неправильно рекомендуется. По такой методике в robots вообще никогда не должно быть никаких запретов.
И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.
 

 

31 минуту назад, Zetx сказал:

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Такое сообщение выводится, если гугл сам решил все равно проиндексировать закрытую от индексации страницу.
И ему при этом будет без разницы, где вы ее закрывали и сколько раз.

[kulinenko]

16 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Змінено 2 червня 2021 користувачем kulinenko

[Yoda]

4 минуты назад, kulinenko сказал:

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru

Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

[Zetx]

17 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.

 

потому, что сам гугл так твердит...

 

 

ну и еще про бессмысленность метатега ноиндекс, при параллельном использовании запретов в роботс

 

[kulinenko]

9 минут назад, Yoda сказал:

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru

Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

[Yoda]

11 минут назад, kulinenko сказал:

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

Например ?

[kulinenko]

27 минут назад, Yoda сказал:

Например ?

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

[Yoda]

1 минуту назад, kulinenko сказал:

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

Нет конечно, это аргумент, из серии говорят у китаянок поперек.

Не вижу никакой разницы в сложности двух строк кода сделать header (), или echo ("meta robots...).
Мало того вижу прекрасную возможность сделать оверрайд в отношении многих некорректных решений, которые как попало, куда попало тулят мета тег.