Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Проиндексировано, несмотря на блокировку в файле robots.txt


Recommended Posts

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Edited by johngalt1
Link to post
Share on other sites

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

 

Edited by vk37
Link to post
Share on other sites

1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Edited by Shureg
Link to post
Share on other sites

12 часов назад, Shureg сказал:

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

Link to post
Share on other sites

1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообще класть. Яндекс чуть более внимательный. 

Link to post
Share on other sites

5 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Да

Link to post
Share on other sites
1 час назад, markimax сказал:

Да

Понятно, спасибо

Link to post
Share on other sites

6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в результатх поиска
При этом страница, возможно была проиндексирована и конечно же ее посетил бот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru



nofollow - Это тоже не ах и ох значение, но это уже другая тема

Link to post
Share on other sites

От гугла, может, и поможет. А вот яндексу на все накласть: 
 

Цитата

Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

Link to post
Share on other sites

14 минут назад, Shureg сказал:

но на нее ведут ссылки,

Скорей всего внешние ссылки

  • +1 1
Link to post
Share on other sites
  • 3 months later...

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проиндексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Edited by SerGan
ДОБАВИЛ
Link to post
Share on other sites

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Link to post
Share on other sites

8 минут назад, butdenis970 сказал:

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Не индексирует, а посещает

  • +1 1
Link to post
Share on other sites
  • 1 year later...
Posted (edited)

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Edited by Zetx
Link to post
Share on other sites

6 минут назад, Zetx сказал:

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть дважды одно и тоже, поэтому и выводит такое сообщение в консоли

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

Link to post
Share on other sites

10 минут назад, Yoda сказал:

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

45645.thumb.JPG.0290205d4898bfbe73a82511ecfee9de.JPG

 

Link to post
Share on other sites

Posted (edited)
3 минуты назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

45645.thumb.JPG.0290205d4898bfbe73a82511ecfee9de.JPG

 

Слушайте, я не знаю, как там кто рекомендует.
У меня тут по легенде альтернативно одаренных нет ни одного годного проекта. И не будет. Ибо светить свои чужие проекты акулам ддоса не комильфо.
Но я однозначно могу сказать, что достаточно robots  и нормального каноникала.
А все "СПЕЦИАЛИСТЫ" типа ahrefs и netpeak - у них немного иные цели и задачи, поэтому они выдумывают регулярно фантастику, чтобы нагрузить клиентосов дополнительными услугами.

Edited by Yoda
Link to post
Share on other sites

5 минут назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

Ну и неправильно рекомендуется. По такой методике в robots вообще никогда не должно быть никаких запретов.
И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.
 

 

31 минуту назад, Zetx сказал:

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Такое сообщение выводится, если гугл сам решил все равно проиндексировать закрытую от индексации страницу.
И ему при этом будет без разницы, где вы ее закрывали и сколько раз.

Link to post
Share on other sites

Posted (edited)
16 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Edited by kulinenko
Link to post
Share on other sites

4 минуты назад, kulinenko сказал:

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru


Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

Link to post
Share on other sites

17 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.

 

потому, что сам гугл так твердит...

 

67657.JPG.e7ea180ef0b07d9b5136792b9ed6d97d.JPG

 

ну и еще про бессмысленность метатега ноиндекс, при параллельном использовании запретов в роботс

 

79789.JPG.f6f94d453bcb2ecb0b82231c56e38dae.JPG

  • +1 1
Link to post
Share on other sites

9 минут назад, Yoda сказал:

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru


Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

Link to post
Share on other sites

11 минут назад, kulinenko сказал:

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

Например ?

Link to post
Share on other sites

27 минут назад, Yoda сказал:

Например ?

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

Link to post
Share on other sites

1 минуту назад, kulinenko сказал:

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

Нет конечно, это аргумент, из серии говорят у китаянок поперек.

Не вижу никакой разницы в сложности двух строк кода сделать header (), или echo ("meta robots...).
Мало того вижу прекрасную возможность сделать оверрайд в отношении многих некорректных решений, которые как попало, куда попало тулят мета тег.

 

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.