Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Проиндексировано, несмотря на блокировку в файле robots.txt


Recommended Posts

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Змінено користувачем johngalt1
Надіслати
Поділитися на інших сайтах


53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

 

Змінено користувачем vk37
Надіслати
Поділитися на інших сайтах


1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Змінено користувачем Shureg
Надіслати
Поділитися на інших сайтах


12 часов назад, Shureg сказал:

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

Надіслати
Поділитися на інших сайтах


1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообще класть. Яндекс чуть более внимательный. 

Надіслати
Поділитися на інших сайтах


6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в результатх поиска
При этом страница, возможно была проиндексирована и конечно же ее посетил бот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru



nofollow - Это тоже не ах и ох значение, но это уже другая тема

Надіслати
Поділитися на інших сайтах

От гугла, может, и поможет. А вот яндексу на все накласть: 
 

Цитата

Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

Надіслати
Поділитися на інших сайтах


  • 3 months later...

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проиндексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Змінено користувачем SerGan
ДОБАВИЛ
Надіслати
Поділитися на інших сайтах


8 минут назад, butdenis970 сказал:

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Не индексирует, а посещает

  • +1 1
Надіслати
Поділитися на інших сайтах

  • 1 year later...

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Змінено користувачем Zetx
Надіслати
Поділитися на інших сайтах


6 минут назад, Zetx сказал:

это говорит про нелогичность в сборке оксторе и файле роботс, который идет в ней по умолчанию...

тоесть из файлика надо убрать лимиты, ордеры, фильтры...

все это должно быть закрыто через ноиндекс на страницах сайта, а не через роботс...

гугл не любит, когда ему пытаются впихнуть дважды одно и тоже, поэтому и выводит такое сообщение в консоли

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

Надіслати
Поділитися на інших сайтах


10 минут назад, Yoda сказал:

Это очень плохая идея, так как в таком случае, гугл бот пройдется по всем ссылкам и уложит любой магазин.
Не стоит так делать, а вот добавить и еще.. noindex  - стоит!

К сожалению гугл подвезли серверов, и он начал ну очень активно лезть везде и плотно!

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

45645.thumb.JPG.0290205d4898bfbe73a82511ecfee9de.JPG

 

Надіслати
Поділитися на інших сайтах


3 минуты назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

если кто не видел, то вот...

красным показан алгоритм для тех, у кого оксторе...

45645.thumb.JPG.0290205d4898bfbe73a82511ecfee9de.JPG

 

Слушайте, я не знаю, как там кто рекомендует.
У меня тут по легенде альтернативно одаренных нет ни одного годного проекта. И не будет. Ибо светить свои чужие проекты акулам ддоса не комильфо.
Но я однозначно могу сказать, что достаточно robots  и нормального каноникала.
А все "СПЕЦИАЛИСТЫ" типа ahrefs и netpeak - у них немного иные цели и задачи, поэтому они выдумывают регулярно фантастику, чтобы нагрузить клиентосов дополнительными услугами.

Змінено користувачем Yoda
Надіслати
Поділитися на інших сайтах


5 минут назад, Zetx сказал:

ну именно так рекомендует ресурс ahrefs...

Ну и неправильно рекомендуется. По такой методике в robots вообще никогда не должно быть никаких запретов.
И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.
 

 

31 минуту назад, Zetx сказал:

гугл не любит, когда ему пытаются впихнуть запрет через роботс, поэтому и выводит такое сообщение в консоли

Такое сообщение выводится, если гугл сам решил все равно проиндексировать закрытую от индексации страницу.
И ему при этом будет без разницы, где вы ее закрывали и сколько раз.

Надіслати
Поділитися на інших сайтах


16 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Змінено користувачем kulinenko
Надіслати
Поділитися на інших сайтах


4 минуты назад, kulinenko сказал:

объясняю детально , 1 раз :

1 Роботс тхт - рекомендация к СКАНИРОВАНИЮ , можно закрыть - но в  индекс может попасть

2 Мета ноиндекс - жесткое правило для ДЕИНДЕКСА страницы

3 Каноникал - указание жесткое для гугла основной страницы ( увы в яндексе работает только для дублей )

 

хотите удалить сортировки из индекса - используйте мета ноиндекс и откройте сканирование в роботсе тхт

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru


Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

Надіслати
Поділитися на інших сайтах


17 минут назад, Shureg сказал:

И с чего вы решили, что noindex на странице для гугла будут авторитетней, чем noindex в robots?
И "дублирование" noindex гуглу тоже не мешает.

 

потому, что сам гугл так твердит...

 

67657.JPG.e7ea180ef0b07d9b5136792b9ed6d97d.JPG

 

ну и еще про бессмысленность метатега ноиндекс, при параллельном использовании запретов в роботс

 

79789.JPG.f6f94d453bcb2ecb0b82231c56e38dae.JPG

  • +1 1
Надіслати
Поділитися на інших сайтах


9 минут назад, Yoda сказал:

Вы забыли еще про

X-Robots-Tag

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru


Уж коль, претендуете на роль авторитетного специалиста, раскрывайте тему полностью.

 

 

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

Надіслати
Поділитися на інших сайтах


11 минут назад, kulinenko сказал:

я не забыл, тему не раскрываю, а просто отвечаю на вопрос ТС . Решение через х-роботс крайне непопулярно , по всем понятным причинам

Например ?

Надіслати
Поділитися на інших сайтах


27 минут назад, Yoda сказал:

Например ?

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

Надіслати
Поділитися на інших сайтах


1 минуту назад, kulinenko сказал:

например простота внедрения. Берем самую популярную цмс в мире - ставим шаровый плагин йоаст и усе - прямо в админке без знания чего либо - метатег готов. х-таг так не поставить. Вам хватит этого ?

Нет конечно, это аргумент, из серии говорят у китаянок поперек.

Не вижу никакой разницы в сложности двух строк кода сделать header (), или echo ("meta robots...).
Мало того вижу прекрасную возможность сделать оверрайд в отношении многих некорректных решений, которые как попало, куда попало тулят мета тег.

 

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.