Jump to content
johngalt1

Проиндексировано, несмотря на блокировку в файле robots.txt

Recommended Posts

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Edited by johngalt1

Share this post


Link to post
Share on other sites
53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

 

Edited by vk37

Share this post


Link to post
Share on other sites
1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Edited by Shureg

Share this post


Link to post
Share on other sites
12 часов назад, Shureg сказал:

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

Share this post


Link to post
Share on other sites
1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообще класть. Яндекс чуть более внимательный. 

Share this post


Link to post
Share on other sites
5 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Да

Share this post


Link to post
Share on other sites
1 час назад, markimax сказал:

Да

Понятно, спасибо

Share this post


Link to post
Share on other sites
6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в результатх поиска
При этом страница, возможно была проиндексирована и конечно же ее посетил бот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru



nofollow - Это тоже не ах и ох значение, но это уже другая тема

Share this post


Link to post
Share on other sites

От гугла, может, и поможет. А вот яндексу на все накласть: 
 

Цитата

Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

Share this post


Link to post
Share on other sites
14 минут назад, Shureg сказал:

но на нее ведут ссылки,

Скорей всего внешние ссылки

Share this post


Link to post
Share on other sites
Posted (edited)

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проиндексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Edited by SerGan
ДОБАВИЛ

Share this post


Link to post
Share on other sites

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Share this post


Link to post
Share on other sites
8 минут назад, butdenis970 сказал:

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Не индексирует, а посещает

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.