Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Проиндексировано, несмотря на блокировку в файле robots.txt


Recommended Posts

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Edited by johngalt1
Link to post
Share on other sites

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

 

53 минуты назад, johngalt1 сказал:

Пришло письмо с таким предупреждением: "Проиндексировано, несмотря на блокировку в файле robots.txt". Что с этим делать?
Позавчера отправлял на индексирование страницу с производителем, название которого теперь присутствует в адресах этих 12 страниц.

Screenshot_49.jpg

Screenshot_50.jpg

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

 

Edited by vk37
Link to post
Share on other sites

1 час назад, vk37 сказал:

 

Файл robots.txt не обязательно закрывает страницы от роботов поиска, для гарантированного закрытия страницы нужно использовать noindex а еще по моему я встречал на форуме модуль который позволяет это сделать с наименьшими затратами.

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Edited by Shureg
Link to post
Share on other sites

12 часов назад, Shureg сказал:

Не существует модулей, которые гарантировано закрывают что-то общедоступное от индексации. Все, что вы написали - уровень примет и суеверий. И гугл, и яндекс четко говорят, что для них все эти указания имеют уровень просьбы, причем необязательной. Сочтут нужным индексировать - проиндексируют, не спросясь.
В общем случае, закрытые от индексации страницы почти гарантировано будут проиндексированы, если на них есть прямые ссылки со страниц, уже проиндексированных поисковиком. 

Т.е noindex nofollow -это сказки сеошников?

Link to post
Share on other sites

1 час назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Именно. Гуглу на это вообще класть. Яндекс чуть более внимательный. 

Link to post
Share on other sites

5 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Да

Link to post
Share on other sites
1 час назад, markimax сказал:

Да

Понятно, спасибо

Link to post
Share on other sites

6 часов назад, vk37 сказал:

Т.е noindex nofollow -это сказки сеошников?

Нет
Это указывает ПС, что не надо показывать контент в результатх поиска
При этом страница, возможно была проиндексирована и конечно же ее посетил бот
и об этом явно написано
https://support.google.com/webmasters/answer/93710?hl=ru



nofollow - Это тоже не ах и ох значение, но это уже другая тема

Link to post
Share on other sites

От гугла, может, и поможет. А вот яндексу на все накласть: 
 

Цитата

Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html

Link to post
Share on other sites

14 минут назад, Shureg сказал:

но на нее ведут ссылки,

Скорей всего внешние ссылки

Link to post
Share on other sites
  • 3 months later...

ХЕЛП ) ПОМОГИТЕ ПОДПРАВИТЬ "РОБОТ"

Проиндексировано, несмотря на блокировку в файле robots.txt

https://ххх.com.ua/index.php?route=product/search&search=овен

https://ххх.com.ua/index.php?route=product/search&search=кена

https://ххх.com.ua/osnovnaya-nomenklatura/golovnye-ubory/?sort=p.price&order=DESC&mfp=manufacturers[199]

https://ххх.com.ua/search/?sort=sales&order=DESC&tag=109010/1-03

https://ххх.com.ua/search/?sort=rating&order=ASC&tag=932211

https://ххх.com.ua/search/?limit=100&tag=90067

 

СОДЕРЖИМОЕ 

User-agent: *
Crawl-delay: 10
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Edited by SerGan
ДОБАВИЛ
Link to post
Share on other sites

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Link to post
Share on other sites

8 минут назад, butdenis970 сказал:

гугл постоянно индексирует вообще всё, что есть на сайтах. ему даже ноиндексы не закон. такой вот пофигист.

Не индексирует, а посещает

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.