Проиндексировано, несмотря на блокировку в файле robots.txt

[Shureg]

3 минуты назад, kulinenko сказал:

не внешняя а любая ссылка.

 

3 минуты назад, kulinenko сказал:

страница  под мета ноиндекс не будет проиндексирована никогда, не выдумывайте

Поскольку вы живете в алтернативном мире с альтернативными поисковиками, не вижу предмета для дальнейшего обсуждения.

[kulinenko]

5 минут назад, Shureg сказал:

 

Поскольку вы живете в алтернативном мире с альтернативными поисковиками, не вижу предмета для дальнейшего обсуждения.

если вы покажете мне хоть одну страницу в индексе гугла с мета ноиндекс - то я признаю что живу в параллельной реальности и являюсь рептилоидом в 7 поколении. Ну а пока - сами понимаете)) вам показать нечего

 

понимаете я просто не с потолка тут вещаю или еще что, занимаюсь продвижением сайтов в гугле сугубо и больше ничем с 2009 года. Узкая специализация по seo коммерц сайтов. И прелопатив сотни сайтов на индекс итд не видел то о чем говорите вы, подтвердить вы так же не можете свои слова, зачем тогда выдумываете ? не понятно 

 

 

[optimlab]

21 час назад, chukcha сказал:

Есть у меня демка
Закрыта от индексации в роботсе

На демке установлен Bot Cheker

Боты читают роботс и никуда больше ходят

Потому что у тебя как и у меня на демке Дизалоу от корня. Вот и не ходит.

 

Но у Гугла есть так называемый алгоритм защиты от тупых вебмастеров которые не правильно используют Каноникал, Дизаллоу и Аллоу.
Поэтому эти директивы он не слушает иногда, а основывается на ПФ.

Вот представьте что он видит:

1. Заход пользователя на категория/
2. Пользователь видит что товары в категории раскиданы так что непонятно что к чему. Не переходя на категория/пейдж=2 , он решает их отсортировать и переходит на категория/сорт=прайс
3. И далее пошел по пейджам: категория/сорт=прайс&пейдж=2 -> категория/сорт=прайс&пейдж=3 -> категория/сорт=прайс&пейдж=4 ...
4. Эти страницы закидываются через метрику в БД.
5. Ну и потом статистика загрузок тех или иных урл срабатывает на добавление в индекс.
6. Что самое главное из вас никто не проверял эти страницы через оператор site:
7. Не проверял ранжируется ли она и влияет ли на канибализм.
8. А так же не сказали какого вида они могут быть на выдаче, если они есть на выдаче.

 

Зато у вас 3 страницы сплошного информационного хлама кто круче ноуиндекс или дизаллоу.

Меньше читайте и больше делайте работу по сайту, чтоб у вас не было 3К такого мусора, как на скрине выше.

 

Кстати, я использую только Дизаллоу, если кому интересно...

 

[kulinenko]

2 часа назад, optimlab сказал:

Что самое главное из вас никто не проверял эти страницы через оператор site:

немного вас поправлю - это оператор не работает как ранее уже несколько лет. Лучший способ - это консоль и банальный поиск по полному урлу страницыв гугле

и по

  

2 часа назад, optimlab сказал:

а основывается на ПФ.

пф тоже учитывается при добавлении в индекс - но не основывается на нем, главный показатель это ссылки ( в коде/ на странице) на страницу закрытую. В шабах опенкарта чато в коде скрыты ссылки на сортировки по типу вот такого варианта

<option value="https://сайт.ру?sort=pd.name&amp;order=ASC">По названию (по возрастанию)</option>

Змінено 4 червня 2021 користувачем kulinenko

[optimlab]

10 часов назад, kulinenko сказал:

это оператор не работает как ранее уже несколько лет

Это как?
Специально загуглил нигде не нашёл инфы об этом, есть какая-то новость на сеченже про какую то фигню новостного бота и походу там сервер откалолся и его быстро восстановили. И всё, больше не нашёл.
Поправите?

 

10 часов назад, kulinenko сказал:

Лучший способ - это консоль и банальный поиск по полному урлу страницыв гугле

Удивленно хлопаю глазами.
Я так понимаю что 6 и 8 пункты из предыдущего моего сообщения даже не удосужились проверить?
Ну так если у вас нет времени, то я посоветую это сделать вашим оппонентам по этому топику, вот пусть они и проверят и потом вам напишут что и как.

Оппонентам советую отсортировать уры в консоле по дате и начать с дальней.
Пишем результаты ручной проверки не стесняемся и отвечаем на вопрос: Стоит ли верить Консоли или Ручной проверке?

 

10 часов назад, kulinenko сказал:

главный показатель это ссылки ( в коде/ на странице) на страницу закрытую

не внешняя а любая ссылка.

Не просто ссылка, и не любая ссылка, а переход по ссылке. То бишь её траст!

[kulinenko]

1 час назад, optimlab сказал:

Это как?
Специально загуглил нигде не нашёл инфы об этом, есть какая-то новость на сеченже про какую то фигню новостного бота и походу там сервер откалолся и его быстро восстановили. И всё, больше не нашёл.
Поправите

у вас написано что вы seo  специалист и вы не знаете что оператор site  уже несколько лет не показывает точную информацию по ИНДЕКСАЦИИ ? попробуйте посмотреть любой большой сайт с разных гео и в разных браузерах - увидите разные цифры, иногда совсем не совпадающие с реальностью. Я удивлен если честно. Единственное где он работает это поиск контента по сайту:  "запрос site:сайт.ру"

 

1 час назад, optimlab сказал:

Я так понимаю что 6 и 8 пункты из предыдущего моего сообщения даже не удосужились проверить?

уточните что вы имеете ввиду конкретней, сложно угадать

1 час назад, optimlab сказал:

а переход по ссылке. То бишь её траст!

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообще к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Змінено 4 червня 2021 користувачем kulinenko

[optimlab]

21 час назад, kulinenko сказал:

у вас написано что вы seo  специалист и вы не знаете что оператор site  уже несколько лет не показывает точную информацию по ИНДЕКСАЦИИ ? попробуйте посмотреть любой большой сайт с разных гео и в разных браузерах - увидите разные цифры, иногда совсем не совпадающие с реальностью. Я удивлен если честно. Единственное где он работает это поиск контента по сайту:  "запрос site:сайт.ру"

Вот не поверишь не знал, иногда видел что выдаёт 2-3 страницы вместо одной, но так как урл всегда был на выдаче искомый, я это списывал на глюки на серверах Гугла.

Но мозг вы мне конечно сломали! От балды проверяю адрес этой страницы https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8

1. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 - не нашел 8-ю.
2. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 - нашел 8-ю.
3. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ - нашел 8-ю.
4. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ - нашел корневую с выдачей 4-й (про этот глюк я и говорил выше, на который не обращал внимания).
   Идём дальше проверяем выдачу по унику "Если статья отображается в разных категориях":
5. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ "Если статья отображается в разных категориях" - нашел 8-ю.
6. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/ "Если статья отображается в разных категориях" - не нашёл, но выдал 4-ю с формированным снипетом наплевав на кавычки, возможно еще и кавычки не слушается. Типа если ничего нет, то наплевать на ковычки лишь бы что-то продать.
7. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если статья отображается в разных категориях" - нашел 8-ю.
8. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если статья отображается в разных категориях" - не нашёл, повтор 6 пункта.
   Подозреваю на влияние домена, а не урла, будем делать обрезку урл:
9. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja "Если статья отображается в разных категориях" - не нашел
10. site:https://opencartforum.com/topic/113074-podderzhka-optimblog-blog "Если статья отображается в разных категориях" - надо же, нашел 8-ю
11. site:https://opencartforum.com/ "Если статья отображается в разных категориях" - и так тоже нашёл 8-ю
12. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja "Если статья отображается в разных категориях" - и тут тоже 8-ю нашел
13. https://opencartforum.com/topic/113074-podderzhka-optimblog-blog-dlja-opencart-3/?page=8 "Если статья отображается в разных категориях" - нашел 8-ю, (повтор 7-го пункта, для удобства восприятия)
14. https://opencartforum.com/ "Если статья отображается в разных категориях" - нашёл 8-ю

Корреляции не увидел, что-то есть, но не то что надо. Мозг сломан. И как теперь с этим жить?

 

ПС..
Подозреваю что это наверное как-то может быть связанно с Хромом, и что его Адресная строка является она же Поисковой. Вот они и начудили. НО это всего лишь гепотеза.

[kulinenko]

21 минуту назад, optimlab сказал:

Корреляции не увидел, что-то есть, но не то что надо. Мозг сломан. И как теперь с этим жить?

 

да никак, забить и простить. Это не самое важное, самое оно это то что даже в консоли может быть неверные значения. А вручную проверять лямы страниц никто не будет(

 

но это все цветочки - более интересно то как гугл стал показывать нч лонг тейлы - при наличии точно заточенных страниц - выдача каша. И по этому очень важно не просто получить индекс а еще и полить ссылочным что бы даже по нч нормально светится

 

пс на скринах мозила и хром

Змінено 5 червня 2021 користувачем kulinenko

[magdek]

51 минуту назад, kulinenko сказал:

И по этому очень важно не просто получить индекс а еще и полить ссылочным что бы даже по нч нормально светится

Заметил тоже такую штуку создаю посадочную под НЧ запрос пока не сделаешь несколько статей которые залетят в индекс эффекта ноль, гоша выдает все что не нужно, только не точную страницу никак будто ее вообще не существует хотя она и проиндексирована

[kulinenko]

14 минут назад, magdek сказал:

Заметил тоже такую штуку создаю посадочную под НЧ запрос пока не сделаешь несколько статей которые залетят в индекс эффекта ноль, гоша выдает все что не нужно, только не точную страницу никак будто ее вообще не существует хотя она и проиндексирована

это называется колибри + ранкбрейн + фред )))  наворотили делов

[magdek]

3 минуты назад, kulinenko сказал:

это называется колибри + ранкбрейн + фред

честно говоря поддолбал немного уже этот гоша только вылезешь немного а он тебе на очередной сюрприз и давай по новой, что называется чтобы жизнь скучной не казалась:)

 

теперь начал создал страницу нужно обязательно хотя бы пару-тройку ссылок на страницу сделать иначе он ее в упор не видит, вот недавно создал несколько товарных страниц по новым товарам через день проиндексировал были в топ-3, сейчас в упор не видит хотя проиндексированы без замечаний вообще

[kulinenko]

2 минуты назад, magdek сказал:

несколько товарных страниц по новым товарам через день проиндексировал были в топ-3, сейчас в упор не видит хотя проиндексированы без замечаний вообще

сейчас апдейт ядра идет еще июньский, снг трусит плотно, скоро еще новый фактор ранжирования и июльский ап будет . так что лето будет жарким) готовьтесь

[magdek]

1 минуту назад, kulinenko сказал:

готовьтесь

пока наблюдаем эти свисто-пляски, когда устаканиться будем принимать решение, а пока не делаем резких движений, ничего кардинально не меняем:)

[optimlab]

Ничего себе вы тут понаписали пока я сканированием и анализом занимался!

Задолбался я сканировать в несколько потоков, капча задолбала, прокси забанены, требует паузу, ааааа.... но всё таки корреляцию какую-то обнаружил.

У меня всего лишь 12 клиентов и несколько своих сайтов, так что корреляция может быть ошибочной, так как выборки из такого кол-ва сайтов недостаточно.

 

Короче, предварительные выводы: чем больше у сайта страниц, тем больше ошибок у оператора site, до 2000 страниц, работает чётко по аналогии Яндекса. Далее чем больше страниц, тем больше треша на выдаче.
Даже если сейчас покликать на те ссылки что я выше дал, у некоторых выдача будет другая и не соответствовать комментам (хорошо я не поленился и написал).

 

Так же просканировал урлы "Проиндексировано, несмотря на блокировку в файле robots.txt" - многих просто не существует в индексе ни так ни по уникам, вообще нет их на выдаче.

Обнаружил интересные приколы, я раньше не приглядывался, знал что эти урл мне никак не навредят, и вообще не обращал внимание на этот раздел.

Но сейчас мне стало даже смешно.

1) Начнём с демо сайта: site:demo.optimcart.com - находит страницу о которой говорит, но показывает 3 на которые у меня везде стоят ссылки. Но этих двух нет в консоле! Хотя они там по идее быть должны. Вообщем люди накликали, он их давай сканировать...

2) /производитель?limit=100 - в общем кто-то заходил и сортировал из мобилы чтоб видеть все товары этого производителя и не грузиться, я кстати тоже так делаю на телефоне, мало ли вдруг связь прервётся и скролить удобнее чем листать страницы и ждать когда они загрузятся.

Начинаю проверять site:/производитель?limit=100 и вижу на выдаче:

1. /производитель - со снипетом, всё как положено...
2. /производитель?limit=100 - Информация об этой странице недоступна.
3. /производитель?limit=50- Информация об этой странице недоступна.
4. /производитель?sort=p.model&order=ASC - Информация об этой странице недоступна.

Гугл сдал всех, красавчик)))

3) Этот вариант меня поразил больше всего.
Стоит ссылка с форума. Крауд-ссылка так сказать. Но как сайт попал в ТОП-3, я про них вообще забыл и не слежу, теперь пользователи сами ставят ссылки, вообщем прогрессия пошла...
Фишка в том, что ссылка ссылается на 404 страницу! Этой категории уже нет как с 19 года, короче еще до пандемии.. Осень 19 года, как сейчас помню...

На выдаче, как и на демке: Информация об этой странице недоступна.

Как тебе такое Илон Маск?!

 

В 04.06.2021 в 23:40, kulinenko сказал:

уточните что вы имеете ввиду конкретней, сложно угадать

Блин, если честно уже писать не охото. Может ну его нафиг? Скринить, вырезать, что-то делать, печатать..

Да и тем более вы уже сами ответили:

7 часов назад, kulinenko сказал:

самое оно это то что даже в консоли может быть неверные значения.

Вы хвалили данные консоли, а я говорил что нужно с начала проверить данные, понять что ей верить нельзя, а просто использовать как инфу для размышления. А ля звоночек.

Ну я вот типа про такие перлы имел ввиду, это в том же самом "Проиндексировано, несмотря на блокировку в файле robots.txt":

Спойлер

Да и других ошибок там полно если начать проверять...

 

В 04.06.2021 в 23:40, kulinenko сказал:

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообще к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Вы про хром забыли.

А вот про траст, наверное в личке отвечу. Не хочу палить эту тему, а то ПС лавочку прикроют..

[Shureg]

Гугл уже писал, что выдача site colon создается, исходя из производительности. Так что может даже утром и вечером отличаться  
https://www.searchenginejournal.com/googles-mueller-offers-two-tips-for-getting-indexed/407995/
А еще о том, что использует "живую" оценку важности страниц по действиям пользователя, примерно как Core Web Vitals.

А если все-таки вернуться к теме топика, про ноуиндекс:
https://www.searchenginejournal.com/google-noindexed-pages-can-impact-core-web-vitals/390209
Гугл все равно учитывает закрытые страницы, даже если в индекс не помещает.
Так что индексуй, не индексуй, все равно получишь.. гугл.

[kulinenko]

5 часов назад, optimlab сказал:

Короче, предварительные выводы: чем больше у сайта страниц, тем больше ошибок у оператора site, до 2000 страниц, работает чётко по аналогии Яндекса.

мы тоже так думали с начала, но потом при анализе стало ясно что дажу у большого сайта может показывать 4 страницы например, в разное время разные значения, а у мелких может показывать приблизительные значения - если сравнивать с консолью. Самое интересное начинается когда вы начинаете по страницам пагинации выдачи клацать)

 

4 часа назад, Shureg сказал:

Гугл все равно учитывает закрытые страницы, даже если в индекс не помещает.
Так что индексуй, не индексуй, все равно получишь.. гугл.

учитывает в каком плане ? например при фоллоу он проходит по ссылкам, а если просто ноиндекс то что по вашему происходит ?

 

5 часов назад, optimlab сказал:

Фишка в том, что ссылка ссылается на 404 страницу! Этой категории уже нет как с 19 года, короче еще до пандемии.. Осень 19 года, как сейчас помню...

На выдаче, как и на демке: Информация об этой странице недоступна

такое  у нас когда закрыто сканирование в роботс тхт но страница в индексе. кстати 404 могут годами там быть

[kulinenko]

5 часов назад, optimlab сказал:

Вы хвалили данные консоли, а я говорил что нужно с начала проверить данные, понять что ей верить нельзя, а просто использовать как инфу для размышления. А ля звоночек.

Ну я вот типа про такие перлы имел ввиду, это в том же самом "Проиндексировано, несмотря на блокировку в файле robots.txt":

я хвалил ибо там на самом деле все есть если знать правило :

 

"Значение "URL есть в индексе Google" не гарантирует, что страница появляется в результатах поиска. Чтобы это произошло, страница и структурированные данные на ней должны соответствовать нашим правилам. Инструмент проверки URL не учитывает меры, принятые вручную, удаление контента и временную блокировку URL. Чтобы узнать, представлена ли ваша страница в результатах поиска, попробуйте найти ее URL в Google. Сведения о том, почему проиндексированная страница может не показываться в Google Поиске, доступны в Справочном центре." https://support.google.com/webmasters/answer/9012289?hl=ru

 

5 часов назад, optimlab сказал:

Вы про хром забыли.

А вот про траст, наверное в личке отвечу. Не хочу палить эту тему, а то ПС лавочку прикроют..

хром это не 100% браузеров в мире.

 

Да  И представьте объем данных который должен хром со всех миллиардов устройств отправлять если какойто условный петя клацнул один раз по ссылке))) а сколько таких петь в секунду во всем мире ? и что потом - для каждой ссылки высчитывать цтр/пф итд ? и просчитывать путь ? одна только википедия даст терабайты инфы за мнгновение, так их еще надо обработать чем то )) тогда у гугла должен быть сервак в каждом доме )

[optimlab]

1 час назад, kulinenko сказал:

Да  И представьте объем данных который должен хром со всех миллиардов устройств отправлять если какойто условный петя клацнул один раз по ссылке))) а сколько таких петь в секунду во всем мире ? и что потом - для каждой ссылки высчитывать цтр/пф итд ? и просчитывать путь ? одна только википедия даст терабайты инфы за мнгновение, так их еще надо обработать чем то )) тогда у гугла должен быть сервак в каждом доме )

Goodbye, Chrome

[kulinenko]

18 минут назад, optimlab сказал:

Goodbye, Chrome

да для рекламы они шпионят - например вася посетил сайт с мобилами - будем ему ретаргет везде сувать с сотовыми - за это уже заплатили рекламодатели . А вот по каким ссылкам вася прошел и какие у этих ссылок пф просчитать - за это увы никто не заплатил . Гугл сейчас сокращает индекс жестко - экономит на серваках , а вы хотите что бы он все переходы в мире по ссылкам обработал и внес в ранж ))) Да еще и в реале))

[optimlab]

В 04.06.2021 в 23:40, kulinenko сказал:

переход по ссылке ? вы серьезно ? ))) при чем тут траст вообще к переходам. Да и как гугл узнает про переходы если нету аналитики например ? никак )) прошу подумать над этим

Так стоп! Вы меня заморочили какой-то несуществующей вселенной и я повёлся. Перемотаем назад...

 

Итак по вашему мнению, если сайт не имеет аналитики, то Гугл будет сканировать страницы по любым ссылкам запрещенным в robots.txt?

Т.е. если я скопирую свою демку, на новый домен, поставлю со скрытой страницы ссылку на него, и там не будет посетителей, а только боты, то в индекс всё равно попадут страницы запрещенные в robots.txt?

Цитата

не внешняя а любая ссылка.

 

Я всё верно понял для начала эксперимента?

Через сколько нужно проверять индексацию в Гугле, чтоб вы согласились на данные из него?

[kulinenko]

11 минут назад, optimlab сказал:

Итак по вашему мнению, если сайт не имеет аналитики, то Гугл будет сканировать страницы по любым ссылкам запрещенным в robots.txt?

Откуда вы это взяли? Я такого не писал.

 

12 минут назад, optimlab сказал:

Я всё верно понял для начала эксперимента?

Что за эксперимент? Для чего?

[optimlab]

@kulinenko , ну я ранее писал что ссылки появляются из-за действий пользователей, на этих страницах. Вы сказали, что какие нафиг переходы, а если аналитики нет, то Гугл ничего знать не будет. Т.е. типа после этого должна быть логическая цепочка, что если он даже и не знает про переходы пользователей, то ссылки всё равно там появятся.

Я не правильно вас понял, или что?

[kulinenko]

3 часа назад, optimlab сказал:

@kulinenko , ну я ранее писал что ссылки появляются из-за действий пользователей, на этих страницах. Вы сказали, что какие нафиг переходы, а если аналитики нет, то Гугл ничего знать не будет. Т.е. типа после этого должна быть логическая цепочка, что если он даже и не знает про переходы пользователей, то ссылки всё равно там появятся.

Я не правильно вас понял, или что?

Я всего лишь сказал что без ссылки в коде, на заблоченные в роботсе страницы, индекса не будет. И про ПФ писал что как раз они играют роль того что страница попадает в индекс. Но сами по себе ПФ не работают . Грубо говоря мы имеем причину и возможность. И если не будет аналитики то и попадание в индекс имеет очень малый шанс ( например при внешних ссылках)

 

Можно сравнить с дверью в комнату( ссылка) и входящим человеком ( ботом) , надписью интересной на двери (пф), и интересным контингентом внутри( трафиком на страницу ).

Змінено 6 червня 2021 користувачем kulinenko

[spanjokus]

Сегодня так же в отчете нашел 35 таких страниц с 404 кодом. Попробую по алгоритму

 

1. Noindex давно стоит на 404

2. Убрал чисто для гугл запрет на посещение таких страниц в robots

 

Посмотрю, что будет

[kulinenko]

3 часа назад, spanjokus сказал:

1. Noindex давно стоит на 404

404 это ответ сервера, а ноиндекс это метатег, разберитесь с понятиями

 

3 часа назад, spanjokus сказал:

2. Убрал чисто для гугл запрет на посещение таких страниц в robots

 

для каких страниц ? обычно это мусор