Поиск по сайту

Здравствуйте. Недавно гугл бот просканировал сайт, но в индекс не "выложил". Я проверил через Search Console как отдельно страницы товаров так и категории, показывает в отчете что запрещены для добавление в индекс. Причина запрета пишет - файл роботс. Ниже мой файл. Что тут поменять?

Друзья у нас тут есть много холивара по поводу pagespeed и влияние его на выдачу, есть три талантливых ремесленника, которые продвигают свои поделки как какую-то волшебную таблетку, которая там типа чего-то дает. И есть странный тип йода, который всем лечит какую то дичь, чистихвостит по чем зря и ваще. Так вот вашему покорному слуге, этому неграмотному программисту, который не знает пхп, только что и может настраивать сервера.. ну и все в таком духе. Кароче мне, один мой товарищ прислал два скрина, как оно бывает... Подоплека нашей с ним тесной дружбы была следующая, у него стояли какие то там лайтнинги, джет кеши, хрен пойми еще что, магазин не работал, падал в выдаче яндекса, а в гугле не было трафика совсем. В июне-июле мы сделали полнейший подход по настройке-оптимизации проекта, пришлось привлечь чуть ли не всю нашу банду, для закрытия вопросов с фильтром, версткой, и сделать огромное количество тонких настроек магазина, дабы он стал удобный и понятный для покупателя. Тогда помнится мы сразу получили вот такой результат: Это замечательно, фантастически - и мы вернули за три месяца трафик по яндексу и он даже начал расти, сугубо настройкой сервера и магазина... Однако, как вы видите у нас есть аномалия с гуглом. Если кто внимательно следит за гугл вебмастером, у них месяца четыре ничего не работало, нельзя было страницу в индекс добавить принудительно, и отчет о обходе страниц был с лагом в несколько недель. Так вот. Так совпало, что когда гугл починил вебмастер, вот те самые два скрина: Мысль одна: За это время с магазином глобального ничего не делалось, не проводилось больше никаких работ. Ничего. И тут вдруг такая фантастика. К чему это я все написал спросите вы? Йода, ты опять устроил черный пиар кривых своих доработок? Ты мстишь дырявому бракибраку? Думайте друзья что хотите, за что купил - за то продал. Единственное, что в отличии от всех остальных докладчиков, в нашей лабораторной работе мы можем наблюдать реально влияние скорости загрузки сайта на позиции в выдаче - а не гадать на кофейной гуще. Как другие докладчики типа: Ну и все это было бы не совсем полным описанием истории. Если бы я не привел еще один магический график: Если кто не знает где его взять - найдите его в в настройках в гугл вебмастере в разделе статистика сканирования. Вот как по мне - этот показатель наиболее ответственен за качество сканирования вашего магазина.

Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день. Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц. Первым делом запретил бинга, 5 гб трафика в сутки. После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки. Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса. Паузы на сканирование в гугл вебмастер и роботс не помогают... Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно? возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал? поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать. Выкладываю robots.txt на всякий случай. User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta

Здравствуйте! При сканированиее google'ом выдал ошибку "Доступ к отправленному URL заблокирован в файле robots.txt". Помогите решить. Файл robots ниже User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&amp;manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&amp;sort= Disallow: /*?order= Disallow: /*&amp;order= Disallow: /*?limit= Disallow: /*&amp;limit= Disallow: /*?filter_name= Disallow: /*&amp;filter_name= Disallow: /*?filter_sub_category= Disallow: /*&amp;filter_sub_category= Disallow: /*?filter_description= Disallow: /*&amp;filter_description= Disallow: /*?tracking= Disallow: /*&amp;tracking= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&amp;manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&amp;sort= Disallow: /*?order= Disallow: /*&amp;order= Disallow: /*?limit= Disallow: /*&amp;limit= Disallow: /*?filter_name= Disallow: /*&amp;filter_name= Disallow: /*?filter_sub_category= Disallow: /*&amp;filter_sub_category= Disallow: /*?filter_description= Disallow: /*&amp;filter_description= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ Clean-param: tracking

В Ocstore вшиты ссылки в конец кода для роботов поисковых систем? В исходном коде их не видно, если заходите, как человек с обычного браузера. Если же заходит робот на сайт, то для него внизу кода встроена ссылка на сторонний ресурс. (в моём случае встроена ссылка на dailyn.ru) Проверьте, у кого также? Для этого зайдите в Search Console от Google https://www.google.com/webmasters/tools/googlebot-fetch-details? и введите адрес Вашего сайта, и гляньте в самый низ кода. Как с этим бороться?

Не индексируются страницы товаров, в Search Console, в просмотре страницы как Googlebot категории и все остальные страницы находятся, кроме страниц товаров, их он не находит В чем может быть проблема? Сайт: kraftsystem.com

Наблюдаю такую картинку: Собираюсь в product/category.tpl для блока <div class="product-filter"> ... </div>задать примерно такое условие: if (isset($_SERVER['HTTP_USER_AGENT']) && !preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'])) { }Это закроет для роботов ссылки на эти страницы, но насколько это правильное решение?