Yoda

К сожалению вы наступаете на те же грабли, что и все. WP или Opencart - это генераторы контента. Что вы наваяете, то и будет. А теперь давайте по пунктам, что вы там написали. 1. WEBP - не мастхев, пока, так как браузеры не поддерживают и вкрутить поддержку можно, но аккуратно. На оценку нового PageSpeed - не влияют. Если у вас нормально сжатый Jpeg. Ну и от Png надо максимально отказаться 2. PHP7 дает прирост производительности 10-30% и только на работе скриптов PHP, запросы в базу, никуда не деваются. 3. Кеширование всего. Это то еще счастье, зачастую на больших проектах от кеширования всего - наоборот надо отказываться, применяя иные стратегии оптимизиации. 4. Нормальное сео - это опустим. И теперь самое главное. Основное требование и идеология нового механизма оценки PageSpeed заключается в двух принципах. Страницы должны как можно меньше весить, и как можно быстрее отображать первичный контент пользователю. Попробую привести на пальцах примеры. Многие любят вывалить на главную страницу по 5-7 наборов (хиты продаж, рекомендуемые, статьи) и по 20-30 товаров в этих наборах. Это большой объем DOM-элементов, который пока мобильник отрендерит с тугим своим процессором, рак на горе свиснет. От того необходимо отказываться, а выводить на первый рендер экрана минимум элементов и дальше если необходимо подгружать весь контент скриптами, по мере взаимодействия пользователя с контентом. Второй пример. Это меню. Многие привыкли, просто немного видоизменить дизайн и сделать меню мобайл, а многие шаблонопейсатели еще и выводят клон дерева меню, создавая избыточное количество элементов на странице - проблема та же, чем больше элементов, тем дольше они рендерятся, а чем больше у вас скриптов, которые используют какие нибудь общие селекторы типа (div) тем дольше происходит обработка событий JS, и соответственно пользователь видит контент. Третий пример. Не буду тыкать пальцем, но практически все шаблоны типа тетрис 9999 в 1, в блоки товаров выводят кучу хлама, какие то спрятанные кнопки быстрого просмотра, дополнительные события на наведение мыши на изображения, никто не озадачивается разными размерами изображений под разные разрешения. Вот это вот все, теперь, если хотите хорошую оценку гугла, надо забыть. И подходить намного ответственнее к структуре страниц, которые уйдут на мобильные устройства. Ну и как-то никто не запрещает эксперементировать, отключать те или иные элементы страниц и сравнивать результаты.

Совершенно нормальная тенденция. И если у вас много мобайл трафика - то прямая зависимость от оценки на лицо. К сожалению, вот прямо волшебной таблетки, чтобы ее поднять нет. Но существуют определенные техники, которые позволяют решить эти вопросы в том или ином виде. Все зависит от структуры вашего шаблона, и вашей готовности кардинально менять мобильный вид и ограничивать количество функционала в нем.

Вам надо задать этот вопрос хостингу и узнать у них конфигруацию сервера memcache.

Крайне не рекомендовано использовать подобные кроны. Так как в момент генерации кешей, все ресурсы сервера уходят на этот процесс и длительное время сервер не отвечает. На днях буквально спасал человека, который выпал целиком из индекса поисковых систем, из-за подобных фокусов.

Не надо натягивать шар на глобус и делать пиар на недостоверных фактах. 1 Гугл как любил так и любит нормальный jpeg. 2. Webp имеет смысл внедрять с умом. Так как шаг влево шаг вправо и вы отдали пустой магазин без изображений клиенту. 3. Компрессор не мастхев от слова совсем. Так как оптимизация изображений по крону настраивается за десять минут и появляется более правильным решением чем тратить драгоценное ресурсы для сжатия "на лету. Я бы сказал что это не мастхев, а костыль для кривых хостингов, ещё и очень тррмознутый костыль. Дальше могу продолжать очень долго. Но работу над ошибками делайте сами.

1. Вы можете внятно обьяснить, в какой момент делать редирект? В момент ввода вхождения в строку, в момент нажатия на ссылку в сниппете? 2. При помощи sphinx это реализуемо в два счета. Пример в личку

Есть решение вашей проблемы. Стучите в личку.

Нагрузка от фильтра никак не связана с тем, как расположены скрипты. Вы путаете сладкое с мягким. Точнее ваш товарищ. Не всегда стоит слушать знакомых и на веру принимать все показатели автоматических метрик.

После того как вам все местные "типаумные" "специализды" напишут свои очень умные советы и комментарии - приходите ко мне, я вам полечу, без дурных вопросов... Но недешево!

Пожалуйста, никогда не давайте на это ссылку. В данном случае это не ускоряет - а замедляет время выполнения скрипта!

Конфиг такой себе 64 table open cache совсем улыбнуло. А sort buffer это дичь. Погуглил спасибо.

Не вопрос, сессию и куку все равно надлн хранить как можно дольше.

Без увеличения времени жизни сессии, правка в классе /cart не взлетает. И наоборот.

1. Opcache - таки да - это системное дополнение к php, которое появилось built-in в 7 ветке и пришло на смену корявому Xcache. 2. Для общего понимания, кто не в теме, оно занимается кеширование сугубо кода, а не данных, которые обрабатывает система. Поэтому это малая капля в общих проблемах медленной работы любой системы 3. Opcache не может криво работать - он может быть криво настроен. https://github.com/rlerdorf/opcache-status Очень полезно посмотреть, что с ним происходит особенно любителям устраивать из сервера помойки с тоаннами тестовых поддоменов. 4. Как ни крути, что не делай с базой, как не кешируй данные, от дурака - никто не застрахован. В свете последних веяний у шаблонопейсателей и модулепейсателей, которые в таблицу setting умудряются впихнуть какие то десятки мегабайт настроек, только иницализация контейнера setting может занимать 200-300мс. Буквально на прошлой неделе тюнил подобный проект, 4700 ключей, которые гонятся туда-сюда при каждой иницализации страницы. А потом говорят что опенкарт тупой. Каким еще ему быть, если люди не задумываются о том что они делают в массе своей. Равно как и генерация ссылок, что подзапросом на каждую ссылку в случае c seo_url, что одной коллекцией как в seo_pro - это не самое лучшее решение. 5. В вопросах глобальной архитектуры всей системы oc - есть масса недоработок, как то отсутствие записи набора кешей в _destruct, отсутствие вызова повторных данных кеша из памяти, множественная повторная выборка данных в cart, даже на пустой корзине, не отключаемы при неиспользовании в той же корзине купоны, бонусные баллы и так далее... В целом курочка по зернышку и можно получать 100мс и на 5.4 и на 5.6 и на 7.2, только для этогонеобходимо создавать соответсвующие условия, устранять бутылочные горлышки и правильно настраивать окружение.

Не вижу смысла этого делать. Так как нормальная настройка nginx - это не тот процесс, который можно просто конфигом решить.

Не несите чушь, в предыдущих версиях так не было. Это нововведение Даниэля, которое по его словам из личной переписки, позволяет пользователю по хлебным крошкам вернутся на ту страницу с которой он пришел. Также наследуются и все остальные get параметры для дочерних категорий из главных.

Причин может быть несколько. 1 - отсутствие необходимых индексов и медленная работа на большом наборе записей 2 - присутствие индексов, но неправильно настроенный сервер 3 - данная таблица может лочится каким либо иными запросами 4 - перегруженный сервер иными запросами и блокировка самим сервером mysql.

Вы взяли код для nginx там ниже в комментариях есть для apache RewriteEngine on RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} Zeus RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR] RewriteCond %{HTTP_USER_AGENT} ^1-More\ Scanner [OR] RewriteCond %{HTTP_USER_AGENT} ^192.comAgent [OR] RewriteCond %{HTTP_USER_AGENT} ^Accelerator [OR] RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR] RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR] RewriteCond %{HTTP_USER_AGENT} ^almaden.ibm.com [OR] RewriteCond %{HTTP_USER_AGENT} ^Ants [OR] RewriteCond %{HTTP_USER_AGENT} ^AppleWebKit [OR] RewriteCond %{HTTP_USER_AGENT} ^archive.org [OR] RewriteCond %{HTTP_USER_AGENT} ^Ask\ Jeeves [OR] RewriteCond %{HTTP_USER_AGENT} ^asterias [OR] RewriteCond %{HTTP_USER_AGENT} ^attach [OR] RewriteCond %{HTTP_USER_AGENT} ^BabalooSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR] RewriteCond %{HTTP_USER_AGENT} ^Badex-Bot [OR] RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR] RewriteCond %{HTTP_USER_AGENT} ^BecomeBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BilgiBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BilgiFeedBot/experimental [OR] RewriteCond %{HTTP_USER_AGENT} ^Birubot [OR] RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR] RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR] RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR] RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR] RewriteCond %{HTTP_USER_AGENT} ^Brontok.A\ Browser [OR] RewriteCond %{HTTP_USER_AGENT} ^Buddy [OR] RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR] RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR] RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR] RewriteCond %{HTTP_USER_AGENT} ^Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} ^CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^CazoodleBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR] RewriteCond %{HTTP_USER_AGENT} ^CFNetwork [OR] RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR] RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR] RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR] RewriteCond %{HTTP_USER_AGENT} ^Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^ConveraCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Copier [OR] RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR] RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR] RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR] RewriteCond %{HTTP_USER_AGENT} ^Custo [OR] RewriteCond %{HTTP_USER_AGENT} ^Dead\ Link\ Checker [OR] RewriteCond %{HTTP_USER_AGENT} ^DepSpid [OR] RewriteCond %{HTTP_USER_AGENT} ^DIIbot [OR] RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR] RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR] RewriteCond %{HTTP_USER_AGENT} ^Dolphin [OR] RewriteCond %{HTTP_USER_AGENT} ^DotBot [OR] RewriteCond %{HTTP_USER_AGENT} ^dotnetdotcom [OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Master [OR] RewriteCond %{HTTP_USER_AGENT} ^Downloader [OR] RewriteCond %{HTTP_USER_AGENT} ^Drip [OR] RewriteCond %{HTTP_USER_AGENT} ^e-SocietyRobot [OR] RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR] RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR] RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Exabot [OR] RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR] RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR] RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR] RewriteCond %{HTTP_USER_AGENT} ^Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} ^FairShare [OR] RewriteCond %{HTTP_USER_AGENT} ^FAST\ MetaWeb\ Crawler [OR] RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR] RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR] RewriteCond %{HTTP_USER_AGENT} ^Flexum\ spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR] RewriteCond %{HTTP_USER_AGENT} ^FrontPage [OR] RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR] RewriteCond %{HTTP_USER_AGENT} ^Gets [OR] RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR] RewriteCond %{HTTP_USER_AGENT} ^Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR] RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR] RewriteCond %{HTTP_USER_AGENT} ^gotit [OR] RewriteCond %{HTTP_USER_AGENT} ^GoZilla [OR] RewriteCond %{HTTP_USER_AGENT} ^Grabber [OR] RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR] RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR] RewriteCond %{HTTP_USER_AGENT} ^Gulliver [OR] RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR] RewriteCond %{HTTP_USER_AGENT} ^help.naver.com [OR] RewriteCond %{HTTP_USER_AGENT} ^hloader [OR] RewriteCond %{HTTP_USER_AGENT} ^HMView [OR] RewriteCond %{HTTP_USER_AGENT} ^holmes [OR] RewriteCond %{HTTP_USER_AGENT} ^HP\ Web\ PrintSmart [OR] RewriteCond %{HTTP_USER_AGENT} ^HTMLParser [OR] RewriteCond %{HTTP_USER_AGENT} ^httplib [OR] RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR] RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} ^IBrowse [OR] RewriteCond %{HTTP_USER_AGENT} ^ichiro [OR] RewriteCond %{HTTP_USER_AGENT} ^IDBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [OR] RewriteCond %{HTTP_USER_AGENT} ^InetURL [OR] RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR] RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR] RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR] RewriteCond %{HTTP_USER_AGENT} ^InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} ^Iria [OR] RewriteCond %{HTTP_USER_AGENT} ^IRLbot [OR] RewriteCond %{HTTP_USER_AGENT} ^Java [OR] RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR] RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR] RewriteCond %{HTTP_USER_AGENT} ^JOC [OR] RewriteCond %{HTTP_USER_AGENT} ^JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} ^JustView [OR] RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR] RewriteCond %{HTTP_USER_AGENT} ^kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Konqueror [OR] RewriteCond %{HTTP_USER_AGENT} ^larbin [OR] RewriteCond %{HTTP_USER_AGENT} ^leech [OR] RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR] RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR] RewriteCond %{HTTP_USER_AGENT} ^lftp [OR] RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR] RewriteCond %{HTTP_USER_AGENT} ^libwww [OR] RewriteCond %{HTTP_USER_AGENT} ^likse [OR] RewriteCond %{HTTP_USER_AGENT} ^Linguee [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkScan [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR] RewriteCond %{HTTP_USER_AGENT} ^ListChecker [OR] RewriteCond %{HTTP_USER_AGENT} ^Lupa\.ru [OR] RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} ^LWP::Simple [OR] RewriteCond %{HTTP_USER_AGENT} ^Mag-Net [OR] RewriteCond %{HTTP_USER_AGENT} ^Magnet [OR] RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR] RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR] RewriteCond %{HTTP_USER_AGENT} ^Memo [OR] RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR] RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR] RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR] RewriteCond %{HTTP_USER_AGENT} ^Mirror [OR] RewriteCond %{HTTP_USER_AGENT} ^Missigua [OR] RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR] RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} ^MLBot [OR] RewriteCond %{HTTP_USER_AGENT} ^moget [OR] RewriteCond %{HTTP_USER_AGENT} ^Moreoverbot [OR] RewriteCond %{HTTP_USER_AGENT} ^MSFrontPage [OR] RewriteCond %{HTTP_USER_AGENT} ^MSIECrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^NaverBot/1.0 [OR] RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR] RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR] RewriteCond %{HTTP_USER_AGENT} ^Net.*Reaper [OR] RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR] RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR] RewriteCond %{HTTP_USER_AGENT} ^NetCache [OR] RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR] RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR] RewriteCond %{HTTP_USER_AGENT} ^NextGenSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} ^nicebot [OR] RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR] RewriteCond %{HTTP_USER_AGENT} ^Ninja [OR] RewriteCond %{HTTP_USER_AGENT} ^NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Nokia6682 [OR] RewriteCond %{HTTP_USER_AGENT} ^noxtrumbot [OR] RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Nutch [OR] RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR] RewriteCond %{HTTP_USER_AGENT} ^Offline [OR] RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer_Bot [OR] RewriteCond %{HTTP_USER_AGENT} ^OneTouchSystems [OR] RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR] RewriteCond %{HTTP_USER_AGENT} ^Page.*Saver [OR] RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR] RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR] RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR] RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR] RewriteCond %{HTTP_USER_AGENT} ^PEAR [OR] RewriteCond %{HTTP_USER_AGENT} ^PHP.*/ [OR] RewriteCond %{HTTP_USER_AGENT} ^Ping [OR] RewriteCond %{HTTP_USER_AGENT} ^Pita [OR] RewriteCond %{HTTP_USER_AGENT} ^Pockey [OR] RewriteCond %{HTTP_USER_AGENT} ^Port\ Huron\ Labs [OR] RewriteCond %{HTTP_USER_AGENT} ^PostRank [OR] RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot [OR] RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR] RewriteCond %{HTTP_USER_AGENT} ^psbot [OR] RewriteCond %{HTTP_USER_AGENT} ^ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Pump [OR] RewriteCond %{HTTP_USER_AGENT} ^Purebot [OR] RewriteCond %{HTTP_USER_AGENT} ^PycURL [OR] RewriteCond %{HTTP_USER_AGENT} ^Python [OR] RewriteCond %{HTTP_USER_AGENT} ^QihooBot [OR] RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR] RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR] RewriteCond %{HTTP_USER_AGENT} ^Reaper [OR] RewriteCond %{HTTP_USER_AGENT} ^Recorder [OR] RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR] RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR] RewriteCond %{HTTP_USER_AGENT} ^RMA [OR] RewriteCond %{HTTP_USER_AGENT} ^RPT-HTTPClient [OR] RewriteCond %{HTTP_USER_AGENT} ^RufusBot [OR] RewriteCond %{HTTP_USER_AGENT} ^rulinki [OR] RewriteCond %{HTTP_USER_AGENT} ^SBIder [OR] RewriteCond %{HTTP_USER_AGENT} ^shelob [OR] RewriteCond %{HTTP_USER_AGENT} ^ShopWiki [OR] RewriteCond %{HTTP_USER_AGENT} ^SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} ^sitecheck.internetseer.com [OR] RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR] RewriteCond %{HTTP_USER_AGENT} ^Slurp [OR] RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR] RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR] RewriteCond %{HTTP_USER_AGENT} ^SMILE [OR] RewriteCond %{HTTP_USER_AGENT} ^Snagger [OR] RewriteCond %{HTTP_USER_AGENT} ^Snake [OR] RewriteCond %{HTTP_USER_AGENT} ^Sogou\ web\ spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Sosospider [OR] RewriteCond %{HTTP_USER_AGENT} ^Soup [OR] RewriteCond %{HTTP_USER_AGENT} ^SpaceBison [OR] RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR] RewriteCond %{HTTP_USER_AGENT} ^spanner [OR] RewriteCond %{HTTP_USER_AGENT} ^spbot [OR] RewriteCond %{HTTP_USER_AGENT} ^Speedy [OR] RewriteCond %{HTTP_USER_AGENT} ^Speedy\ Spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Stripper [OR] RewriteCond %{HTTP_USER_AGENT} ^Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR] RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR] RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR] RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR] RewriteCond %{HTTP_USER_AGENT} ^SWeb [OR] RewriteCond %{HTTP_USER_AGENT} ^Szukacz [OR] RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR] RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR] RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR] RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR] RewriteCond %{HTTP_USER_AGENT} ^TheFreeDictionary.com [OR] RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR] RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Titan [OR] RewriteCond %{HTTP_USER_AGENT} ^TMCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR] RewriteCond %{HTTP_USER_AGENT} ^Triton [OR] RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR] RewriteCond %{HTTP_USER_AGENT} ^ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^turingos [OR] RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [OR] RewriteCond %{HTTP_USER_AGENT} ^TurtleScanner [OR] RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR] RewriteCond %{HTTP_USER_AGENT} ^UniversalFeedParser [OR] RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR] RewriteCond %{HTTP_USER_AGENT} ^User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} ^Vacuum [OR] RewriteCond %{HTTP_USER_AGENT} ^VCI [OR] RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR] RewriteCond %{HTTP_USER_AGENT} ^VoilaBot [OR] RewriteCond %{HTTP_USER_AGENT} ^voyager [OR] RewriteCond %{HTTP_USER_AGENT} ^Weazel [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Image.*Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Spy [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR] RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR] RewriteCond %{HTTP_USER_AGENT} ^WebCapture [OR] RewriteCond %{HTTP_USER_AGENT} ^webcollage [OR] RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR] RewriteCond %{HTTP_USER_AGENT} ^WebData [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEx [OR] RewriteCond %{HTTP_USER_AGENT} ^WebExtractor [OR] RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR] RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR] RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR] RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR] RewriteCond %{HTTP_USER_AGENT} ^WebMirror [OR] RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR] RewriteCond %{HTTP_USER_AGENT} ^WebRecorder [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSite.*Extractor [OR] RewriteCond %{HTTP_USER_AGENT} ^Website.*Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSpy [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster\ Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR] RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR] RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR] RewriteCond %{HTTP_USER_AGENT} ^Wget [OR] RewriteCond %{HTTP_USER_AGENT} ^Whacker [OR] RewriteCond %{HTTP_USER_AGENT} ^Widow [OR] RewriteCond %{HTTP_USER_AGENT} ^WordPress [OR] RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR] RewriteCond %{HTTP_USER_AGENT} ^www.cuill.com [OR] RewriteCond %{HTTP_USER_AGENT} ^www.metacrawler.com [OR] RewriteCond %{HTTP_USER_AGENT} ^www\.asona\.org [OR] RewriteCond %{HTTP_USER_AGENT} ^www\.cys\.ru [OR] RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR] RewriteCond %{HTTP_USER_AGENT} ^Wysigot [OR] RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^Xenu’s [OR] RewriteCond %{HTTP_USER_AGENT} ^Yanga [OR] RewriteCond %{HTTP_USER_AGENT} ^Yeti [OR] RewriteCond %{HTTP_USER_AGENT} ^YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR] RewriteCond %{HTTP_USER_AGENT} ^ZyBorg RewriteCond %{HTTP_USER_AGENT} almaden [OR] RewriteCond %{HTTP_USER_AGENT} ^Anarchie [OR] RewriteCond %{HTTP_USER_AGENT} ^ASPSeek [OR] RewriteCond %{HTTP_USER_AGENT} ^autoemailspider [OR] RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR] RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:[email protected] [OR] RewriteCond %{HTTP_USER_AGENT} ^bumblebee [OR] RewriteCond %{HTTP_USER_AGENT} ^CICC [OR] RewriteCond %{HTTP_USER_AGENT} ^DA [OR] RewriteCond %{HTTP_USER_AGENT} ^DISCo\ Pump [OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Wonder [OR] RewriteCond %{HTTP_USER_AGENT} ^DSurf15a [OR] RewriteCond %{HTTP_USER_AGENT} ^EasyDL/2.99 [OR] RewriteCond %{HTTP_USER_AGENT} email [NC,OR] RewriteCond %{HTTP_USER_AGENT} FrontPage [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^GetSmart [OR] RewriteCond %{HTTP_USER_AGENT} ^gigabaz [OR] RewriteCond %{HTTP_USER_AGENT} ^Go\!Zilla [OR] RewriteCond %{HTTP_USER_AGENT} ^grub-client [OR] RewriteCond %{HTTP_USER_AGENT} ^httpdown [OR] RewriteCond %{HTTP_USER_AGENT} .*httrack.* [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Indy*Library [OR] RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^InternetLinkagent [OR] RewriteCond %{HTTP_USER_AGENT} ^InternetSeer.com [OR] RewriteCond %{HTTP_USER_AGENT} ^JBH*agent [OR] RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Link*Sleuth [OR] RewriteCond %{HTTP_USER_AGENT} ^Link [OR] RewriteCond %{HTTP_USER_AGENT} ^MS\ FrontPage* [OR] RewriteCond %{HTTP_USER_AGENT} ^MSProxy [OR] RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR] RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR] RewriteCond %{HTTP_USER_AGENT} ^PingALink [OR] RewriteCond %{HTTP_USER_AGENT} ^QRVA [OR] RewriteCond %{HTTP_USER_AGENT} ^Scooter [OR] RewriteCond %{HTTP_USER_AGENT} ^Seeker [OR] RewriteCond %{HTTP_USER_AGENT} ^Siphon [OR] RewriteCond %{HTTP_USER_AGENT} ^sproose [OR] RewriteCond %{HTTP_USER_AGENT} ^URLSpiderPro [OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Downloader [OR] RewriteCond %{HTTP_USER_AGENT} ^WebHook [OR] RewriteCond %{HTTP_USER_AGENT} ^WebMiner [OR] RewriteCond %{HTTP_USER_AGENT} ^Website [OR] RewriteCond %{HTTP_USER_AGENT} WebWhacker [OR] RewriteCond %{HTTP_USER_AGENT} ^x-Tractor [OR] RewriteCond %{HTTP_USER_AGENT} ^Xenu [OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster [OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus RewriteCond %{HTTP_USER_AGENT} .*ahrefs.* [NC,OR] RewriteCond %{HTTP_USER_AGENT} .*Slurp.* [NC,OR] RewriteCond %{HTTP_USER_AGENT} .*Ask\sJeeves.* [OR] RewriteCond %{HTTP_USER_AGENT} .*HP\sWeb\sPrintSmart.* [OR] RewriteCond %{HTTP_USER_AGENT} .*HTTrack.* [OR] RewriteCond %{HTTP_USER_AGENT} .*IDBot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Indy\sLibrary.* [OR] RewriteCond %{HTTP_USER_AGENT} .*ListChecker.* [OR] RewriteCond %{HTTP_USER_AGENT} .*MSIECrawler.* [OR] RewriteCond %{HTTP_USER_AGENT} .*NetCache.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Nutch.* [OR] RewriteCond %{HTTP_USER_AGENT} .*RPT-HTTPClient.* [OR] RewriteCond %{HTTP_USER_AGENT} .*rulinki\.ru.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Twiceler.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Webster\sPro.* [OR] RewriteCond %{HTTP_USER_AGENT} .*www\.cys\.ru.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Wysigot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Yeti.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Accoona.* [OR] RewriteCond %{HTTP_USER_AGENT} .*CazoodleBot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*CFNetwork.* [OR] RewriteCond %{HTTP_USER_AGENT} .*ConveraCrawler.* [OR] RewriteCond %{HTTP_USER_AGENT} .*DISCo.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Download\sMaster.* [OR] RewriteCond %{HTTP_USER_AGENT} .*FAST\sMetaWeb\sCrawler.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Flexum\sspider$ [OR] RewriteCond %{HTTP_USER_AGENT} .*Gigabot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*HTMLParser.* [OR] RewriteCond %{HTTP_USER_AGENT} .*ia_archiver.* [OR] RewriteCond %{HTTP_USER_AGENT} .*ichiro.* [OR] RewriteCond %{HTTP_USER_AGENT} .*IRLbot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR] RewriteCond %{HTTP_USER_AGENT} .*km\.ru\sbot$ [OR] RewriteCond %{HTTP_USER_AGENT} .*kmSearchBot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*libwww-perl.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Lupa\.ru.* [OR] RewriteCond %{HTTP_USER_AGENT} .*LWP::Simple.* [OR] RewriteCond %{HTTP_USER_AGENT} .*lwp-trivial.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Missigua.* [OR] RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*msnbot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Offline\sExplorer.* [OR] RewriteCond %{HTTP_USER_AGENT} .*OmniExplorer_Bot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*PEAR.* [OR] RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Python.* [OR] RewriteCond %{HTTP_USER_AGENT} .*SMILE.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Speedy.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Teleport\sPro.* [OR] RewriteCond %{HTTP_USER_AGENT} .*TurtleScanner.* [OR] RewriteCond %{HTTP_USER_AGENT} .*voyager.* [OR] RewriteCond %{HTTP_USER_AGENT} .*WebCopier.* [OR] RewriteCond %{HTTP_USER_AGENT} .*WebData.* [OR] RewriteCond %{HTTP_USER_AGENT} .*WebZIP.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Wget.* [OR] RewriteCond %{HTTP_USER_AGENT} .*Yanga.* RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Bolt\ 0 [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot\@yahoo\.com [NC,OR] RewriteCond %{HTTP_USER_AGENT} CazoodleBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Custo [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Default\ Browser\ 0 [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^DIIbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^DISCo [NC,OR] RewriteCond %{HTTP_USER_AGENT} discobot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^eCatch [NC,OR] RewriteCond %{HTTP_USER_AGENT} ecxi [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^FlashGet [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^GetRight [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^GrabNet [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Grafula [NC,OR] RewriteCond %{HTTP_USER_AGENT} GT::WWW [NC,OR] RewriteCond %{HTTP_USER_AGENT} heritrix [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^HMView [NC,OR] RewriteCond %{HTTP_USER_AGENT} HTTP::Lite [NC,OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [NC,OR] RewriteCond %{HTTP_USER_AGENT} IDBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} id-search [NC,OR] RewriteCond %{HTTP_USER_AGENT} id-search\.org [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^InterGET [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^InternetSeer\.com [NC,OR] RewriteCond %{HTTP_USER_AGENT} IRLbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ISC\ Systems\ iRc\ Search\ 2\.1 [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Java [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^JetCar [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^larbin [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [NC,OR] RewriteCond %{HTTP_USER_AGENT} libwww [NC,OR] RewriteCond %{HTTP_USER_AGENT} libwww-perl [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Link [NC,OR] RewriteCond %{HTTP_USER_AGENT} LinksManager.com_bot [NC,OR] RewriteCond %{HTTP_USER_AGENT} linkwalker [NC,OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Maxthon$ [NC,OR] RewriteCond %{HTTP_USER_AGENT} MFC_Tear_Sample [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^microsoft\.url [NC,OR] RewriteCond %{HTTP_USER_AGENT} Microsoft\ URL\ Control [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [NC,OR] RewriteCond %{HTTP_USER_AGENT} Missigua\ Locator [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^MSFrontPage [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Navroad [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^NearSite [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^NetAnts [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^NetSpider [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^NetZIP [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Nutch [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Octopus [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [NC,OR] RewriteCond %{HTTP_USER_AGENT} panscient.com [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^pavuk [NC,OR] RewriteCond %{HTTP_USER_AGENT} PECL::HTTP [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^PeoplePal [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Ping [NC,OR] RewriteCond %{HTTP_USER_AGENT} PHPCrawl [NC,OR] RewriteCond %{HTTP_USER_AGENT} PleaseCrawl [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^psbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^RealDownload [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^ReGet [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Rippers\ 0 [NC,OR] RewriteCond %{HTTP_USER_AGENT} SBIder [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SeaMonkey$ [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^sitecheck\.internetseer\.com [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [NC,OR] RewriteCond %{HTTP_USER_AGENT} Snoopy [NC,OR] RewriteCond %{HTTP_USER_AGENT} Steeler [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SuperBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Surfbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Toata\ dragostea\ mea\ pentru\ diavola [NC,OR] RewriteCond %{HTTP_USER_AGENT} URI::Fetch [NC,OR] RewriteCond %{HTTP_USER_AGENT} urllib [NC,OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [NC,OR] RewriteCond %{HTTP_USER_AGENT} Web\ Sucker [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebAuto [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [NC,OR] RewriteCond %{HTTP_USER_AGENT} WebCollage [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebCopier [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebFetch [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebReaper [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebSauger [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebStripper [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WebZIP [NC,OR] RewriteCond %{HTTP_USER_AGENT} Wells\ Search\ II [NC,OR] RewriteCond %{HTTP_USER_AGENT} WEP\ Search [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Wget [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Widow [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WWW-Mechanize [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [NC,OR] RewriteCond %{HTTP_USER_AGENT} zermelo [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus\.*Webster [NC,OR] RewriteCond %{HTTP_USER_AGENT} ZyBorg [NC] RewriteRule ^(.*)$ – [F,L]

Вот вам и ответ. А дальше надо понимать. Как давно вы сменили днс. Если есть недавно ждать. Если давно решать вопросы. Решаются лнме по разному. Так как необходимо понимать где именно идёт потеря. Что касается ipv6. Если ваш предыдущий хостинг поддерживал его. Необходимо удалить все AAA записи домена. Если их не было не париться.

Начните с этого: https://www.host-tracker.com/ru/ Проверьте доступность из мира с разных геолокаций. Также проверьте отклик сайта по ipv6 - это редкий частный случай но бывает так, что при смене ДНС ipv6 адреса либо отсутствуют у провайдера, либо про них забыли, либо что-то еще.

Вам достаточно просто переназначить категориям верхнюю категорию. Seopro все сделает сам.

Вобщем на самом деле нет никакой проблемы, а есть чьи-то кривые руки. При создании виртуалхоста в isp5, который работает в режиме php-fpm, панель по непонятным мне причинам, вместо того чтобы сделать expires для location /jpg|png...etc, т.е. для статики. Вставляет expires для всей секции server {}. А так как тс любитель много умничать, но мало понимать, естественно он этого не досмотрел. Т.е. это вопрос не опенкарта - сугубо кривых настроек серверного окружения, так сказать спициализдизм.

Кеш твига - никак не рулит заголовками сервера. Попадались мне пару серверов после горемастера с этой проблемой... Немножко надо мануалы читать и смотреть что в конфигах пишется при включении php-fpm!

Лечится комплексной оптимизацией магазина. Отбивкой левых ботов. Настройкой правильной частоты сканирования и правил сканирования магазина ботами. А еще лучше оптимизацией и сменой хостинга. Пишите в личку.

Не обращайте внимания. Звезда во лбу у человека, ничего не поделаешь. Формат формирования ссылок с гет параметрами выглядит следующим образом. Первичный идентификатор начала get запроса это вопросительный знак, дальше идёт название параметра и значение через равно, все остальные параметры перечисляются через амперсанд. И таки да у тс неправильный вариант. Но захламлять индекс страницами пагинации бесполезное дело. Правда ща прибежит любитель суперклея в ушах со звездой во лбу и с пеной у рта будет рассказывать про каноникал, прев-некст и свою супер сео силу. А всё лишь бы натулить полезные модули.