Jump to content

Recommended Posts

Всем привет !
У меня глобальная проблема с нагрузкой на цп, что бы я не делал все без полезно !
Сама проблема заключается в том что когда яндекс заходит на поддомены (у нас их 100) и начинает грузить их то начинает цп грузить до 90 бывало что до 100 доходило, мы увеличили мощность в 2 раза и того у нас было 4 ядра и гиг озу ( "Вопрос:может быть что иза того что мало озу лагать так ?") и все ровно он грузил до 90% хотя мощность увеличена была в 2 раза, магазин у нас на 2000 товаров и OCstore 2.3. Предлагайте пожалуйста ваши варианты а кто знает причину конкретно и может ее устранить отпишите в лс договоримся)

В настройках яндекс поставили скорость обхода на минимум !


image.png.545c4651b5eb7fab44825a11d1fafe43.png

 

 

 

 

 

image.thumb.png.9defc67019d42fd0b4e7419d73cc55b1.png

Share this post


Link to post
Share on other sites

А с чего взяли что это яндекс ? может вас конкуренты заказали или парсят, от имени яндекс бота ? как анализировали то ?

Share this post


Link to post
Share on other sites

какая разница кто. ответ в логах. нужно сопоставить графики и логи апача, найти из-за чего нагрука а потом уже разбираться. а не озу увеличивать

Share this post


Link to post
Share on other sites

У вас может быть любое количество причин: от очень большого количества дескрипторов сессий, до кривых рук системных администраторов.

Также у вас фактически не 2000 товаров а для поискового бота 2000*100 = 200 000, что само по себе достаточно много. 
К тому же "мы добавили ядра" - а вы систему научили эти ядра правильно использовать? 
Еще. Если посмотреть на ваш график, то явно видно, что у вас существуют некие циклические повторяющиеся процессы, которые скорее всего вызваны какой нибудь генерацией тяжелых скриптов планировщиком. И скорее всего некорректно реализованным планировщиком. 

И напоследок, кроме Яндекса есть еще масса "полезных ботов".

 

Поэтому ваша ситуация это совершенно не проблема, вам достаточно проанализировать паттерн трафика, отследить что создает пики, устранить причину, убрав узкие места и распределив по возможности нагрузку и закрыть все возможные узкие места, создав 60-70% запаса ресурсов от пика, для того чтобы подобная ситуация не повторилась. Если специалисты по свопам не помогут, стукните в начале следующей недели, возможно будет время посмотреть вашу беду.

  • +1 2

Share this post


Link to post
Share on other sites
1 час назад, Yoda сказал:

.... еще масса "полезных ботов"....

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?

Share this post


Link to post
Share on other sites
23 минуты назад, YulanaKiev сказал:

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?


Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

Share this post


Link to post
Share on other sites
4 минуты назад, Yoda сказал:


Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

Возразить нечего, но посмотреть весь бы список...

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By Otvet
      Модуль призван улучшить индексацию. Управляет множеством факторов и решает большой ряд мелких недочетов Opencart.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Что такое продление и для чего: Читаем
       
       
       
      Что делает модуль:
      исправляет косяки вида сайт/категория/инфо которые присутствуют у 99% (пример) редиректы с некорректных страниц по типу сайт/категория/?page=-1 исправление ссылок и багов пагинаций выводить canonical на лишних страницах пагинации позволяет устранить большой ряд дублей фикс большой проблемы опенкарт - "мусорных" ссылок на теги (с версии 5.0) позволяет запретить индексацию страниц-пустышек уникализация мета-теги и заголовки страниц сайт/категория/бренд способствует распределению веса и более полной перелинковке позволяет убрать или управлять выводом атрибутов prev | next  (с 21.03.2018 Google официально перестал учитывать) уникализирует страницы пагинации (они перестают быть дублями), в том числе: шаблоны мета-данных, шаблон заголовков, скрытие/закрытие сквозных блоков валидация и исправление значений стандартных параметров  позволяет гибко управлять выводом canonical, с учетом таких факторов как тип url и путь в url, когда нужно и где нужно управление get-параметрами (редиректы, canonical, seo_pro) позволяет полноценно использовать определенные seo-фильтры позволяет убирать "хвосты" в индексе позволяет блокировать индексации отзывов как отдельного документа и сделать в то же время более полную индексацию отзывов способствует заполнению анкор листа товаров на страницах 2 и далее фикс кучи мелких проблем и недоработок в опенкарт и многое другое  
      Аддоны:
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
      [bonus] Sitemap Lite (OCMOD только для opencart 2.x):
      заменяет оригинальный catalog/controller/feed/google_sitemap.php
      ускоренная генерация благодаря собственной функции выборки товаров (~ в 10 раз) добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro т.к. бонус, не подпадает под стандартную поддержку если нужна скорость, функционал, поддержка - рекомендую приобрести #FX Sitemap  
      Модуль не занимается генерацией ЧПУ. Для автоматического заполнения SEO URL (ЧПУ) можно установить это дополнение: https://opencartforum.com/files/file/2833-автоматическое-заполнение-чпу-ocmod/ и/или https://opencartforum.com/files/file/5570-fx-url-generator-free/
       
       
       
    • By Otvet
      399.00 руб · Срок продления: 50.00 руб за 12 месяцев
      Скачать/Купить дополнение


      [SEO] Full IndeX : Улучшение индексации
      Модуль призван улучшить индексацию. Управляет множеством факторов и решает большой ряд мелких недочетов Opencart.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Что такое продление и для чего: Читаем
       
       
       
      Что делает модуль:
      исправляет косяки вида сайт/категория/инфо которые присутствуют у 99% (пример) редиректы с некорректных страниц по типу сайт/категория/?page=-1 исправление ссылок и багов пагинаций выводить canonical на лишних страницах пагинации позволяет устранить большой ряд дублей фикс большой проблемы опенкарт - "мусорных" ссылок на теги (с версии 5.0) позволяет запретить индексацию страниц-пустышек уникализация мета-теги и заголовки страниц сайт/категория/бренд способствует распределению веса и более полной перелинковке позволяет убрать или управлять выводом атрибутов prev | next  (с 21.03.2018 Google официально перестал учитывать) уникализирует страницы пагинации (они перестают быть дублями), в том числе: шаблоны мета-данных, шаблон заголовков, скрытие/закрытие сквозных блоков валидация и исправление значений стандартных параметров  позволяет гибко управлять выводом canonical, с учетом таких факторов как тип url и путь в url, когда нужно и где нужно управление get-параметрами (редиректы, canonical, seo_pro) позволяет полноценно использовать определенные seo-фильтры позволяет убирать "хвосты" в индексе позволяет блокировать индексации отзывов как отдельного документа и сделать в то же время более полную индексацию отзывов способствует заполнению анкор листа товаров на страницах 2 и далее фикс кучи мелких проблем и недоработок в опенкарт и многое другое  
      Аддоны:
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
      [bonus] Sitemap Lite (OCMOD только для opencart 2.x):
      заменяет оригинальный catalog/controller/feed/google_sitemap.php
      ускоренная генерация благодаря собственной функции выборки товаров (~ в 10 раз) добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro т.к. бонус, не подпадает под стандартную поддержку если нужна скорость, функционал, поддержка - рекомендую приобрести #FX Sitemap  
      Модуль не занимается генерацией ЧПУ. Для автоматического заполнения SEO URL (ЧПУ) можно установить это дополнение: https://opencartforum.com/files/file/2833-автоматическое-заполнение-чпу-ocmod/ и/или https://opencartforum.com/files/file/5570-fx-url-generator-free/
       
       
       
      Добавил Otvet Добавлено 15.08.2015 Категория SEO, карта сайта, оптимизация Системные требования умение читать инструкцию, работающий установщик, iq > 70 Метод активации Автоматическая активация
      Через официальный сайт дополнения Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Нет Старая цена 490  
    • By SirGrey
      Модуль добавляет отдельные страницы для вкладок Характеристики и Отзывы.
      Увеличивает количество страниц в поиске. 
       
      Демо
       
      http://seotabs.simple-opencart.com/macbook/specification/
      http://seotabs.simple-opencart.com/macbook/review/
       
      Возможности
       
      Окончание ЧПУ страниц Совместим со стандартным ЧПУ и SeoPro canonical для SEO страниц Генерация имен Замена H1 Замена Мета Title Замена Мета Description Замена Мета Keywords  
      Модуль работает на стандартном шаблоне.
      Для других шаблонов, вероятно, потребуется адаптация.
       
      По вопрос разработки модуля для других версий OpenCart пишите в личном сообщении.
       
    • By SirGrey
      500.00 руб
      Скачать/Купить дополнение


      SEO Страницы для вкладок товара
      Модуль добавляет отдельные страницы для вкладок Характеристики и Отзывы.
      Увеличивает количество страниц в поиске. 
       
      Демо
       
      http://seotabs.simple-opencart.com/macbook/specification/
      http://seotabs.simple-opencart.com/macbook/review/
       
      Возможности
       
      Окончание ЧПУ страниц Совместим со стандартным ЧПУ и SeoPro canonical для SEO страниц Генерация имен Замена H1 Замена Мета Title Замена Мета Description Замена Мета Keywords  
      Модуль работает на стандартном шаблоне.
      Для других шаблонов, вероятно, потребуется адаптация.
       
      По вопрос разработки модуля для других версий OpenCart пишите в личном сообщении.
       
      Добавил SirGrey Добавлено 14.04.2020 Категория SEO, карта сайта, оптимизация Системные требования Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3 ocStore 3.0
      2.3 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика Нет Старая цена 0  
    • By ceskf
      400.00 руб
      Скачать/Купить дополнение


      Коллекции (каталоги,обложки)
      Коллекции это способ разбивки страницы производителя на под-категории. Несколько раз была задача дорабатывать OpenCart (в основном сайты обоев), где у каждого производителя есть свои коллекции. Поэтому нужно было разбивать страницу производителя на подкатегории(коллекции). В процессе всего создался такой модуль. Может такое уже и есть, я не знаю.
      Будет полезен для продвижения сайта так, как создаются дополнительные посадочные страницы.
      Модуль разработан под стагдартный шаблон OpenCart. Для остальных шаблонов необходима работа верстальщика для подстройки.
      Также работает с SeoUrl и SeoPro.
      Не заменяет никаких файлов.
      ДEMO
      http://opencart.kev-group.com.ua/
      http://opencart.kev-group.com.ua/admin/
      demo
      demo
      Возможности и характеристики:
      - Разбивка страницы производителя на коллекции
      - Страница коллекции
      - Все мета данные для страницы коллекции (мета теги, H1, ЧПУ)
      - Один урл для одной метки
      МОДУЛЬ НЕ РАБОТАЕТ С ФИЛЬТРАМИ
       
      Пока модуль работает не для всех версий. Если будут желающие на другие версии - то будем делать. По всем вопросам и предложениям - пишите.
      Добавил ceskf Добавлено 07.03.2017 Категория Обмен данными Системные требования Сайт разработчика Метод активации Без активации Ioncube Loader Нет OpenCart ocStore OpenCart.Pro, ocShop Обращение к серверу разработчика Старая цена 450  
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.