Перейти к содержанию

Рекомендуемые сообщения

Всем привет !
У меня глобальная проблема с нагрузкой на цп, что бы я не делал все без полезно !
Сама проблема заключается в том что когда яндекс заходит на поддомены (у нас их 100) и начинает грузить их то начинает цп грузить до 90 бывало что до 100 доходило, мы увеличили мощность в 2 раза и того у нас было 4 ядра и гиг озу ( "Вопрос:может быть что иза того что мало озу лагать так ?") и все ровно он грузил до 90% хотя мощность увеличена была в 2 раза, магазин у нас на 2000 товаров и OCstore 2.3. Предлагайте пожалуйста ваши варианты а кто знает причину конкретно и может ее устранить отпишите в лс договоримся)

В настройках яндекс поставили скорость обхода на минимум !


image.png.545c4651b5eb7fab44825a11d1fafe43.png

 

 

 

 

 

image.thumb.png.9defc67019d42fd0b4e7419d73cc55b1.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А с чего взяли что это яндекс ? может вас конкуренты заказали или парсят, от имени яндекс бота ? как анализировали то ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

какая разница кто. ответ в логах. нужно сопоставить графики и логи апача, найти из-за чего нагрука а потом уже разбираться. а не озу увеличивать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У вас может быть любое количество причин: от очень большого количества дескрипторов сессий, до кривых рук системных администраторов.

Также у вас фактически не 2000 товаров а для поискового бота 2000*100 = 200 000, что само по себе достаточно много. 
К тому же "мы добавили ядра" - а вы систему научили эти ядра правильно использовать? 
Еще. Если посмотреть на ваш график, то явно видно, что у вас существуют некие циклические повторяющиеся процессы, которые скорее всего вызваны какой нибудь генерацией тяжелых скриптов планировщиком. И скорее всего некорректно реализованным планировщиком. 

И напоследок, кроме Яндекса есть еще масса "полезных ботов".

 

Поэтому ваша ситуация это совершенно не проблема, вам достаточно проанализировать паттерн трафика, отследить что создает пики, устранить причину, убрав узкие места и распределив по возможности нагрузку и закрыть все возможные узкие места, создав 60-70% запаса ресурсов от пика, для того чтобы подобная ситуация не повторилась. Если специалисты по свопам не помогут, стукните в начале следующей недели, возможно будет время посмотреть вашу беду.

  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, Yoda сказал:

.... еще масса "полезных ботов"....

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
23 минуты назад, YulanaKiev сказал:

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?


Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 минуты назад, Yoda сказал:


Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

Возразить нечего, но посмотреть весь бы список...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От Otvet
      320.00 руб · Срок продления: 100.00 руб за 12 месяцев
      Скачать/Купить дополнение


      [SEO] Full IndeX : Улучшение индексации

      Основа:
       
      Не забудьте указать домен при покупке!
      Что такое продление и для чего: Читаем
       
       
       
      Модуль помогает улучшить индексацию, более продуктивно "прокачать"1 товары и решить проблему дублирования2 страниц постраничной навигации, что позволяет поднять в выдаче НЧ-запросы страниц товаров расположенных на удаленных страницах. Управлять множеством факторов и решает ряд недочетов в Opencart.
       
       
       
       
      Что делает модуль:
      позволяет устранить большой ряд дублей способствует распределению веса и более полной перелинковке позволяет гибко управлять выводом атрибутов prev | next и правильно объединять страницы в одну цепочку  по рекомендации google уникализирует страницы (они перестают быть дублями), в том числе: шаблоны мета-данных, шаблон заголовков, скрытие/закрытие сквозных блоков валидация и исправление значений стандартных параметров позволяет гибко управлять выводом canonical, с учетом таких факторов как тип url и путь в url, когда нужно и где нужно способствует полноценной индексации товаров при отсутствии sitemap (либо когда не принимается яндексом из-за размера) управление get-параметрами (редиректы, canonical, seo_pro) позволяет полноценно использовать seo-фильтры позволяет убирать "хвосты" в индексе позволяет блокировать индексации отзывов как отдельного документа и сделать в то же время более полную индексацию отзывов способствует заполнению анкор листа товаров на страницах 2 и далее посадочные страницы категория/бренд, для исключения дублей и использования в продвижении исправление ссылок и багов пагинаций фикс кучи мелких проблем и недоработок в опенкарт и многое другое  
      ЕЩЕ больше функционала:
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
      [bonus] Sitemap Lite (OCMOD для opencart 2.x):
      заменяет оригинальный catalog/controller/feed/google_sitemap.php
      ускоренная генерация благодаря собственной функции выборки товаров (~ в 10 раз) добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro т.к. бонус, не подпадает под стандартную поддержку  
      Для автоматического заполнения SEO URL (ЧПУ) можно установить это дополнение: https://opencartforum.com/files/file/2833-автоматическое-заполнение-чпу-ocmod/ и/или https://opencartforum.com/files/file/5570-fx-url-generator-free/
       
      Преимущества перед закрытием страниц в robots.txt
      Преимущества перед директивой noindex (no)follow
      Преимущества перед простым открытием страниц для индексации
      Преимущества перед директивой canonical
      Для проверки работы после установки напишите адрес сайта в ЛС автору
      "Цитаты великих" или "А нужен ли модуль?"
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
       
      1 - Обособленные страницы (доступные только через sitemap) не получают статический вес [PR] и имеют пустой анкор-лист.
      2 - Чем плохи дубли:
      ухудшают и замедляют индексацию потеря веса (pagerank) "основной" страницей категории/производителя часть товаров не могут получить внутренний вес ______________________________________________________
      Добавил Otvet Добавлено 15.08.2015 Категория SEO, карта сайта, оптимизация Системные требования умение читать инструкцию, работающий установщик Сайт разработчика http://full-index.ru Старая цена 399 Метод активации По запросу в ЛС
      По запросу на почту
      Автоматическая активация
      Через официальный сайт дополнения Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х  
    • От Otvet
      Основа:
       
      Не забудьте указать домен при покупке!
      Что такое продление и для чего: Читаем
       
       
       
      Модуль помогает улучшить индексацию, более продуктивно "прокачать"1 товары и решить проблему дублирования2 страниц постраничной навигации, что позволяет поднять в выдаче НЧ-запросы страниц товаров расположенных на удаленных страницах. Управлять множеством факторов и решает ряд недочетов в Opencart.
       
       
       
       
      Что делает модуль:
      позволяет устранить большой ряд дублей способствует распределению веса и более полной перелинковке позволяет гибко управлять выводом атрибутов prev | next и правильно объединять страницы в одну цепочку  по рекомендации google уникализирует страницы (они перестают быть дублями), в том числе: шаблоны мета-данных, шаблон заголовков, скрытие/закрытие сквозных блоков валидация и исправление значений стандартных параметров позволяет гибко управлять выводом canonical, с учетом таких факторов как тип url и путь в url, когда нужно и где нужно способствует полноценной индексации товаров при отсутствии sitemap (либо когда не принимается яндексом из-за размера) управление get-параметрами (редиректы, canonical, seo_pro) позволяет полноценно использовать seo-фильтры позволяет убирать "хвосты" в индексе позволяет блокировать индексации отзывов как отдельного документа и сделать в то же время более полную индексацию отзывов способствует заполнению анкор листа товаров на страницах 2 и далее посадочные страницы категория/бренд, для исключения дублей и использования в продвижении исправление ссылок и багов пагинаций фикс кучи мелких проблем и недоработок в опенкарт и многое другое  
      ЕЩЕ больше функционала:
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
      [bonus] Sitemap Lite (OCMOD для opencart 2.x):
      заменяет оригинальный catalog/controller/feed/google_sitemap.php
      ускоренная генерация благодаря собственной функции выборки товаров (~ в 10 раз) добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro т.к. бонус, не подпадает под стандартную поддержку  
      Для автоматического заполнения SEO URL (ЧПУ) можно установить это дополнение: https://opencartforum.com/files/file/2833-автоматическое-заполнение-чпу-ocmod/ и/или https://opencartforum.com/files/file/5570-fx-url-generator-free/
       
      Преимущества перед закрытием страниц в robots.txt
      Преимущества перед директивой noindex (no)follow
      Преимущества перед простым открытием страниц для индексации
      Преимущества перед директивой canonical
      Для проверки работы после установки напишите адрес сайта в ЛС автору
      "Цитаты великих" или "А нужен ли модуль?"
       
      Для более продуктивной борьбы с дублями так же крайне желательно наличие SEO_Pro и правильного robots.txt
       
       
      1 - Обособленные страницы (доступные только через sitemap) не получают статический вес [PR] и имеют пустой анкор-лист.
      2 - Чем плохи дубли:
      ухудшают и замедляют индексацию потеря веса (pagerank) "основной" страницей категории/производителя часть товаров не могут получить внутренний вес ______________________________________________________
    • От ceskf
      400.00 руб
      Скачать/Купить дополнение


      Коллекции (каталоги,обложки)
      Коллекции это способ разбивки страницы производителя на под-категории. Несколько раз была задача дорабатывать OpenCart (в основном сайты обоев), где у каждого производителя есть свои коллекции. Поэтому нужно было разбивать страницу производителя на подкатегории(коллекции). В процессе всего создался такой модуль. Может такое уже и есть, я не знаю.
      Будет полезен для продвижения сайта так, как создаются дополнительные посадочные страницы.
      Модуль разработан под стагдартный шаблон OpenCart. Для остальных шаблонов необходима работа верстальщика для подстройки.
      Также работает с SeoUrl и SeoPro.
      Не заменяет никаких файлов.
      ДEMO
      http://opencart.kev-group.com.ua/
      http://opencart.kev-group.com.ua/admin/
      demo
      demo
      Возможности и характеристики:
      - Разбивка страницы производителя на коллекции
      - Страница коллекции
      - Все мета данные для страницы коллекции (мета теги, H1, ЧПУ)
      - Один урл для одной метки
      МОДУЛЬ НЕ РАБОТАЕТ С ФИЛЬТРАМИ
       
      Пока модуль работает не для всех версий. Если будут желающие на другие версии - то будем делать. По всем вопросам и предложениям - пишите.
      Добавил ceskf Добавлено 07.03.2017 Категория Обмен данными Системные требования Сайт разработчика Старая цена 450 Метод активации Без активации Ioncube Loader Нет OpenCart ocStore OpenCart.Pro, ocShop  
    • От Ngreen
      Всем доброго времени суток! Прошу помочь с настройкой страниц пагинации. Хочу отредактировать правила их оптимизации.
      Где в Opencart 2.1 искать файлы, в которых можно добавить атрибуты rel=prev|next для страниц категорий, каталога, проиводителей?
      Думаю, эта тема поможет многим.
    • От AllaRaud
      Добро время суток, кто подскажет как сделать кнопки перелистывания страниц товаров стрелочками а не словами???
      Спасибо за подсказку)
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.