Оптимизация сайта под большое кол-во товаров

[Rotarymonkey]

В итоге после восстановления подсчета количества товаров, нагрузка на БД выросла.

Как раз около 15 часов я все восстановил. Нагрузка до 15 часов в среднем около 100 после 15 около 400...нельзя так оставлять.

Скачек вчера вечером был связан с проблемами на стороне хостера.

Змінено 25 вересня 2015 користувачем Rotarymonkey

[markimax]

Что вы вообще принимаете за "нагрузку" ?

Количество запросов ?
Ну так они в opencart легкие.
Архитектура MySQL такова- лучше 10 легких запросов, чем один монстр с кучей LJ или UNION

[Rotarymonkey]

У меня проблема в том, что сервер может заниматься моими запросами лишь 5000 секунд в сутки. Когда каждый час он тратит по 400-500 секунд, сервер перегружается и в конечном итоге хостер ставит на меня фильтр.

У меня есть задача - снизить эту нагрузку на их сервер, чтобы нормально существовать. В связи с этим вопрос, можно ли это сделать? И если да, то сколько будут стоить услуги человека, который сможет это сделать?

[markimax]

У меня проблема в том, что сервер может заниматься моими запросами лишь 5000 секунд в сутки. Когда каждый час он тратит по 400-500 секунд, сервер перегружается и в конечном итоге хостер ставит на меня фильтр.

У меня есть задача - снизить эту нагрузку на их сервер, чтобы нормально существовать. В связи с этим вопрос, можно ли это сделать? И если да, то сколько будут стоить услуги человека, который сможет это сделать?

Да это просто смешно. Хостера меняйте

5000 секунд на запросы в сутки ? Занавес  :ugeek:

И наверняка сам ставит же задержки выполнения запросов!

Вымогатели

 

Не "уговаривали" вас взять VPS еще ?

У нормальных хостеров стоят 20 магазинов на одном простом аккаунте и у всех opencart и нагрузка приличная

И как то тянут, 20, Карл, 20 магазинов (на некоторых по 10`000 товаров без кешировщиков и opencart не ломают)  opencart, фактически на обычном аккаунте

Ну чуть дороже, чем дилетантские хостеры, но не намного же

 

[rootman]

У меня есть задача - снизить эту нагрузку на их сервер, чтобы нормально существовать. В связи с этим вопрос, можно ли это сделать? И если да, то сколько будут стоить услуги человека, который сможет это сделать?

Хостера Вам конечно нужно поменять. Была как-то похожая проблема у заказчика с магазином, но там было категорий за 500 - и этого было достаточно, чтобы страница, где выводился модуль категорий, открывалась 5-10 секунд. Проблема тут в том, что сам запрос к БД используется общий - то есть в ходе запроса Вы получаете все данные, а не только те, что Вам нужно. К примеру, в случае с категориями, Вы получаете не только их названия, но и их описания  - и если они заполнены - это солидный объём данных, который в данном случае был не нужен. Короче, самое простое и очевидное - кешировать результаты запроса в файл и в случае следующего запроса брать данные не из БД, а из файла. Это снизит нагрузку, да и вообще, будет работать быстрее. Можно написать для этого свой костыль (как я и делал в своё время), но в OpenCart есть свой класс кеширования - можно попробовать задействовать его для этого.  

[AlexDW]

Боже спаси меня от бесплатных советчиков с форума, поливающих грязью не разбираясь всех подряд.

А топикстартеру поделаю найти вменяемого человека, который разберется с его проблемой, но уже не в рамках форума.

Ибо проблема его вовсе никакая не проблема, несмотря на то что тут уже даже придумали какую-то задержку в очереди у хостера.

 

месье что-то знает, чего не ведают остальные? ;)

знаете корень зол ТСа - так помогите

 

как по мне, так уже вмешательство "сотрудников" хостера в файлы движка (см.выше) - это уже полный атас

[chukcha]

Что вы вообще принимаете за "нагрузку" ?

Количество запросов ?

Ну так они в opencart легкие.

Архитектура MySQL такова- лучше 10 легких запросов, чем один монстр с кучей LJ или UNION

И где в OC есть куча UNION? (есть один супер наворочный модуль, который ради 4 записей делает union)

LEFT JOIN, в основном, связан с мултиязычностью и мултиStore. До 5-ти джойнов (есть исключения), которые трансформируются в join'ы

[Rotarymonkey]

Не хочется сейчас хватать мешки и бежать от жостера, на аккаунте все-таки и бабульки остаются. Да и геморрой это, смена хостинга. Убежал вначале лета с джино, сейчас опять?

Хочется попробовать решить проблему внутри этого хостинга. Сейчас попробую кешер установить и через пару часов видео будет помогло ли.

[chukcha]

 

то есть в ходе запроса Вы получаете все данные, а не только те, что Вам нужно.

SELECT *

SELECT field1, field2

 

Не вижу проблем в быстродействии - это может повлиять на используемую память, но если посмотреть размер кешированных данных, то можно увидеть, что размер этих данных не так уж и велик.

Даже их можно просчитать -  getProducts при limit 20 будет больше 65к * 20 ~ 1.5mb при максимальной заполненности карточки товара, а на самом деле намного меньше.

+ Если уж сильно забитый модулями   то и таблица settings - Это минимальная память

+ утроенная память(может меньше) за счет различного рода пересылок массивов.

+ нагрузка на процессор, абсолютно несвязанная с математическими расчетами, а только обработка циклов и массивов.

Самую большую нагрузку может дать карта сайта - необходимость в преобразовании url (при большом количестве товаров, категорий и прочих участвующих в формировании карты).

 

Но.. Если товаров много, то не может быть речи об обыкновенном дешевом шарингтарифе.

 

А ТС - сменить хостинг/тариф.

[markimax]

...

Только вот у других хостеров без кеша крутятся магазины  opencart с 5k или 10k с подсчетом категорий и все норм - до секунды и никаких "ограничений" секунд нету.

Хотя если честно подозреваю виновника - какой нибудь модуль меню (с подсчетом) с не оптимизированным запросом

[markimax]

Именно так. Виновник не сам opencart, а то что в нем наворотили потом. И уж тем более хостер не виноват

Хостер виноват что полез не зная в чем проблема и решить не смог, а только поломал все.

Это раз.

Второе - что это за ограничения такие? 5000 секунд в сутки на выполнение запросов

Я встречал и разговаривал с хостерами.

Да они ставят задержки  выполнения запросов как к серверу, так и для mysql, когда они превышают порог очереди

Да, именно так и есть. И причем они могут повысить этот "порог" вам.

Все это сделано в целях защититься от DDoS и нагрузки на сервер

И это подтвердил сам хостер

[AlexDW]

..сотрудники хостера часто так делают, если видят что клиент паникует и уже пора помочь клиенту хоть чем то. Что вполне обоснованно, учитывая что ТС уже месяц теребонькает саппорт за все места.

 

уж если дошло до подобной крайности - должны были либо файлы забекапить и указать путь к ним, либо подробно расписать где и что именно меняли

а то, судя по сообщениям ТС - ни того, ни другого плюс пагинация слетела

 

в общем, настораживает такой хостер :ugeek:

[markimax]

уж если дошло до подобной крайности - должны были либо файлы забекапить и указать путь к ним, либо подробно расписать где и что именно меняли

а то, судя по сообщениям ТС - ни того, ни другого плюс пагинация слетела

 

в общем, настораживает такой хостер :ugeek:

Так, да! К примеру мой хостер и не спрашивает - каждую ночь сам бекапит сервер и все сайты на нем

Чуть проблема - запрос, минута и сайт поднят

Причем бекапы хранятся в пределах видимости FTP аккаунта, т е  можно и самому поднять

 

[Rotarymonkey]

Уважаемые формучане, напишите, пожалуйста, свой ценник за оптимизацию работы моего сайта. Я хочу попробовать решить проблему оставаясь на этом хостинге, если не удастся, то менять

Змінено 25 вересня 2015 користувачем Rotarymonkey

[Otvet]

Для начала хоть индексы проставили?

[neonox]

Вам хочется тратить деньги на оптимизацию, чтобы потом Вам сказали: "Меняйте хостера"? Конечно клиент всегда прав и любой каприз за Ваши деньги. Уже многие посоветовали изменить хостера.

Поменять хостера выйдет дешевле, чесн слово)

Змінено 25 вересня 2015 користувачем neonox

[afwollis]

1. осмотреть - стоит денег;

2. проанализировать имеющуюся информацию/настройки - стоит денег;

3. настроить получение дополнительной информации - стоит денег;

4. предложить вариант(ы) решения - бесплатно;

5. внедрить какой-то вариант - стоит денег;

6. проверить результат(ы) - стоит денег

- если порядок - end;

- если остались какие-то проблемы - начинаем заново с п.2.-3.

ну а "кол-во денег" у каждого исполнителя разное...

т.е. если не готов к тому, что придется вбахать $200 (к примеру) на анализ, а потом услышать "надо переезжать / менять тариф" (так сказать "не получить исправлений") - будет тяжко и долго. или вообще с месте не двинется проблема.

[markimax]

Rotarymonkey > А какой модуль "меню" стоит

[Rotarymonkey]

Rotarymonkey > А какой модуль "меню" стоит

Родной, если я все правильно понимаю

[markimax]

Родной, если я все правильно понимаю

Хорошо .... с другой стороны пойдем вопросом - тема какая ?

[Rotarymonkey]

Тема не дефолтная.

[neonox]

Может быстрее и проще сайт нам показать?)

[Rotarymonkey]

Pro-konditer.com

[neonox]

Повторю вопрос Otvet, индексы добавляли в таблицы БД?

[Rotarymonkey]

Повторю вопрос Otvet, индексы добавляли в таблицы БД?

Индексы добавил так же админ хостинга в таблицу oc_url_alias.

Сам я не добавлял никаких индексов. Что касается БД, тут я совсем ничего не понимаю:)