Yoda

Мне сложно комментировать ваш пост. Потому как он к прикладной реализации в конкретном проекте не применим. Почему - подумайте сами на досуге. А полемизировать в стиле, а если б да кабы во рту выросли грибы - мне неинтересно. Так же выше я уже описал, что эта проблема решаема и решаема просто, горизонтальным масштабированием.

Для общего развития - задайте себе вопрос: что будет если у вас вдруг окажутся три категории с одинаковым названием ?

А еще сразу стоит подумать про escape($category_name)

Это боты лезут на форму обратной связи. Поставьте туда гугл капчу и все станет ок!

Я же показал количество уникальных генераций страниц. Какие с кешом без кеша. И к чему это "дай"... Прекратите ваши мещанские замашки. Дай - это собрату семак спросите. Или у вокзальных женщин с низкой социальной ответственностью требуйте за пирожок.. ДАЙ! После таких дай, бывает приходит ддос от хейтеров на пару десятков террабайт в день. Спасибо не надо!

Давайте тут не будем светить доменами - я не сайткриатор, чтобы показывать чужие ресурсы без разрешения владельцев. Но если вы считаете что 66 000 страниц пагинации это там не оптимизировано. Ну простите. Мало того на данном проекте вопрос стоит сугубо в горизонтальном масштабировании, если будет желание, можно дробить на бесконечное количество индексов и получать почти линейный прирост в том числе и времени ответа страниц пагинации на 66 тысячах страниц. Все решается, просто всех все устраивает! В целом спасибо за репорт - на момент когда там было 500к ответ и на последней странице был вменяемый.

В нашем очень скромном проекте вот такие цифры за вчера: 162к генераций страниц за сутки: 2 980 000 товаров всего в магазине 1 390 000 товаров в самой большой категории: Время ответа без каких-бы то ни было кешей в этой категории: 220 уникальных элементов значений фильтра в ней же. И огрооооооомный запас прочности и абсолютная стабильность:

Регулярно я вижу это сообщение. "настройте мне сервер, чтобы у меня работали 100 000 товаров на моем неплохом впс сервере". Ну вроде там как бы логично. Хостер заявляет про классные сервера, а фрилансер, который сделал магазин - говорит иди к йоде - он тебе сделает настройку сервера и все полетит задышит. Так вот друзья. Не бывает настроек сервера, которые позволят мертвому магазину, тащить сотню тысяч товаров на ура.. Потому что максимум, что мы можем сделать на сервере, настроить затюнить опкеш, махнуть файловый кеш на хранилище в памяти (не всегда актуально на быстрых впс с NVME), сделать несколько тюнячек для mysql сервера и воткнуть nginx + php-fpm вместо тупорылого апача (не берем во внимание кастомные решения в виде полного нативного кеширования html средствами Nginx, но это опять же кеширование). Там где у вас есть пару сотен онлайна одновременно, там вот есть настройки сервера. Лимиты, максимальное количество коннектов, воркеры nginx, процесс php-fpm. Но в 99% случаев на магазинах где нет и тысячи живых хостов в день - это высшая ненужная кибениматика. И тут вопрос - йодман, шо за дела. Ты же там делаешь быстрые магазины и гнобишь всех разработчиков кешереов. И тут друзья реально да. Я делаю быстрые магазины и гноблю всех разработчиков кешеров, почему, потому что, магазины, которые попадают в мои заботливые руки, потом работают без кешеров, быстрее чем с ними - это раз. А два, кроме быстрой генерации страниц я умею делать и быстрый поиск, и быструю навигацию по товарам в админке и много чего еще. Но суть не в этом... Друзья, настройка сервера - это последняя линия обороны. Важная - но не первичная! Если вы хотите большой магазин на много товаров, вы должны закрыть вопросы "холодной" генерации страниц. А не закешированных версий, почему, потому что это важно для поисковых систем. Яндекс и Гугл - они ходят туда куда хотят, и если у вас страницы не было в кеше, а генерация у нее 5-8 секунд, они больше к вам не придут и страницу выбросят из индекса. Поэтому, если хотите, чтобы ваш большой магазин проиндексировался - вам надо иметь время ответа до секунды на всех страницах, чтобы поисковики не ходили мимо. Как это сделать? В интернете есть масса советов, типа... используйте индексы, используйте кеширование. Но! У нас в опенкарте, нормализованная структура данных, и не нормализованная структура значений для атрибутов. Первая ситуация ограничивает использование индексов при выборке-подсчете товаров в категориях, вторая при выборке подсчете значений фильтров. Если бы у нас был один язык, один магазин и вместо текстовых значений атрибутов была бы нормализованная индексированная таблица с набором id->value(значение атрибута), просто банальным построением индексов в базе и минимальными правками запросов мы бы получали нулевую нагрузку на выборку данных товаров из категорий. Все эти getProducts getTotalProducts - выполнялись за тысячные секунды. Равно как и подсчет атрибутов. Но нет! У нас опенкарт!. У нас есть писатели фильтров, не будем тыкать пальцем, которые умудряются в кеш укладывать десятки тысяч файлов и одно присутствие таких фильтров - это уже тупняк. Зачастую, тюнинг магазина - это разгребание авгиевых конюшен от модулепейсайтелей, а не тюнинг в привычном понимании. Что же делать? Ну нет однозначного ответа и решения. Никогда нет. Иногда бывает достаточно поменять сервер и проставить банальные индексы. Иногда поменять фильтр на Реально - это единственное решение на всем форуме, от автора, который понимает чем нормализованные данные отличаются от денормализованных, и где и какие структуры надо использовать. Несмотря на то что у меня есть масса вопросов к другим аспектам работы его решения, в целом с точки зрения производительности из коробки - это №1! Если вы думаете что MegaFilterPro, который индексирует якобы ваш каталог, и чего-то там долго думает дает производительность - не верьте. Сам по себе Mega фильтр - шикарная штука, но вот эта их индексация мертвому припарка, так как там идет попытка использваняи фулл-текст индексов, а они немного про другое, чем тот процесс, который пытаются решить с их помощью авторы! Лучше бы сегментацию по категориями сделали в выборках всех атрибутов на категорию! Если у вас нет данных и вы торгуете к примеру автозапчястями и вам нужен быстрый старт с поиском по коду детали - вы можете посмотрреть в сторону бесплатного модуля Sphinx: https://www.opencart.com/index.php?route=marketplace/extension/info&extension_id=18266 Который позволит не только выводить поисковые результаты но и весь каталог из сфинкса а не из базы. Да он не будет совместим с фильтрами и поисковые возможности самого модуля на нуле. Но это решение, которое позволит за несколько десятков долларов за внедрение, поднять практически любое количество товаров в магазине. Но как же так получается у нас запускать магазины на 2-3 миллиона товаров и что вот у них все хорошо. Ну по секрету скажу - что случайно) Так получилось, что первый человек с таким запросом - был мой хороший друг, и мы с ним начали работать в формате - ну а давай попробуем, попробовали так и сяк и эдак, стандартными методами не вышло. Те решения, которые работали на 20-30-100к товаров на миллион уже не работали, а тем более на миллион товаров в одной категории. Нам пришлось очень сильно и глубоко раскурить все загадки сфинкса, который позволяет на сегодня держать 300-500 тысяч генераций страниц в день, которые создают боты, при этом - и это важно, имея 5-кратный запас мошности и это на магазине в 2.5 миллиона товаров. Но после того как мы решили вопросы производительности фронта (категории, товары, фильтр, главная страница), возникли и иные вопросы, а именно: обновление цен, добавление новых товаров, манипуляции с заказами в админке, поиск, и так далее. Да и это получилось решить. При чем, решить таким образом, чтобы не уходить от стандартной структуры таблиц Opencart. И еще раз подчеркну... Все решения - это не настройка сервера. Это создание комплекса. Да у нас быстрый и хорошо настроенный сервер, но у нас еще более быстрый и грамотный код. У нас перестроенные запросы в админских моделях. Нам пришлось вскрывать csv import от ионкуба, для того чтобы оптимизировать глупые запросы автора. И да мы получили результат. Есть еще наверное несколько сотен проектов, которые стали быстрые посредством тех или иных решений и технологий, но я всегда стараюсь приводить в пример реальные достижения а не мелкую текучку.... Ну и с чего начал, на том и закончу - не бывает "настройки сервера" от которой ваш магазин вдруг взлетит! И не бывает модулей, которые вжунь и закроют все вопросы производительности. Бывает долгая кропотливая работа по настройке проектов. А те кто думают по другому - могу дать тестовую базу на пару лямов товаров - покажите мне как вы ее запустите на генерацию полмиллиона страниц в день! Ну и как всегда пари платное - 100 000 рублей!

Возьмите любой storage - амазон, или hetzner, сделайте маунт хранилища в качестве дополнитльно диска в VPS. https://wiki.hetzner.de/index.php/Storage_Boxes/ru Перенесите на него исходники картинок. А кеш картинок оставьте на ssd.

Чем отличается от ? https://www.opencart.com/index.php?route=marketplace/extension/info&extension_id=22039&filter_member=OpenCart Brasil

Да что ж ты будешь делать, опять жаднейший скриатор в топе,и его свита. Ну ошибся человек, реши вопрос не жадничай +100 в карму, +1000 лояльности. Вот реально создается впечатление, что в детстве отрубями кормили и на воде и хлебе держали, оно то многое обьясняет, но к шестидесяти годам, можно уже разум заиметь и не быть таким ЖЛОБОМ!

напиши мне, все решим!

Что мне еще сделать, я понимаю, что кому то зудит, за воровство сеопро и он тут бегает ищет нестыковки, но даже в этом комментарии какой то бред душевнобольного. Сходи мальчик, разберись со своей совестью, а потом будешь приходить и нести свой словесный понос. Особенно это вот умилило: 63% пользователей пользуются хромом. Ой https://gs.statcounter.com/ Расскажи дружок, что еще сделать кому... И как? Пруфов нету!! Сплошная мазня! Теперь кроме сикриатора и чукча решил, что чукча решил!

Дополнение к комментарию от @RGB: Возможно, нижеследующий комментарий от @Yoda не выглядел бы настолько неуместным и его автору не советовали бы научиться читать, если бы он прочел не только заголовки записи, но и ее содержание. Однако ради истории мы его тут сохраним в первозданном виде, чтобы все желающие могли ознакомиться с живым примером того, как можно с важным видом спорить с содержанием записи, практически полностью повторяя ее суть в своих же аргументах. Оригинальный комментарий @Yoda следует ниже: Где пруфы, Билли, или опять в стиле сайткриатора, который ссылатеся на мнение сайткриатора, потому что ему что то приснилось? А теперь развенчиваем мифы: а) Как минимум pagespeed учитывает время генерации контента или ttfb. И чем он меньше, тем больше краулингового бюджета на ресурс. Потому как чем тупее магазин, тем больше гугл вас по его мнению ддосит, тем меньше он заходит и наоборот. А чем чаще гугл приходит на ресурс, тем лучше он его индексирует. А также, вот пруф на то что скорость страницы - это ОФИЦИАЛЬНЫЙ фактор ранжирования! б) Быстрый магазин, на котором не тупят странные скрипты, которые не делает 500 обращений к серверу при загрузке контента - он быстрый и удобный для пользователя. И чем он приятней посетителю, тем лучше поведенческие факторы, которые также являются фактором ранжирования! в) Приводить в пример амазон и розетку - это как рассказывать что у ким кардашьян толстая жопа, 100 миллионам подписчиков на это пофиг. Но если мы берем нишевые микромагазины и говорим о том что надо быть чуть лучше чем конкурены - то скорость работы ресурса - это отличный способ с ними бороться! г) Не забываем, что кроме гугла есть еще яндекс, который с недавних пор ввел свою оценку скорости магазинов, которая по алгоритму оптимизации не сильно отличается от гугла и у яши это тоже ранжирующий фактор! Вобщем не стоит уподобляться определенным персонажам ссылающихся в своих домыслах на свои личные фантазии, а стоит сначала следить за официальной документацией.

Я б про редис не стал так утверждать. Для определенных ситуаций, его внедрение может быть очень разумным решением. Только вот на качество работы фронта по мнению pagespeed, он почти никак не влияет!

Мутант-гидроцефал, сочуствую! Завидуй молча, мальчик! Делай дальше свое кукареку, у тебя отлично выходит!

Спасибо что признали что утащили код из сборки и нахально его продаете! И обратитесь к врачу, у вас горячка! Какое турбо. Турбо для 2.1 версии последнее. Свежих апдейтов нет два года...

@Support тут человек попутал форум и порнхаб и занимается публикацией своих эротических фантазий, обратите внимание пожалуйста. И я настаиваю, вместо конструктивного обсуждения проблемы идет передергивание понятий и обсуждение чего угодно кроме вреда от этой фигни!

Да я как посмотрю вы специалист в разного рода языковых работать? Скорее всего вам в семье с детства привили, близки были вопросы низкой социальной ответственности? Возможно вам стоит подумать о смене профессии, уехать в тайланд, сменить пол. Такого острого на язык катоя оценят по достоинству. Я так, на всякий случай подскриню, чтобы не было желания подчистить посты: Первый нешмог! Кто следующий? Господа, вы таки эксперды, или слепые сектанты, которые за вождя тельняшки рвать готовы, или просто проплаченные комментаторы. Что-то кроме невнятных комментариев "как мы счастливы, что нам подсунули пустышку", аргументов я не вижу! Ну и для тех кто не понимает что происходит, просто не надо обманывать людей и рассказывать про максимальные ускорения, которых нет, уникальные технологии, которых нет, про отложенную вставку метрики, которая вредит и так далее. Мне кажется просто sitecreator должен извиниться перед коммьюнити за заведомый обман и прекратить попытки оболванивать людей, которые не сильно в теме. Если помните тут уже были такие хитрые люди, у которых тоже набегали стада ботов и рассказывали, какие у них отличные модули и поддержка, и чувачок с ночным кодом был, который рассказывал что "специалисты по безопасности с марса" говорят что LFI подкладывать - это норма для защиты софта. У меня оччень длинное терпение, друзья! Ну и если кому интересно, то вот что произошло с показателями магазина, после удаления вот этого оптимизатора: Каких вам еще аргументов не хватает ?

Любому человеку, который докажет, что на магазине в котором кроме сайт криатора не было никого и у него посыпались пользовательские показатели после установки его глупого дополнения вот так: Не виноват сайт криатор! Любому человеку, который опровергнет тезис озвученный, не очень грамотным, но иногда чуть чуть понимающим этим персонажем: Даю 50 000 рублей первому, кто опровергнет НА ПРАКТИКЕ! А также принимаю пари, на то, что я приведу в порядок этот магазин и мы получим как минимум цифры до сайткриатора, и лучше процентов на 10. Арбитром призываю @dinox. Депозит за пари уже внес! <!-- ВНИМАНИЕ, господа модераторы, администраторы, хозяева форума!!! В этом посте есть скрин, который явно показывет как это дополнение рушит пользовательские показатели посещений пользователей, после настройки-установки автором этого дополнения! Если вы подумаете меня забанить, еще раз!!! Вы продаете дополнение на своей площадке, которое пессимизирует пользовательские показатели, а автор еще и продвигает этот бред! Имейте совесть и честь разобраться глубже в ситуации!!!! И еще раз повторю, прежде чем меня банить, говорим мне спасибо за марка дыры, а потом думаем, банить меня или нет. Смею заметить, что ни разу на моей памяти ни один мой тезис про некачественных разработчиков не оказался беспочвенным и наша команда имеет достаточно серьезную экспертизу в подобных впросах!--> Так что господа, вы или гавкайте свой бред и не обижайтесь, что вы шавки! Или ответьте деньгами! Потому что вы просто глупая тупая группа поддержки @sitecreator! @Support прошу провести анализ предыдущих комментаторов и принять во внимание, что все комментарии от группы поддержки сайткриатора не имеют под собой никакого фактажа, мы сугубо оперируем фактами. А когда люди безосновательно начинают что-то говорить, они преследуют под своими высказываниями цель - поддержать своего алчного товарища и ввести в заблуждение сообщество а. И говоря литературным языком - это выглядит как собачий лай. Никого не хотел этим обидеть и оскорбить! Уведомляю заранее, дабы не было у администрации желания попользоваться пунктами оферты за оскорбления! А вот чем вы можете попользоватаься - так это проверить все ли из симпатиков сайткриатора купили модуль здесь на форуме и имеют право слепо как однодневные котята топить за его глупости, потому что он выпросил эти отзывы, как попрошайка под церковью, за скидки или бесплатно! И если что у меня есть несколько пруфов, как он это делает выпрашивая как нищий милостыню, умоляет практически на коленях как инвалид, чтобы не публиковали честные цифры про работу его дополнения! Да да. Sitecreator это все потер. Но думаю у форума есть бекапы, и есть почтовые уведомления о сообщениях, и если мы начнем докапываться до истины принципиально, окажется что наша бубочка не такая и пушстая, а очень хищный алчный зверь, который вас здесь всех вертел-шатал ради собственной мелкой выгоды. Я думаю, что если бы у него были дети, инцест для него не был бы табу ради прибыли. Это мои ИМХО!!!

А вы окончание .html добавляете в настройках сео про, или в урл?

Дружище, не могу раздеить твое ГОРЭ, но ступня даже не мизинец, с нынешними протезами ты ок передвигваешься же! И не очень ущербен в целом! Я верю в карму, так что не могу тебе сочуствовать, или жалеть, но больше или меньше ты колхозником же не стал? Когда свалил в деревню!

в диаметре?

Дорогой @dinox, уважаемый @Support, будьте добры. соответсвуйте публичному соглашению и снимите ограниячения с @tomm2001 В данном высказывании ведь напрочь отсуствует угроза. так как по сути человек просто хотел просто пригласить автора на шашлык и по дружески обьяснить как бывает, когда ловят аферистов за руку! Где здесь угрозы друзья? Угроза ведь звучит как: "сайткриатор. мы тебя вывезем в конотоп, привяжем к коню и сожжем", или " наша строительная пена, уже не может ждать,чтобы воссоединиться с твоей прямой кишкой", а здесь абсолютно дружелюбное предложение, сделать митап, обсудить, как у нормальных программистов! Но это уголовно наказуемо! И нельзя так говорить и действовать! Это просто пример того, как могла бы выглядеть угроза!

Дорогой @dinox, дорогие участники сообщества, я не знаю как более явно это описать, но у нас в коммьюнити появился человек, который откровенно пытается заработать на проблемах участников сообщества. предлагая им заведомо некорректное решение! Я знаю, что сейчас в меня полетят лучи добра и тексты из серии конкуренция и все дела! Но, друзья, у меня нет конкуренции, к счастью. У меня ее настолько нет, что я @pmshirshov посоветовал обратиться за оптимизацией магазина к @sitecreator и я даже не ожидал что так в итоге выйдет. А вышло у нас вот что. Некто @sitecreator предоставил решение, которое абсолютно не соответствует заявленным требованиям в описании и не реализует ни на йоту описанные свойства. И кроме того пессимизирует поведенческие факторы магазина! После того как это персонаж не смог решить вопросы моего товарища, он удалил всю переписку, и наглым образом начал очернять меня в его глазах! И после этого!!! Он пригнал стадо своих симпатиков, которые начали рассказывать какое прекрасное у него решение, в виде комментариев от @Panikersha @zvz и @brooks. Дорогой Динокс, я очень надеюсь, что все эти люди реально купили дополнение здесь на площадке, и автор не нарушили пункт 11.4 в котором ясно сказано, что: 1.4. Разработчику запрещено размещать на Платформе сторонние ссылки, объявления о продаже своих услуг, или иным образом использовать Платформу в рекламных целях. В том числе, но не ограничиваясь, Разработчику запрещено оформлять, заполнять Профиль или создавать темы с целью рекламы своих услуг или программного обеспечения, размещенного на сторонних сайтах, если с Компанией не заключен договор об ином. И скорее всего часть из этих симпатиков, повяились здесь в обход этого правила площадки, соответсвенно тем самым нарушив правила оферты, В итоге данный персонаж, мало того что занимается продажами заведомо ложным очковтирательством, еще и нарушает правла соглашения, которые он же сам и подтвердил! Ну и кроме этого напомню пункт оферты: 4.11. Компания может заблокировать или удалить Аккаунт любого Пользователя по собственному усмотрению в случае нарушения этим Пользователем правил данного Договора или общепринятых морально-этичных норм, грубого поведения и/или оскорблений других Пользователей или третьих лиц. Что-то я не вижу особой реакции на нарушение этого пункта пользователем sitecreator. Хотя что там было, жаба, недаквет и тд.. Друзья мои владельцы форума, вы там решите вы за бабки, или за правду!?