Rassol2
-
Публікації
11 576 -
З нами
-
Відвідування
Тип публікації
Профілі
Форум
Маркетплейс
Статті
FAQ
Наші новини
Магазин
Блоги
module__dplus_manager
Усі публікації користувача Rassol2
-
Совет для большинства. Ну или поделюсь опытом. Я как автор хотел бы что бы мой модуль делал все что вы захотите и любые ограничения в нем в первую очередь бьют по мне. Так как это снижает привлекательность моего продукта, так вот именно я тот кто меньше всего хочет их внедрять. И если они есть они обусловлены какими то вескими причинами, не просто так что бы нагадить. Если откатится во времени к моменту внедрения много поточности, то там была большая дискуссия, я проводил много тестов на десятках клинских сайтов, и ограничение в 5 потоков это баланс. До 5 потоков скорость парсинга растет кратно, а от 5 уже не значительно, но при этом нагрузка растет значительно, как и риски блокировок. В общих чертах, в частных случаях и парсинг в 5 потоков может показать худший результат чем в один поток если сильно убогий хостинг у вас или у донора. Лично я парсю, или парсил в такой конфигурации. Если донор знакомый и я с ним работаю постоянно. И я знаю его поведение. Если донор новый, или к примеру какой то из крупных сайтов, где я могу предположить что есть хороший отдел it который не захочет со мной делится информацией. Я парсю в таком конфиге. Эти два конфига я бы назвал базовыми при здоровом парсинге. Но я понимаю что, там где я могу себе позволить делать что то медленно, с минимальными рисками, вы может не захотите или у вас другие требования. Я просто пишу как я поступаю лично. Из прокси у меня есть только один, на тот случай что бы убедится что проблема не в моем ip, как правило в баны не попадаю. Так поступал я когда парсил активно на заказ. Ну и помните, пока вы не создаете проблемы донору, а именно нагрузку, вы никому не интересны. Когда начинаете парсить 50 000 ссылок в 5 потоков, у донора растет нагрузка на веб сервер, и к нему приходит хостер с просьбой перейти на больший тариф или угомонить трафик. И вот тогда донор начнет задумываться что происходить и искать причину и бороться с ней. То есть с вами. Уважайте своего донора и будете жить дружно и долго.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Скрипты дают свободу в решении ваших задач. Просто не стоит в любой непонятной ситуации уповать на них. В данном случаи действительно через скрипты вы не сможете увеличить потоки.
-
И это благополучно не будет работать. По двум причинам. 1) модуль не подает больше 1 ссылки на парасинг когда включены скрипты. 2) при объявлении собственных функций в скриптах если бы работала много поточность, не работал бы модуль. Из за ошибки области видемости переменных. @buslikdrev Я понимаю что вы шарите в пхп и готовы расширять возможности через собственные скрипты. И это похвально. Можете заказы выполнять по написанию скриптов для моего модуля, тут такого много. Но не нужно делать акцен что все через скрипты. А то это уже похоже на поговорку, "если у меня в руках молоток то все вокруг гвозди."
-
Ограничение по потокам тоже через скрипты убирается. Вы уверены ? Просто когда вы включаете скрипты потоки ограничиваются до 1 в независимости от настроек. Мне интересно как вы увеличиваете потоки через скрипты ?
-
@Axelenz Пришлите пару примеров xml с сломанными категориями.
-
С повышением потоков напишу статью. А вот с заметками поиск замене я думаю каждый должен для себя делать такие заметки. Такая статья есть но она обшего плана и сильно хитрые правила не описать в ней так что бы она стала понятна всем. Да и не читают ее если честно. Вот она. https://simplepars.top/index.php?page=note&n=37 Не читают и не смотрят видео по настройкам поиск замены, а эту статью не осиливают даже когда я ее отправляю в ответ на вопрос. Так что большого смысла это не сышит.
-
не не не Вот с вайбером пусть кто то сам. У меня он есть но я туда не захожу. Я сказал кто хочет быстро вязаться, телеграмм а в вайбере я отвечу раз или два в месяц. После двух лет, все нужные люди в телеграмме. Вайбер бесит лагучае гУмно. -
Ну еше не готово, у меня но вот вдумайтесь какой уровень взаимодействия с клиентом. Или отвлеченности можно организовать в телеграмм. Можно записывать что смотрел клиент. Можно напоминать ему о своем существовании через меседжер. Можно делать рассылки и напоминания. Предложение. А еше можно анализировать просмотры запросы и поведение клиентов, группировать их по интересам и делать предложения определенным группам. Допустим у вас есть 1000 клиентов кто покупает одинаковый товар. Допустим тарелки и крушки. И 900 из них, так же покупают салатники. Вы берете 100 клиентов которые не покупают, и присылаете им сообщение. Здравствуйте обратите внимание на данные салатники. И показываете товар. А снизу пишите Мы не хотели вас беспокоить, но они будут чудесно сотрется в сочетании с вашими стаканами и тарелками. Короче можно делать вещи. А главное это в телеграм. Где женщина не пропустить это сообщение как происходит с почтой. Где она может переслать сообщение подругам, мужу обсудить и загореться. Маркетинг становится более технологичным.
-
Я тоже считаю что традиционные интернет магазины горзадо удобнее. А моя бабушка слово интернет не могла выговорить, а мама к примеру до сих пор на покупки через интернет смотри с опаской. А как поведет себя поколоение которое будет сидеть в семеджерах, мне не известно, но вот попробовать подготовится к этому мы можем. Так что что сейчас не идеально может пилится годами и стать неотъемлемой частью жизни через 5-10 лет.
-
Обновление v4.9-8_beta Исправления недочетов в парсинге файлов.
- 13 150 відповідей
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Может позже вернемся к этому вопросу и я сделаю для вас отправку заказа в стандартную систему, но не полноценную а только ту часть что нужно для интеграции с 1с
-
Не это возможно только в далеком будущем когда делать уже будет нечего. Если не будет мелких краткосрочных задач начну реализацию системы рассылок. Что бы можно было устроить современный маркетинг. что бы были рассылки сообщений напоминания, и так далее.
-
Да возможно, но это супер нелогично. я понимаю что вам хочется иметь решение проблемы с кривыми Id категорий, но подымать из за этого целый комплекс поиск замены со всеми вытекающими на подобие. Создания блока для поиск замены в дизайне. Хранить данные в базе. Выводить на странице. Обработка в пред просмотре. Обработка при нарезании. Эксопрт этих настроек. Импорт этих настроек. под каждой из этих строк не малый обьем работы который нужно проделать и учитывать в будущих реализациях. И вот это все еше и не будет работать на весь файл а только на блок категорий. И это еше нужно объяснить клиентам. И самое досадное что это нужно просто что бы удалить parentID="1" в одной категории. Если бы это хоть работало на весь файл, то были бы шансы что данный функционал найдет какое-то применение в будущем а так ….. я может гвоздями в коде прибью что если в категории указан ид родителя а его нет, считать эту категорию самой родительской. и на этом и порешаем. Это если такое будет иметь смысл, я еше не проводил ресерч.
-
Для тех кто хотел поиск замену на весь файл XML. Решил попробовать внедрить и понял почему этого нет)) Если мы хотим сделать поиск замену на весь файл XML где то здесь. То сталкиваемся с большой проблемой. Модуль не держит в памяти сразу весь xml а читает его построчно, а значит нельзя применить правило поиск замены к всему файлу. Так сделано что бы модуль мог обрабатывать файлы большого обьема и не крашится из за нехватки ОЗУ. Так что поиск замену можно применять только к нарезанным товарам. Эта задача тоже пока не реализуем. В теории это можно сделать, но на данный момент цель не оправдывает средства.
-
Обновление v4.9-7_beta 1) Исправлена один недочет в парсинге файлов. 2) Ускорен париснг XML/YML примерно до 20% Просьба, обратит внимание на скорость до обновления и после и описаться. Так как данная инновация не является финальной и все будет зависит от от вас. Если не будет отзывов. Или не будет повышение производительности у вас, тогда данное изменение будет аннулировано. Решение спорное и требует тестов в разных сценариях. Скорость должна увеличится именно на парисинг нарезанных xml файлов. Так же при больших потоках производительность должна повысится.
-
Провел тесты, новой обработки xml думал смогу выжать несколько X скорости, но увы. Если у вас хороших хостинг то прирост скорости будет незначительный. Если у вас слабый хостинг тогда прирост будет кратный. Старая технология. 13466 ссылок ориентировочно будут обработаны через 55 минут и 47 секунд. Новый подход 46 минуты 32 сек на том же обьеме работы. Здесь я попробовал исключить веб запросы при обработке xml, это самое дорогое в парсинге. Дорого как по времени так и по ресурсам. В новом подходе это будет исключено. По мимо прироста скорости должно снизится потребление ресурсов, то есть ниже нагрузка. Что то же должно порадовать обладателей бюджетных хостингов. Собственно прирост на производительном хостинге составил около 17% при понижении потребления, что не может не радовать. Хотя я ожидал большего. Завтра закончу и выложу релиз, а от вас просьба замерить производительность. Так как мои расчеты показывали больший прирост.
-
Что из пожеланий на реализацию следующим ?
-
Не понял что вы имеете в виду.
-
Найден баг. В модуле в последней версии найден баг с загрузкой файлов. Поправлю к следующему обновлении. Сейчас файлы грузятся битые. Обновление попробую сделать сегодня завтра.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Внимание. Мне нужен проект с xml где после делания файла будет 5000 + товаров. Нужно для тестирования ускорения работы парсинга xml. Пришлите готовый проект с настроенным созданием товаров и тд. Буду признателен.
-
Тут я понимаю что мой ответ вам не понравится. Но я вынужден. На данный момент этот вопрос можно решить через поиск замену, а востребованности нет. А значит пока что это не будет внедрено. Возможно в будущем. Это довольно специфический сценарий. И хорошо что вы смогли найти решение через скрипты, дергая логи и так далее. По праву универсальный модуль неправда ли. Изменить это нельзя так как 301 и 302 ответ сервера, это не ошибка это констатация факта того что страница была перенесена. И по подавляющем случаи этот просто перенос. К примеру такой же ответ отдает опенкарт когда вы заходите по query string и вас переадресует на ЧПУ. Из за такой стандартной процедуры записывать в логи ошибку, делать отказ от обработки и помешать ссылку в список не обработанных будет крайне не правильно. Но я рад что вы смогли найти свое личное решение этого вопроса. Это круто. Так и работает рынок. Если есть спрос появляется предложение.
-
@buslikdrev Только желательно конструктивно. Без гибких ответов по типу. А зачем через поиск замену если можно было бы сделать как я показал. Потому что такой ответ не имеет смысла, с таким успехом можно и через поиск замену решить вопрос. В принципе я не против такого функционала, просто пока он не был востребован, в массе своей, и по этому его пока нет.
-
Это не ошибка, это ответ который гласит что страница перенесена на другой адрес, на постоянной основе. Идете в настройки запросов и включаете переход по редиректам. И модуль будет переходит и получать код страницы, и нинужно ни каких спец методов, и скриптов для этого. Это стандартный сценарий. (кроме случаев где есть какой то хитрый код на js с проверкой браузера и получением кук и последующим редиректом) Но в стандартен это обычная ссылка без особенностей. PS. Вы бы с таким рвением как вы лезете в код модуля лезли в настройки и читали что вам доступно. Можете и в код не прийдется смотреть ) По второму вопросу, понятно. Но на всякий случай спрошу, а через поиск замену почему не хотите решить это вопрос ?
-
Не совсем понял что вы имеете в виду. Модуль не удаляет ссылки с ошибками. Если модуль запросил ссылку и в ответе пришла ошибка, то такую ссылку вы можете увидеть в списке. Если я правильно понял что вы имеете в виду. Немного подробнее можете сказать что про что идет речь ? Вы имеете в виду эти поля ?
-
Это не может не радовать. А сбор ссылок делаете через модуль SimplePars если да то напишите как возможно подскажу более быстрый и удобный вариант.
