Rassol2
-
Posts
11,734 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Rassol2
-
Можно будет зафигачить и такое. Сейчас в параметрах париснга можно использовать {skip} кстати кто не знал. Это точно не вопрос данной темы, так как я тут говорю про десктопный парсер, который будет просто парсер без огладки на опенкарт. То что у него будет возможность конектится с текущем модулем и взаимодействовать с ним. Это немного другое. То что вы тут пишите это уже про развитие самого модуля SimplePars. Что касается самого модуля SimplePars что бы его развивать для начала нужно переоценить все что есть, и вырезать много рудементов которые уже не состоятельны и развивать их нет смысла. Такие как авторизация. Другие составляющие нужно полностью переписывать под новые реалии. В десктопном варианте этой теме можно дать большой ход. В вебе все упераеться в ограничение времени выполнения срипта, оперативной памяти. на десктопе можно сделать все что угодно. Я когда то пользовался программой контент довлоадер x1 вот то что я начинал делать должно было бы решить многие вопросы той программы. А сейчас насколько я знаю эту программу уже и не развивают.
-
Нужно немного вашего мнения. Хочу поделится тем что было задумано, но не судьба свершится. А так же услышать ваше мнение. Разрабатывать данный модуль мне очень нравилось, и где то к 4 году стало полностью понятно что такому проекту душно в пределах OpenCart и можно было бы реализовать гораздо больше функций по парсингу. К примеру. 1) Парисинг с поддержкой JavaScript 2) Поддержка любых типов авторизации. 3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию. 4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу) 5) Полноценная много поточность. И скорость. 6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок. Но сделать это в пределах OpenCart и PHP невозможно, и я с середины 21 года приступил к изучению новых языков программирования и проектирования нового Десктопного Парсера SimplePars PRO (грустно осознавать что все пошло по *****) Это приложение должно было производить парсинг на компьютере и сохранять данные в разные типы таблиц. Но что бы сделать его реально полезным для всех в планах было реализовать совместимость с SimplePars , по как минимум двум сценариям. 1) Парсится на вашем компе и данные отправляются на ваш сайт и через модуль simplepars данные записываются в базу. 2) парсятся страницы и отправляются на ваш сайт где вы можете просто силами симпле парс обработать все страницы по вашим настройкам. (типо декстопная версия отправляет на сайт веш страни а там все все просто прогоняете. ) Учитывая что это могло работать с Javascript и всеми типами авторизации это был бы сильны инструмент. Из бонуса для всех клиентов SimplePars должно было стать то что приложение будет разработано с аналогичным интерфейсом, и функционалом. То есть все то что вы уже научились делать в вебе было бы применимо и на декстопе. Только быстрее, без ограничений веба и ресурсов. Так же это приложением могли бы работать в режиме консоли, то есть вы его могли бы настроить его, поместить на хостинг указать в кроне запукать, и оно бы делало свою работу. Таковы были планы. Сейчас у меня есть огрызки той программы, она замерла на этапе написания сбора ссылок. Даже этот элемент не готов. Первая реализация должна была повторить фунции что есть в декстопной версии а после уже расширять на работу с js и так далее. Собственно мой вопрос в том. Как часто вы пользуетесь парсингом данных в прайс листы ? Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить. Интересуюсь не с коммерческой целью приложение будет бесплатно раздаваться здесь, по крейне мере пока это будет просто хобби. И сразу говорю, то что я задал этот вопрос это ничего не значит, возможно завтра все круто поменяется и я уже никогда не вернусь к этому вопросу. А возможно буду пилить по версии в год. Все то вы думаете пишите здесь, писать мне в лс по этому вопросу бесполезно, я буду игнорить.
- 13,701 replies
-
- 4
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У крона чуть ниже скорость повторного вызова, но нет полторый минуты и 15 так не должно быть. Полторы в ручном и 2 - 2.5 в кроне думаю это в пределе нормы.
-
дак это ничего не даст. Если у вас все был тот же тариф все тоже и вдруг перестало работать, то тут явно не в тарифе. Лучше думать что что изменилось, после чего произошли изменения. Так же убедится что крон работает через wget И можно самому подергать в ручном режиме понаблюдать как себя ведет. mysate/admin/sp_cron.php
-
Может на хостинге что то поменялось ? Может какие то ошибки появились в логах php Так просто непонятно даже куда смотреть.
-
Нужно больше данных, что делалось что изменилось у вас.
-
Ну с потолка тоже не подскажу, всегда нужно оперится на код.
-
ну вы можете показать свой код, показать как вы сделали регулярку и я вам подскажу где поправить. А вот просто с потолка написать вам ее нет, я не могу.
-
берет скришот всей страницы, что бы видно было браузер строку где видно что вы находитесь на странице с product_id=1364 Просто больше размер сришота. Да это возможно.
-
А вы полный скришот сделайте что бы убедится что вы смотрите правильный товар. Такого не было никогда, и у вас наврядли это впервые проявилось. Модуль коло 2 лет не менял логику.
-
А теперь зайдите в товар, product_id=1364 и посмотрите что у вас в юрл товара. В админке.
-
нет не может, если у вас написано что заполнены сео юрл, то они будет заполнены.
-
Нет такой возможности нет. Модуль создавался для автоматический загрузки данных, в том числе и через АОП а там как раз поддерживается вариант, колонка с названием колонка с значением. Для того что бы записывать значение в отдельную колонку нужно зарание знать столько и каких атрибутов будет. А этой информации нет пока вы не закончите париснг всех страниц. Так что это не возможно. Была идея сделать еше редактор csv и там сделать всякие фунции по работы с таблицами, но как то все не дошло. ...
- 13,701 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Думал, но пока что разработка модуля остановлена.
- 13,701 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Убедитесь что у вас правильно настроены границы парсинга. К примеру повторяющаяся граница парсинга которая берет с с страницы все что заключено между скобками <> в таком случаи у вас может быть граница которая содержит тысячи повторений, и это может выедать вашу память. Аккуратность в настройках границ может помочь в этом вопросе.
-
Если данных нет в коде товара, то нет такие данные не достать.
-
{reg[#^\S+#]}|
- 13,701 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Половина победы зависит от грамотно заданного вопроса. Но мне кажется ответ на этот вопрос есть давно вот здесь. Если нет пишите еше раз https://simplepars.top/index.php?page=note&n=43
- 13,701 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Значит что то у вас не так на сайте, напишите мне в личные сообщения где вы приобретали модуль и номер заказа. Так как вас нет в списке покупателей модуля на данной площадке. И я по мере свободного времени посмотрю что у вас.
-
Здравствуйте. Напишите мне в личные сообщения где вы приобретали модуль, и номер заказа, так как вас нет в списке покупателей модуля на данной площадке.
-
Ну чуть больше шагов, любое решение это набор компромиссов с чемто ... Главное что у вас вышло решить ваш вопрос.
-
Дак а что мешает править там где я написал разницу нет какое значение в массиве править
-
@farshmacПосмотрел по коду и понял где ошибка. В скрипт передаются данные которые были подготовлены для загрузки в товар, и так же передаются все границы парсинга. И действительно после изменения данные в границы парсинга возвращаются измененные, но они уже не участвуют в формировании товара. То есть данные с границ париснга уже расставлены на свои места и переданы в товар в массиве form и так же отдельно передаются все что есть в разных границах для всяких манипуляций в скриптах. Так что вам нужно в этом случаи редактировать $script_data['form']['price'] Либо полностью переложить логику работы с ценой с модуля на ваш собственный алгоритм в скрипте.
-
Здравствуйте. Записалось оно так как это показано в лоагх модуля, а вот возможно у вас с отображением проблемы. В таком случаи я бы рекомендовал вам проверить имена опций в базе данных, что туда не попали ни какие спец символы и теги html
- 13,701 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Добрый нет, не будет. Поддержки php 8 в модуле нет.
