Rassol2
-
Posts
11,694 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Rassol2
-
На всякий случай уточню почему так. Фото в описании не имеют уникального значения в базе данных по которому можно как то работать с ним. Это просто ссылка на фото которое лежит где то у вас в магазине. А при таком раскладе нет возможности понять 1.png в одном товаре это тоже фото что вы сейчас качаете или это новое фото но с тем же названием. Нет организации фото между товарами и проектами. В такм случаи что бы в одном товаре не вылазили фото от другого товара лучше сразу относится к ним как к уникальным, и каждый раз загружать заново. Так же нет возможности затирать старые по двум причинам. 1) мы не знаем не использовали ли вы это фото где то еше, ну кримере понравилась фото и вы сделали ее главным фотом товара. А мы взяли при обновлении и снесли ее. Не хорошо, а узнать это мы не можем так как нет ссылки на фото в базе, есть просто текст описание с какими то там тегами. 2) опять же не имея ссылки на фото которое лежит отдельно в базе данных я не могу удалить это фото при обновлении.
-
Уже все. Перестал поддерживаться. Я уже занялся протатипированием будущего приложения, и контент довлоадер нерно курит в стороне. По крайне мери в моей голове. Один из планов это запуск приложения с сервера. В консольном режиме. Но это не будет в первых режимах. Контент довлоадер когда то был моим основным приложением для работы. С ним я знаком был хорошо. Ну по крайни мери до версии трех летней давности. И там не все так хорошо было даже в сравнении с текушей версией моего модуля. Но это долгая дискусия.
- 13,559 replies
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Здравствуйте. Быстро не получится. Удалите все таблицы базы данных которые начинаются на oc_pars_ Там все данные модуля. А затем каждый файл по аналогу как они расположены а архиве. По поводу cost эта строка в таблице product добавляется моим модулем, а так же модулями по работе с закупочной ценой. Если у вас установлен какой то модуль закупочной цены он мог добавить эту запись. Это негласный стандарт. Перед тем как удалять сделайте бекап, а то вдруг не то удалите. От себя добавлю. Модуль не выполняет ничего пассивно, что это значит. Пока вы в него не зашли код и база данных никак не влияет на работу сайта. Вообще ни как. По этому достаточно просто про него забыть и это будет тоже самое что его нет у вас. Так что нет никакой необходимости все сносить.
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Здравствуйте. нет такой возможности нет, нужно вносить правки в код модуля, и переделывать представление на странице логов так как логи выводятся в textarea а он не поддерживает стилизацию текста.
-
Не знаю как по мне нет. В php все просто с типизацией данных, ее нет. Так же массивы в php они прекрасны по своей простоте. В питоне Списки Словари Кортежи последовательности. И добавление данных в эти, по сути массивы, везде по разному. Так же и в циклах работать с массивами в php одно удовольствие. В питоне нужно больше контроля. Я не говорю что он хуже в этом плане. Но уж точно сложнее это все охватить. Но это мое субьективное. По этому хучу освоить питон что бы это был мой последний язык программирования который я учу. В дальше просто иметь его в своем арсенале для решения своих задач. Хочеш сайт, пожайлуста. Хочеш скрипт для пк, пожалуйста. Пиложение для пк, тоже можно. Нейросетка, не вопрос. Автоматизация каких то рутинных задач, мы готовы. Как то так.
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Могу ошибаться, но там мошная библиотека bs4 для париснга кода. Но на первом этапе она не поможет Для начала я буду реализовать тот функционал что есть в моем модуле, максимально схоже, что бы все клиенты которые когда либо потратили свое время на понимание моего модуля оказались в знакомой среде, и им не нужно было учится заново. Все механики которые были придуманы они останутся. А значит и настройки параметров парсинга тоже. В дальнейшем конечно да в пайтоне много инструментов которые могут раскрыть процесс парсинга по новому.
- 13,559 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Я же надеюсь все осознаю что если будет то это будет не скоро, так как нужно язык выучить новый. Это как бы не на прогулку сходит. Учитывая что когда я работал над simplepars я посвешал все свободное время, то сейчас буду посвешать все осташаесь время. Да а когда хоть что то появится что можно показать, это не будет вся мощь пайтона в знакомом интерфейсе. Это будет скорее всего приложение с парой кнопок для сбора ссылок с одной двумя настройками. И никакой обработки JS там не будет. Все делается маленькими шагами. Лилипутиками.
- 13,559 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Выбор очевиден ) Из языков обшего назначение которые можно использовать почти в любой сфере, для задач не уровня ААА Есть по сути два языка Python, и JavaScript Не в обиду всем кто любит JS? это мрак. Читаемость около нулевая, количество костылей зашкаливает. Короче у меня с js не любовь с первого взгляда. У питона тоже есть неприятные моменты, но он прекрасен в сравнении с JavaScript
-
Спасибо за предложение но пока сам все. Почему я заговорил об этом. Я по образованию не программист, и php учил для того что бы написать модуль. Ну и много чего узнал. Судить о качестве кода я не буду, явно меня бы застрелили. Но если работает это хорошо. Когда занимался паркингом понял что Python это то что нужно. Язык программирования обшего назначения, если я смогу с ним разобратся тогда по сути у меня будет инструмент который поможет мне автоматизировать многие процессы, чего не мог сделать php в силу того что он придуман исключительно для веба. Так вот написание десктопного парсера мне нужно как обьект на котором я буду учится работать с python Вот по этому я и заговорил о теме, что то для тестов писать нужно, так почему бы не повторить функционал в версии декстопа. Если он будут пользоваться спросом тогда можно будет развивать функционал.
- 13,559 replies
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Можно будет зафигачить и такое. Сейчас в параметрах париснга можно использовать {skip} кстати кто не знал. Это точно не вопрос данной темы, так как я тут говорю про десктопный парсер, который будет просто парсер без огладки на опенкарт. То что у него будет возможность конектится с текущем модулем и взаимодействовать с ним. Это немного другое. То что вы тут пишите это уже про развитие самого модуля SimplePars. Что касается самого модуля SimplePars что бы его развивать для начала нужно переоценить все что есть, и вырезать много рудементов которые уже не состоятельны и развивать их нет смысла. Такие как авторизация. Другие составляющие нужно полностью переписывать под новые реалии. В десктопном варианте этой теме можно дать большой ход. В вебе все упераеться в ограничение времени выполнения срипта, оперативной памяти. на десктопе можно сделать все что угодно. Я когда то пользовался программой контент довлоадер x1 вот то что я начинал делать должно было бы решить многие вопросы той программы. А сейчас насколько я знаю эту программу уже и не развивают.
-
Нужно немного вашего мнения. Хочу поделится тем что было задумано, но не судьба свершится. А так же услышать ваше мнение. Разрабатывать данный модуль мне очень нравилось, и где то к 4 году стало полностью понятно что такому проекту душно в пределах OpenCart и можно было бы реализовать гораздо больше функций по парсингу. К примеру. 1) Парисинг с поддержкой JavaScript 2) Поддержка любых типов авторизации. 3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию. 4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу) 5) Полноценная много поточность. И скорость. 6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок. Но сделать это в пределах OpenCart и PHP невозможно, и я с середины 21 года приступил к изучению новых языков программирования и проектирования нового Десктопного Парсера SimplePars PRO (грустно осознавать что все пошло по *****) Это приложение должно было производить парсинг на компьютере и сохранять данные в разные типы таблиц. Но что бы сделать его реально полезным для всех в планах было реализовать совместимость с SimplePars , по как минимум двум сценариям. 1) Парсится на вашем компе и данные отправляются на ваш сайт и через модуль simplepars данные записываются в базу. 2) парсятся страницы и отправляются на ваш сайт где вы можете просто силами симпле парс обработать все страницы по вашим настройкам. (типо декстопная версия отправляет на сайт веш страни а там все все просто прогоняете. ) Учитывая что это могло работать с Javascript и всеми типами авторизации это был бы сильны инструмент. Из бонуса для всех клиентов SimplePars должно было стать то что приложение будет разработано с аналогичным интерфейсом, и функционалом. То есть все то что вы уже научились делать в вебе было бы применимо и на декстопе. Только быстрее, без ограничений веба и ресурсов. Так же это приложением могли бы работать в режиме консоли, то есть вы его могли бы настроить его, поместить на хостинг указать в кроне запукать, и оно бы делало свою работу. Таковы были планы. Сейчас у меня есть огрызки той программы, она замерла на этапе написания сбора ссылок. Даже этот элемент не готов. Первая реализация должна была повторить фунции что есть в декстопной версии а после уже расширять на работу с js и так далее. Собственно мой вопрос в том. Как часто вы пользуетесь парсингом данных в прайс листы ? Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить. Интересуюсь не с коммерческой целью приложение будет бесплатно раздаваться здесь, по крейне мере пока это будет просто хобби. И сразу говорю, то что я задал этот вопрос это ничего не значит, возможно завтра все круто поменяется и я уже никогда не вернусь к этому вопросу. А возможно буду пилить по версии в год. Все то вы думаете пишите здесь, писать мне в лс по этому вопросу бесполезно, я буду игнорить.
- 13,559 replies
-
- 4
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У крона чуть ниже скорость повторного вызова, но нет полторый минуты и 15 так не должно быть. Полторы в ручном и 2 - 2.5 в кроне думаю это в пределе нормы.
-
дак это ничего не даст. Если у вас все был тот же тариф все тоже и вдруг перестало работать, то тут явно не в тарифе. Лучше думать что что изменилось, после чего произошли изменения. Так же убедится что крон работает через wget И можно самому подергать в ручном режиме понаблюдать как себя ведет. mysate/admin/sp_cron.php
-
Может на хостинге что то поменялось ? Может какие то ошибки появились в логах php Так просто непонятно даже куда смотреть.
-
Нужно больше данных, что делалось что изменилось у вас.
-
Ну с потолка тоже не подскажу, всегда нужно оперится на код.
-
ну вы можете показать свой код, показать как вы сделали регулярку и я вам подскажу где поправить. А вот просто с потолка написать вам ее нет, я не могу.
-
берет скришот всей страницы, что бы видно было браузер строку где видно что вы находитесь на странице с product_id=1364 Просто больше размер сришота. Да это возможно.
-
А вы полный скришот сделайте что бы убедится что вы смотрите правильный товар. Такого не было никогда, и у вас наврядли это впервые проявилось. Модуль коло 2 лет не менял логику.
-
А теперь зайдите в товар, product_id=1364 и посмотрите что у вас в юрл товара. В админке.
-
нет не может, если у вас написано что заполнены сео юрл, то они будет заполнены.
-
Нет такой возможности нет. Модуль создавался для автоматический загрузки данных, в том числе и через АОП а там как раз поддерживается вариант, колонка с названием колонка с значением. Для того что бы записывать значение в отдельную колонку нужно зарание знать столько и каких атрибутов будет. А этой информации нет пока вы не закончите париснг всех страниц. Так что это не возможно. Была идея сделать еше редактор csv и там сделать всякие фунции по работы с таблицами, но как то все не дошло. ...
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Думал, но пока что разработка модуля остановлена.
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Убедитесь что у вас правильно настроены границы парсинга. К примеру повторяющаяся граница парсинга которая берет с с страницы все что заключено между скобками <> в таком случаи у вас может быть граница которая содержит тысячи повторений, и это может выедать вашу память. Аккуратность в настройках границ может помочь в этом вопросе.
-
Если данных нет в коде товара, то нет такие данные не достать.
.thumb.png.b2c3fe7d410a836a3844cfa8bf342adb.png)