-
Posts
752 -
Joined
-
Last visited
About Axelenz
- Birthday 09/21/1966
Technical support
-
Status
Работаю
-
Other
telegram:Axelenz Парсинг сложных сайтов, регулярные выражения, настройка модулей SimplePars и АОП
Information
-
Gender
Мужчина
-
City:
Все буде Україна!
-
Interests
freelance
Recent Profile Visitors
11,986 profile views
Axelenz's Achievements
-
Немного подобное я у себя на локалке реализовывал, парсил практически всё, что только открывается в браузере, а потом скармливал эти страницы SimplePars. Скорость конечно не та... но зато обходит любые защиты... Для рядового пользователя это конечно вряд ли пригодится, а вот для исполнителей вещь нужная. Интересно было бы расширение в плане, что границы можно как угодно расписать, например, используя разную логику... ЕСЛИ, ИЛИ... Если НЕТ чего-то, то границу брать вот эту, а если ЕСТЬ что-то, то границу берём другую... Может и не совсем понятно расписал, если коротко: расширить возможности границ, сделать их ещё гибче... Зачем это нужно... Постоянно парсю некоторые маркеты и сайты на одних и тех же CMS и получается, что у сайтов коды как бы и похожи, но могут отличаться совсем незначительно... т.е. интересно было бы взять уже известный набор вариантов границ для одного маркета и сразу вставить его, понять, какой именно вариант модуль выбрал и не заглядывать даже в код ) Можно так создать такую себе мини-базу вариантов парсинга границ определённой CMS или маркета... Добавил бы больше "человеческого фактора" в работу модуля... в эти поточности... Рандомные задержки хорошо, я бы ещё добавил типа перерывов рандомных, которые уже измеряются не секундами, а минутами. Сколько их делать в течение часа и на сколько минут... от 1 мин до 60 минут максимум. При такой логике работы на порядок сложнее будет вычислить работу парсинга... Постоянно делаю прайсы с помощью модуля... Хватает и тех возможностей, что есть уже, но если это возможно ещё больше расширить, то будет просто шикарно... Чего не хватает и приходится использовать другие модули. Работа с товарами, которые уже есть в базе. Этого функционала много никогда не бывает... Понятно, что SimplePars это не Batch Editor но всё же есть куда расширяться. Вещи, которые практически всегда необходимы: работа с акциями и скидками, датами их начала и конца, фиктивные разные наценки/скидки по типу, как у АОП и пр. Это всё хорошо... из личного опыта... ну очень редко пользуюсь подобным. Зато массово люди используют выгрузки, которые поставщики используют, чтобы меньше их парсили ) Вот тут бы расширить возможности привносить изменения в xml на разных этапах загрузки было бы весьма здорово... Опять же ошибок много в этих фидах встречается...
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Так ресурс приличный... я бы поинтересовался всё же у них, насколько соответствует "* * * * *" реальности. Иногда бывает, что дают месяц ежеминутного срабатывания в планировщике, а когда клиенты продляют хостинг, то странным образом планировщик начинает срабатывать уже раз в 5-10-15 минут... Есть опыт таких хостингов...
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Ссылку на хостинг и на тарифный план... гадание тут не уместны...
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
В интернете пробовали искать ответ ? https://www.ukraine.com.ua/ru/wiki/hosting/sites/errors/allowed-memory-size/
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
{reg[#\|#]}|{csvnc} Если хотите заменить "|" на {csvnc}
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Я когда-то использовал это для формирования полного прайса, т.е. если логика в новых релизах модуля не поменялась, то идёт проверка на существование файла на сервере и если он найден, то дописывается. Так можно с разных проектов внести данные в один прайс и дальше его уже использовать...
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Ответ на этот вопрос очень простой: то, что у хостера есть возможность ставить 5 снежинок (* * * * *, ежеминутно дёргать cron), ещё не значит, что оно так у них и работает... это просто для украшения, воспринимать нужно, как украшение к Новому году ) На дешёвых тарифах это за правило, нет никакого "ежеминутно"... Может стоять "*", а подразумевается (иногда даже указывают, но чаще всего - нет), что срабатывать будет раз в 5, 10, 15, ... минут. Варианты решения задачи: сменить тарифный план сменить хостинг
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Все можна прочитати в довідці https://simplepars.top/index.php?page=note&n=39
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Если причина в самой установке модуля, то скачайте и установите последнюю версию и обратите внимание на то, какая у Вас версия php и то, что Вы ставите...
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Это по своей ссылке внимательно прочли и сделали, как написано ?
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Сообщения личные
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Можно добавлять конечно {reg[#(.*?(Adidas|Nike|Reebok|Rehau).*?|.*?)#i]}|$2
- 13,559 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Это связанные опции, когда цена товара зависит от опции, в данном случае от веса. Парсятся они сложно, но возможно, при определённых навыках...
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Да... к сожалению не работает для всех xml... поэтому придётся через поиск/замену... А сначала сделать замену через поиск/замену в простой границе один раз, а потом данные получать уже без CDATA в повторяющихся границах есть смысл или тоже нет никакого выиграша ? Я про те случаи, когда CDATA стоит не только в desc а во многих местах...
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
@Rassol2 Подскажите, пожалуйста. Насколько правильный такой подход очистки xml от CDATA при условии, что большинство проектов реализовано именно через фиды поставщиков. Или через поиск/замену более правильно ? Благодарю. Проверил, как работает, в некоторых xml удаляет, а в некоторых не удаляет...
- 13,559 replies
-
- simplepars
- парсинг товаров opencart
- (and 15 more)