Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Axelenz

Users
  
  • Posts

    752
  • Joined

  • Last visited

7 Followers

About Axelenz

  • Birthday 09/21/1966

Technical support

  • Status
    Работаю
  • Other
    telegram:Axelenz Парсинг сложных сайтов, регулярные выражения, настройка модулей SimplePars и АОП

Information

  • Gender
    Мужчина
  • City:
    Все буде Україна!
  • Interests
    freelance

Recent Profile Visitors

11,986 profile views

Axelenz's Achievements

Mentor

Mentor (12/14)

  • Posting Machine Rare
  • Dedicated Rare
  • First Post
  • Collaborator
  • Reacting Well Rare

Recent Badges

347

Reputation

  1. Немного подобное я у себя на локалке реализовывал, парсил практически всё, что только открывается в браузере, а потом скармливал эти страницы SimplePars. Скорость конечно не та... но зато обходит любые защиты... Для рядового пользователя это конечно вряд ли пригодится, а вот для исполнителей вещь нужная. Интересно было бы расширение в плане, что границы можно как угодно расписать, например, используя разную логику... ЕСЛИ, ИЛИ... Если НЕТ чего-то, то границу брать вот эту, а если ЕСТЬ что-то, то границу берём другую... Может и не совсем понятно расписал, если коротко: расширить возможности границ, сделать их ещё гибче... Зачем это нужно... Постоянно парсю некоторые маркеты и сайты на одних и тех же CMS и получается, что у сайтов коды как бы и похожи, но могут отличаться совсем незначительно... т.е. интересно было бы взять уже известный набор вариантов границ для одного маркета и сразу вставить его, понять, какой именно вариант модуль выбрал и не заглядывать даже в код ) Можно так создать такую себе мини-базу вариантов парсинга границ определённой CMS или маркета... Добавил бы больше "человеческого фактора" в работу модуля... в эти поточности... Рандомные задержки хорошо, я бы ещё добавил типа перерывов рандомных, которые уже измеряются не секундами, а минутами. Сколько их делать в течение часа и на сколько минут... от 1 мин до 60 минут максимум. При такой логике работы на порядок сложнее будет вычислить работу парсинга... Постоянно делаю прайсы с помощью модуля... Хватает и тех возможностей, что есть уже, но если это возможно ещё больше расширить, то будет просто шикарно... Чего не хватает и приходится использовать другие модули. Работа с товарами, которые уже есть в базе. Этого функционала много никогда не бывает... Понятно, что SimplePars это не Batch Editor но всё же есть куда расширяться. Вещи, которые практически всегда необходимы: работа с акциями и скидками, датами их начала и конца, фиктивные разные наценки/скидки по типу, как у АОП и пр. Это всё хорошо... из личного опыта... ну очень редко пользуюсь подобным. Зато массово люди используют выгрузки, которые поставщики используют, чтобы меньше их парсили ) Вот тут бы расширить возможности привносить изменения в xml на разных этапах загрузки было бы весьма здорово... Опять же ошибок много в этих фидах встречается...
  2. Так ресурс приличный... я бы поинтересовался всё же у них, насколько соответствует "* * * * *" реальности. Иногда бывает, что дают месяц ежеминутного срабатывания в планировщике, а когда клиенты продляют хостинг, то странным образом планировщик начинает срабатывать уже раз в 5-10-15 минут... Есть опыт таких хостингов...
  3. Я когда-то использовал это для формирования полного прайса, т.е. если логика в новых релизах модуля не поменялась, то идёт проверка на существование файла на сервере и если он найден, то дописывается. Так можно с разных проектов внести данные в один прайс и дальше его уже использовать...
  4. Ответ на этот вопрос очень простой: то, что у хостера есть возможность ставить 5 снежинок (* * * * *, ежеминутно дёргать cron), ещё не значит, что оно так у них и работает... это просто для украшения, воспринимать нужно, как украшение к Новому году ) На дешёвых тарифах это за правило, нет никакого "ежеминутно"... Может стоять "*", а подразумевается (иногда даже указывают, но чаще всего - нет), что срабатывать будет раз в 5, 10, 15, ... минут. Варианты решения задачи: сменить тарифный план сменить хостинг
  5. Если причина в самой установке модуля, то скачайте и установите последнюю версию и обратите внимание на то, какая у Вас версия php и то, что Вы ставите...
  6. Да... к сожалению не работает для всех xml... поэтому придётся через поиск/замену... А сначала сделать замену через поиск/замену в простой границе один раз, а потом данные получать уже без CDATA в повторяющихся границах есть смысл или тоже нет никакого выиграша ? Я про те случаи, когда CDATA стоит не только в desc а во многих местах...
  7. @Rassol2 Подскажите, пожалуйста. Насколько правильный такой подход очистки xml от CDATA при условии, что большинство проектов реализовано именно через фиды поставщиков. Или через поиск/замену более правильно ? Благодарю. Проверил, как работает, в некоторых xml удаляет, а в некоторых не удаляет...
×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.