[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Обновление v3.7-5_beta

Корректирующий релиз с исправлением всякой мелочи.

1. Немного подправлена страница настроек прокси чекера. До этого у некоторых пользователей была проблема с сохранением проверочного текста и ссылки на сайт.

 

2. В кроне поправиле вывод времени когда был завершен процесс выполнения крона. Теперь он выводится в вашем часовом поясе.
подробнее здесь - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1639220

 

3. Немного измена логка работы крона что бы он не замерал.
А именно.
При старте работы крона модуль записывает время когда начался процесс выполнения. \

И если вдруг хостинг отключит ваш скрипт и пометка о том что модуль выполняет работу не будет снята, то при следующем вызове модуль проверит когда был запушен предыдущий раз скрипт, и если время больше 5 минут то модуль опять запустит выполнения.
То есть если дата старта выполнения не обновлялась больше 5 минут значить процесс выполнения был выключен хостингом аварийно.

Если вы видите что скрипт должен выполнятся по крону а он это не делает можете вызвать крон вручную в браузере /admin/sp_cron.php
И можете наблюдать такие сообщения.
 

Спойлер

 

 

Если это было аварийное завершение то спустя 5 минут модуль продолжит работу.
 

Спойлер

4. В редактор товара была добавлена возможность удалять акцессионные цены с товаров. По просьбе @partshez

Спойлер

 

[vetolux]

Подскажите, насколько подойдет данный модуль для парсинга крупного сайта (>300000 товаров) с автоматическим гугл-переводом описаний?

Решаема ли задача этим инструментом?

[Rassol2]

6 минут назад, vetolux сказал:

Подскажите, насколько подойдет данный модуль для парсинга крупного сайта (>300000 товаров) с автоматическим гугл-переводом описаний?

Решаема ли задача этим инструментом?

парсинг да. Но в модуле нету автоматического перевода от гугл.
PS. Конечно если этот крупный сайт не является агрегатором который будет бороться с парсингом.
Хоть в модуле и есть инструменты для обхода блокировок, луче до этого не доводить. А агрегаторы с вероятностью в 99% будут блокировать запросы.

[sdlmarket]

 

Здравствуйте.

Помогите разобраться.

Где взять файлы с обновлениями для скачивания?

Нужно заново приобретать модуль парсинга или есть отдельные файлы с обновлениями где-то?

Возможно ли установить только последнее обновление или необходимо скачивать их все?

[Rassol2]

1 минуту назад, sdlmarket сказал:

 

Здравствуйте.

Помогите разобраться.

Где взять файлы с обновлениями для скачивания?

Нужно заново приобретать модуль парсинга или есть отдельные файлы с обновлениями где-то?

Возможно ли установить только последнее обновление или необходимо скачивать их все?

скачиваете там же где и первый раз. Никаких доп оплат делать не нужно.
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/

 

Можно скачать последнюю версию только не забываем выполнить ./inst.php

[BohdanS]

18 часов назад, Rassol2 сказал:

парсинг да. Но в модуле нету автоматического перевода от гугл.
PS. Конечно если этот крупный сайт не является агрегатором который будет бороться с парсингом.
Хоть в модуле и есть инструменты для обхода блокировок, луче до этого не доводить. А агрегаторы с вероятностью в 99% будут блокировать запросы.

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

[Rassol2]

1 час назад, BohdanS сказал:

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

Агрегатор это сайты по типу хотлаин яндекс маркета.
Розетка таковым не является но я думаю они тоже будут боротся с парсингом.

[partshez]

19 часов назад, BohdanS сказал:

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

Можно парсить отдельные магазины, отдельного поставщика. Но очень аккуратно...

[Rassol2]

ВНИМАНИЕ!

 

За последние 2 месяца меня активно стали просить написать парсер фидов сайта.
Хоть я и считаю что это не совсем тема моего модуля, но это уже не возможно игнорировать.

Если кто то хочет видеть подобную возможность в модуле SimplePars по крайней мери здесь напишите что да хочу.
А если вы уже работает с такими файлами тогда пришлите мне в ЛС ссылку на вайш файл.
Я собиру базу для тестирования.

По фид файлами я подразумеваю файлы выгрузки товаров предоставляемые поставившими. в форматах xml, yml
который выглядят примерно так.
 

Спойлер

 

[Kiyoshi]

Было бы довольно неплохо чтобы умел, сталкивался частенько сними если найду скину пару примеров.

[zhumasds]

Добрый день! Давно не пользовался модулем, а тут понадобилось (столько обновлений, молодцы!)

Подскажите пожалуйста, можно ли какими-нибудь регулярными выражениями собирать только определённый ссылки?

Пример: мне нужны ссылки 4-7 уровня вложенности, которые заканчиваются цифрами от 0-9.

Можно как-то это указать модулю?

[Axelenz]

6 часов назад, Rassol2 сказал:

По фид файлами я подразумеваю файлы выгрузки товаров предоставляемые поставившими. в форматах xml, yml

Модуль обрастает новыми возможностями... и это хорошо )

[Rassol2]

Добрый день! Давно не пользовался модулем, а тут понадобилось (столько обновлений, молодцы!)
Подскажите пожалуйста, можно ли какими-нибудь регулярными выражениями собирать только определённый ссылки?
Пример: мне нужны ссылки 4-7 уровня вложенности, которые заканчиваются цифрами от 0-9.
Можно как-то это указать модулю?

Да можно.
Правда подсказать сейчас сложно с телефона но попробую.
В двух словах в поле товара в уровне вложенности указываете 4-7
А в поле правила что должно быть указываете регулярное выражение {reg[#[0-9]$#]}

Отправлено с моего Pixel через Tapatalk

[kostya242]

 

Не совсем понял логику работы - в очереди 123 ссылки осталось. Соответственно они будут обработаны в следующий интервал апдейта?

[Rassol2]

21 минуту назад, kostya242 сказал:

 

Не совсем понял логику работы - в очереди 123 ссылки осталось. Соответственно они будут обработаны в следующий интервал апдейта?

Вроде все должно быть придельное ясно.
вы сказали модулю парсить с 8 до 9 он вам показал сколько спарсил сколько осталось. Время закончилось все работа остановилось. Когда будет время на работу тогда продолжится.

Пример.
Позвали человека сказали выкопай сливную яму 5 метров глубиной и 3 метра в диаметре.
Но капать можеш только с 8 до 9 только в 7 день недели.
Он начал капать и выкопал 1 метр в глубь.

Вопрос когда человек будет дальше копать ?
Тогда когда можно будет, а именно с 8 до 9 только в 7 день недели.

[bodyak0]

Дорый ночес, можете подсказать правильную регулярку для удаления текста с тегов к примеру <H3>text</H3>

Уже голову сломал, видно сильно туп для таких манипуляций

[Rassol2]

58 минут назад, bodyak0 сказал:

Дорый ночес, можете подсказать правильную регулярку для удаления текста с тегов к примеру <H3>text</H3>

Уже голову сломал, видно сильно туп для таких манипуляций

Тут не нужна регулярка.
<H3>{skip}</H3>|

 

и в видео об этом говорю и в инструкции написано.

[bodyak0]

5 хвилин назад, Rassol2 сказав:

Тут не нужна регулярка.
<H3>{skip}</H3>|

 

и в видео об этом говорю и в инструкции написано.

Прошу прощения, забываю что видео обновляется, все по старинке делаю))

[Rassol2]

Все же я буду делать Прасинг XML ссылок донора.
Кто хочет быть уверенным что модуль поможет обработать тот файл который нужен именно вам, настало время дать ссылку на него!!

PS. Конечно модуль будет делаться так что бы любые мог обработать, но как еше заставить вас скинуть больше примеров

[DimaLarionov]

А планируется добавить загрузку картинок опций при парсинге сайта?

Змінено 1 вересня 2020 користувачем DimaLarionov

[Rassol2]

2 минуты назад, DimaLarionov сказал:

А планируется добавить загрузку картинок опций при парсинге сайта?

да планирую.
Но тут не все так однозначно, это тот функционал который реализовывать на базе стандартных возможностей опенкарта не имеет никакого смысла.
А значит тут нужно выбрать один модуль который самый популярный, и на базе этого модуля сделать такую возможность.

Из за этого данная возможность пока тормозится.
 

[Rassol2]

Обновление v3.7-6_beta

Наверное последнее бета обновление, критических проблем нету так что можно считать эту версию стабильной. И следующее обновления уже переведет эту ветку в разряд стабильной.

 

В этой версии
Исправление мелких недочетов.

По просьбе в менеджер ссылок добавлена возможность выводить больше ссылок на одну страницу. Теперь доступно до 10 000ссылок.

 

По просьбе опять же @Kiyoshi Добавлена возможность отсевать ссылки по состоянию.

Спойлер

При помощи этих списков вы можете отфильтровать ссылки которые были уже обработаны модулем, или находятся в очереди на парсинг.
 

Спойлер

Так же вы можете отфильтровать состояния ссылок в кроне.
То есть тоже самое отфильтровать только те ссылки которые обработал модуль по крону. Что бы что то с ними сделать, не знаю что вы захотите но возможность теперь есть.
 

Спойлер

Грубо говоря теперь через менеджер ссылок их можно перепахать сверзу вниз и в любом направлении.
Так же вы можете отфильтровать только те ссылки которые не были обработаны кроном и вручную.
То есть по классике можете комбинировать все это.

Так же сделал что если вы удаляете ссылку через менеджер url что бы модуль зачищал кеш этих ссылок если таковой был.

[specialforce22]

Доброго дня!

Подскажите, плз, ка к вграницах парсинга отсеять <span> - https://prnt.sc/ua89iv

А то если ставлю в границы <span>, то не парсит  https://prnt.sc/ua8bol

[Flint2000]

16 хвилин назад, specialforce22 сказав:

Подскажите, плз, ка к вграницах парсинга отсеять <span> - https://prnt.sc/ua89iv

 

Во вкладке поиск и замена выбрать эту границу парсинга и добавить правило <{skip}>|

Змінено 2 вересня 2020 користувачем Flint2000

[Rassol2]

10 минут назад, Flint2000 сказал:

Во вкладке поиск и замена выбрать эту границу парсинга и добавить правило <{skip}>|

На всякий случай добавлю для вас @specialforce22 пояснение
<{skip}>|
Это правило вырежет все html теги.
если захотите конкретно <span> и </span>

Тогду нужно два правила.
<span>|

</span>|