Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Обновление v3.7-5_beta

Корректирующий релиз с исправлением всякой мелочи.

1. Немного подправлена страница настроек прокси чекера. До этого у некоторых пользователей была проблема с сохранением проверочного текста и ссылки на сайт.

 

2. В кроне поправиле вывод времени когда был завершен процесс выполнения крона. Теперь он выводится в вашем часовом поясе.
подробнее здесь - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1639220

 

3. Немного измена логка работы крона что бы он не замерал.
А именно.
При старте работы крона модуль записывает время когда начался процесс выполнения. \

И если вдруг хостинг отключит ваш скрипт и пометка о том что модуль выполняет работу не будет снята, то при следующем вызове модуль проверит когда был запушен предыдущий раз скрипт, и если время больше 5 минут то модуль опять запустит выполнения.
То есть если дата старта выполнения не обновлялась больше 5 минут значить процесс выполнения был выключен хостингом аварийно.

Если вы видите что скрипт должен выполнятся по крону а он это не делает можете вызвать крон вручную в браузере /admin/sp_cron.php
И можете наблюдать такие сообщения.
 

Спойлер

kDdwuoL.png

 

 

Если это было аварийное завершение то спустя 5 минут модуль продолжит работу.
 

Спойлер

image.thumb.png.fcee5c5c24a68b8db07f57b46d9a95db.png


4. В редактор товара была добавлена возможность удалять акцессионные цены с товаров. По просьбе @partshez

Спойлер

YnEy969.png


 

image.png

  • +1 1
Надіслати
Поділитися на інших сайтах

Подскажите, насколько подойдет данный модуль для парсинга крупного сайта (>300000 товаров) с автоматическим гугл-переводом описаний?

Решаема ли задача этим инструментом?

Надіслати
Поділитися на інших сайтах


6 минут назад, vetolux сказал:

Подскажите, насколько подойдет данный модуль для парсинга крупного сайта (>300000 товаров) с автоматическим гугл-переводом описаний?

Решаема ли задача этим инструментом?

парсинг да. Но в модуле нету автоматического перевода от гугл.
PS. Конечно если этот крупный сайт не является агрегатором который будет бороться с парсингом.
Хоть в модуле и есть инструменты для обхода блокировок, луче до этого не доводить. А агрегаторы с вероятностью в 99% будут блокировать запросы.

Надіслати
Поділитися на інших сайтах

 

Здравствуйте.

Помогите разобраться.

Где взять файлы с обновлениями для скачивания?

Нужно заново приобретать модуль парсинга или есть отдельные файлы с обновлениями где-то?

Возможно ли установить только последнее обновление или необходимо скачивать их все?

Надіслати
Поділитися на інших сайтах


1 минуту назад, sdlmarket сказал:

 

Здравствуйте.

Помогите разобраться.

Где взять файлы с обновлениями для скачивания?

Нужно заново приобретать модуль парсинга или есть отдельные файлы с обновлениями где-то?

Возможно ли установить только последнее обновление или необходимо скачивать их все?

скачиваете там же где и первый раз. Никаких доп оплат делать не нужно.
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/

 

Можно скачать последнюю версию только не забываем выполнить ./inst.php

Надіслати
Поділитися на інших сайтах

18 часов назад, Rassol2 сказал:

парсинг да. Но в модуле нету автоматического перевода от гугл.
PS. Конечно если этот крупный сайт не является агрегатором который будет бороться с парсингом.
Хоть в модуле и есть инструменты для обхода блокировок, луче до этого не доводить. А агрегаторы с вероятностью в 99% будут блокировать запросы.

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

Надіслати
Поділитися на інших сайтах

1 час назад, BohdanS сказал:

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

Агрегатор это сайты по типу хотлаин яндекс маркета.
Розетка таковым не является но я думаю они тоже будут боротся с парсингом.

Надіслати
Поділитися на інших сайтах

19 часов назад, BohdanS сказал:

А Розетка относится к таким агрегаторам? Она может блокировать и как обойти блокировку?

Можно парсить отдельные магазины, отдельного поставщика. Но очень аккуратно...

Надіслати
Поділитися на інших сайтах


ВНИМАНИЕ!

 

За последние 2 месяца меня активно стали просить написать парсер фидов сайта.
Хоть я и считаю что это не совсем тема моего модуля, но это уже не возможно игнорировать.

Если кто то хочет видеть подобную возможность в модуле SimplePars по крайней мери здесь напишите что да хочу.
А если вы уже работает с такими файлами тогда пришлите мне в ЛС ссылку на вайш файл.
Я собиру базу для тестирования.

По фид файлами я подразумеваю файлы выгрузки товаров предоставляемые поставившими. в форматах xml, yml
который выглядят примерно так.
 

Спойлер

O4Lll55.png

 

  • +1 2
Надіслати
Поділитися на інших сайтах

Добрый день! Давно не пользовался модулем, а тут понадобилось (столько обновлений, молодцы!)

Подскажите пожалуйста, можно ли какими-нибудь регулярными выражениями собирать только определённый ссылки?

Пример: мне нужны ссылки 4-7 уровня вложенности, которые заканчиваются цифрами от 0-9.

Можно как-то это указать модулю?

Надіслати
Поділитися на інших сайтах


6 часов назад, Rassol2 сказал:

По фид файлами я подразумеваю файлы выгрузки товаров предоставляемые поставившими. в форматах xml, yml

Модуль обрастает новыми возможностями... и это хорошо )

  • +1 1
Надіслати
Поділитися на інших сайтах


Добрый день! Давно не пользовался модулем, а тут понадобилось (столько обновлений, молодцы!)
Подскажите пожалуйста, можно ли какими-нибудь регулярными выражениями собирать только определённый ссылки?
Пример: мне нужны ссылки 4-7 уровня вложенности, которые заканчиваются цифрами от 0-9.
Можно как-то это указать модулю?
Да можно.
Правда подсказать сейчас сложно с телефона но попробую.
В двух словах в поле товара в уровне вложенности указываете 4-7
А в поле правила что должно быть указываете регулярное выражение {reg[#[0-9]$#]}

Отправлено с моего Pixel через Tapatalk

  • +1 1
Надіслати
Поділитися на інших сайтах

image.thumb.png.752fb7b555996abe70fde59072031823.png

 

Не совсем понял логику работы - в очереди 123 ссылки осталось. Соответственно они будут обработаны в следующий интервал апдейта?

Надіслати
Поділитися на інших сайтах


21 минуту назад, kostya242 сказал:

image.thumb.png.752fb7b555996abe70fde59072031823.png

 

Не совсем понял логику работы - в очереди 123 ссылки осталось. Соответственно они будут обработаны в следующий интервал апдейта?

Вроде все должно быть придельное ясно.
вы сказали модулю парсить с 8 до 9 он вам показал сколько спарсил сколько осталось. Время закончилось все работа остановилось. Когда будет время на работу тогда продолжится.

Пример.
Позвали человека сказали выкопай сливную яму 5 метров глубиной и 3 метра в диаметре.
Но капать можеш только с 8 до 9 только в 7 день недели.
Он начал капать и выкопал 1 метр в глубь.

Вопрос когда человек будет дальше копать ?
Тогда когда можно будет, а именно с 8 до 9 только в 7 день недели.

  • +1 2
Надіслати
Поділитися на інших сайтах

Дорый ночес, можете подсказать правильную регулярку для удаления текста с тегов к примеру <H3>text</H3>

Уже голову сломал, видно сильно туп для таких манипуляций

Надіслати
Поділитися на інших сайтах


58 минут назад, bodyak0 сказал:

Дорый ночес, можете подсказать правильную регулярку для удаления текста с тегов к примеру <H3>text</H3>

Уже голову сломал, видно сильно туп для таких манипуляций

Тут не нужна регулярка.
<H3>{skip}</H3>|

 

и в видео об этом говорю и в инструкции написано. :(

  • +1 1
Надіслати
Поділитися на інших сайтах

5 хвилин назад, Rassol2 сказав:

Тут не нужна регулярка.
<H3>{skip}</H3>|

 

и в видео об этом говорю и в инструкции написано. :(

Прошу прощения, забываю что видео обновляется, все по старинке делаю))

Надіслати
Поділитися на інших сайтах


Все же я буду делать Прасинг XML ссылок донора.
Кто хочет быть уверенным что модуль поможет обработать тот файл который нужен именно вам, настало время дать ссылку на него!!

PS. Конечно модуль будет делаться так что бы любые мог обработать, но как еше заставить вас скинуть больше примеров :grin:

Надіслати
Поділитися на інших сайтах

2 минуты назад, DimaLarionov сказал:

А планируется добавить загрузку картинок опций при парсинге сайта?

да планирую.
Но тут не все так однозначно, это тот функционал который реализовывать на базе стандартных возможностей опенкарта не имеет никакого смысла.
А значит тут нужно выбрать один модуль который самый популярный, и на базе этого модуля сделать такую возможность.

Из за этого данная возможность пока тормозится.
 

Надіслати
Поділитися на інших сайтах

Обновление v3.7-6_beta

Наверное последнее бета обновление, критических проблем нету так что можно считать эту версию стабильной. И следующее обновления уже переведет эту ветку в разряд стабильной.

 

В этой версии
Исправление мелких недочетов.

По просьбе в менеджер ссылок добавлена возможность выводить больше ссылок на одну страницу. Теперь доступно до 10 000ссылок.

 

По просьбе опять же @Kiyoshi Добавлена возможность отсевать ссылки по состоянию.

Спойлер

m4oWPYj.png


При помощи этих списков вы можете отфильтровать ссылки которые были уже обработаны модулем, или находятся в очереди на парсинг.
 

Спойлер

Oo9iDZs.png


Так же вы можете отфильтровать состояния ссылок в кроне.
То есть тоже самое отфильтровать только те ссылки которые обработал модуль по крону. Что бы что то с ними сделать, не знаю что вы захотите но возможность теперь есть.
 

Спойлер

Tp9LY3f.png


Грубо говоря теперь через менеджер ссылок их можно перепахать сверзу вниз и в любом направлении.
Так же вы можете отфильтровать только те ссылки которые не были обработаны кроном и вручную.
То есть по классике можете комбинировать все это.

Так же сделал что если вы удаляете ссылку через менеджер url что бы модуль зачищал кеш этих ссылок если таковой был.

Надіслати
Поділитися на інших сайтах

Доброго дня!

Подскажите, плз, ка к вграницах парсинга отсеять <span> - https://prnt.sc/ua89iv

А то если ставлю в границы <span>, то не парсит :( https://prnt.sc/ua8bol

Надіслати
Поділитися на інших сайтах


16 хвилин назад, specialforce22 сказав:

Подскажите, плз, ка к вграницах парсинга отсеять <span> - https://prnt.sc/ua89iv

 

Во вкладке поиск и замена выбрать эту границу парсинга и добавить правило <{skip}>|

Змінено користувачем Flint2000
  • +1 1
Надіслати
Поділитися на інших сайтах

10 минут назад, Flint2000 сказал:

Во вкладке поиск и замена выбрать эту границу парсинга и добавить правило <{skip}>|

На всякий случай добавлю для вас @specialforce22 пояснение
<{skip}>|
Это правило вырежет все html теги.
если захотите конкретно <span> и </span>

Тогду нужно два правила.
<span>|

</span>|

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.