[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Обновление v4.0-15_beta

Очередное исправления ошибок.
Потихоньку выходим на стабильную версию.

Если у вас стоит версия v4.0-14_beta вам обязательно обновить модуль, в ней найдена критическая ошибка.

[partshez]

Вопрос- хотелка.

Парсинг в КЕШ, следующее Парсинг в ИМ. Задание крон. После выполнения задания удалить кеш для освобождения места на сервере. Хотелось бы такой шаблон иметь и вставить после выполнения Парсинга в ИМ.

[Rassol2]

18 минут назад, partshez сказал:

Вопрос- хотелка.

Парсинг в КЕШ, следующее Парсинг в ИМ. Задание крон. После выполнения задания удалить кеш для освобождения места на сервере. Хотелось бы такой шаблон иметь и вставить после выполнения Парсинга в ИМ.

Ок один только вопрос.

А если логика такова.
Парсинг в кеш -> Парсинга из кеша в ИМ -> Удаления Кеша

Ну как по мне кеш нужен для эффективного повторного использования, и если этого не будет зачем тогда вообще парсить в кеш ?
Может тогда проще просто Парсинг в ИМ  ?
Просто в чем смысл не совсем понимаю.

[Zerg999]

Добрый день.

Если вовремя сбора ссылок процесс "завис" (остановился подсчет Просканированно  | В очереди  | Собрано ), что нужно сделать чтобы не потерять уже собранные ссылки (несколько тысяч)?

[Rassol2]

Только что, Zerg999 сказал:

Добрый день.

Если вовремя сбора ссылок процесс "завис" (остановился подсчет Просканированно  | В очереди  | Собрано ), что нужно сделать чтобы не потерять уже собранные ссылки (несколько тысяч)?

Они не теряются.

[Zerg999]

Понял. Спасибо!

[Rassol2]

46 минут назад, Zerg999 сказал:

Понял. Спасибо!

Не за что.

[helen2014]

Может кто помочь!

Не могу собрать ссылки из pagination page=2, page=3 и тд.

У донора все обрабатывается скриптом связанная с кнопкой Показать еще.

Сам код выглядит так:

pagination: {"currentPage":1,"elementOnPage":90,"pageCount":130}

pagination: {"currentPage":2,"elementOnPage":90,"pageCount":130}

ну и тд. В общем у меня не получилось собрать ссылки используя currentPage":2 и далее.

На каждой странице 90 товаров. А самих страниц в навигации 130.

https://prnt.sc/vzlqjx

Я смог собрать только 90 ссылок. С первой страницы.

Помогите кто освоил этот модуль лучше чем я.

 

[Rassol2]

5 минут назад, helen2014 сказал:

Может кто помочь!

Не могу собрать ссылки из pagination page=2, page=3 и тд.

У донора все обрабатывается скриптом связанная с кнопкой Показать еще.

Сам код выглядит так:

pagination: {"currentPage":1,"elementOnPage":90,"pageCount":130}

pagination: {"currentPage":2,"elementOnPage":90,"pageCount":130}

ну и тд. В общем у меня не получилось собрать ссылки используя currentPage":2 и далее.

На каждой странице 90 товаров. А самих страниц в навигации 130.

https://prnt.sc/vzlqjx

Я смог собрать только 90 ссылок. С первой страницы.

Помогите кто освоил этот модуль лучше чем я.

 

А что мешает взять ссылку
https://nizhniy-novgorod.pult.ru/product/akusticheskie-sistemy--akustika-/?currentTag=&kol=90&sort=SHOW_COUNTER&method=desc&PAGEN_1=2

https://nizhniy-novgorod.pult.ru/product/akusticheskie-sistemy--akustika-/?currentTag=&kol=90&sort=SHOW_COUNTER&method=desc&PAGEN_1=3

https://nizhniy-novgorod.pult.ru/product/akusticheskie-sistemy--akustika-/?currentTag=&kol=90&sort=SHOW_COUNTER&method=desc&PAGEN_1=4

https://nizhniy-novgorod.pult.ru/product/akusticheskie-sistemy--akustika-/?currentTag=&kol=90&sort=SHOW_COUNTER&method=desc&PAGEN_1=5

https://nizhniy-novgorod.pult.ru/product/akusticheskie-sistemy--akustika-/?currentTag=&kol=90&sort=SHOW_COUNTER&method=desc&PAGEN_1=6

 

И сгернерировать все страницы ?

[helen2014]

3 минуты назад, Rassol2 сказал:

А что мешает взять ссылку

Ничего не мешает.

Только страниц в навигации 130.

Предлагаете каждую по отдельности парсить?

[Rassol2]

2 минуты назад, helen2014 сказал:

Ничего не мешает.

Только страниц в навигации 130.

Предлагаете каждую по отдельности парсить?

нет я предлога вам записать все 130 страниц в очередь, и спарсить.
 

[helen2014]

8 минут назад, Rassol2 сказал:

И сгернерировать все страницы ?

Поподробней можно!?

[helen2014]

1 минуту назад, Rassol2 сказал:

нет я предлога вам записать все 130 страниц в очередь, и спарсить.

Как это сделать?

 

[Rassol2]

1 минуту назад, helen2014 сказал:

Поподробней можно!?

Странные какие то просьбы. Ну да ладно.
Вот сюда записать ссылки, и вот сюда нажать для сохранения.
 

Спойлер

Затем вот сюда нажать что бы модуль начал ходить по всем 130 страницам и искать целевые ссылки которые вам нужны в итоге.
 

Спойлер

 

[Rassol2]

1 минуту назад, helen2014 сказал:

Как это сделать?

 

В предыдущем сообщении расписал.

[agwetwetvwet]

@Rassol2 !  А есть возможность в очередь хотелок добавить, что бы поля "Текст начала парсинга" и "Текст конца парсинга" понимали {br} ?

Очень не хватает этого....

 

Картинка для понимания:

 

Спойлер

 

 

[Rassol2]

8 минут назад, agwetwetvwet сказал:

@Rassol2 !  А есть возможность в очередь хотелок добавить, что бы поля "Текст начала парсинга" и "Текст конца парсинга" понимали {br} ?

Очень не хватает этого....

 

Картинка для понимания:

Нет ближайшие время это не будет реализовано.
По двум причинам
1. Сложно в использовании. Из за того что после переноса может быть еше табуляции, пробелы и если их не учитывать и сделать как у вас на фото это не будет работать.
2. Техническая, по сути при определении границы модуль рассматривает весь текст как одну строку, без перевода каретки и зацепится за это нет возможности. Либо переделывать ядро, а это я бы не стал трогать. Тем более что пока не встречал случаи гда это было бы необходимо.
И наверное всегда это можно обойти с повторяющейся границей парсинга.

[Dash_ei]

Добрый вечер.
После длительной настройки и парсинга ссылок, процесс их фильтрации выдал ошибку 500 ( по урлу /admin/index.php?route=catalog/simplepars/grab ).
При этом тот же раздел других профилей открывается, как и другие разделы этого же профиля.
Версия ocStore 2.3.0.2.3, Версия SimplePars 3.4-1.
Возможно, модуль нужно обновить, и если да, как это сделать, чтобы не потерять настройки профиля?

[Rassol2]

8 минут назад, Dash_ei сказал:

Добрый вечер.
После длительной настройки и парсинга ссылок, процесс их фильтрации выдал ошибку 500 ( по урлу /admin/index.php?route=catalog/simplepars/grab ).
При этом тот же раздел других профилей открывается, как и другие разделы этого же профиля.
Версия ocStore 2.3.0.2.3, Версия SimplePars 3.4-1.
Возможно, модуль нужно обновить, и если да, как это сделать, чтобы не потерять настройки профиля?

При обновлении настройки не теряются.
Скачиваете новый архив с модулем здесь, там же где и в первый раз качали.
https://simplepars.top/index.php?page=inst

[partshez]

4 часа назад, Rassol2 сказал:

Ок один только вопрос.

А если логика такова.
Парсинг в кеш -> Парсинга из кеша в ИМ -> Удаления Кеша

Ну как по мне кеш нужен для эффективного повторного использования, и если этого не будет зачем тогда вообще парсить в кеш ?
Может тогда проще просто Парсинг в ИМ  ?
Просто в чем смысл не совсем понимаю.

Это при ручном парсинге. Без проблем! А в крон? Нет функции Удалить кеш. 

Например, парсинг 5-20 тыс товаров одного донора  с авторизацией. Для исключения блокировки- спарсить в кеш в один поток. Потом запускаем парсинг в ИМ в пять потоков. Доноров примерно 30-35. 

Хотелось бы после парсинга в им из кеша, этот кеш удалить. Типа, как Дополнительное действие после выполнения задания.

Вот про это хотелка

[Rassol2]

1 минуту назад, partshez сказал:

Это при ручном парсинге. Без проблем! А в крон? Нет функции Удалить кеш. 

Например, парсинг 5-20 тыс товаров одного донора  с авторизацией. Для исключения блокировки- спарсить в кеш в один поток. Потом запускаем парсинг в ИМ в пять потоков. Доноров примерно 30-35. 

Хотелось бы после парсинга в им из кеша, этот кеш удалить. Типа, как Дополнительное действие после выполнения задания.

Вот про это хотелка

Вы меня не поняли, а зачем так делать ?
Почему сразу не запустить парисинг в им в один поток ?

Вот смотрите парсим 1000 товаров в один поток. На это тратим один час времени.
затем запускаем парсинг с кеша в 5 потоков и тратим еше 20 минут. И затем модуль автоматом чистит кеш.

Вопрос ЗАЧЕМ ?
Может сразу одним потоком без создания кеша в магазин. И того тратим один час, Зачем нам промежуточный парсинг в кеш если мы все равно его повторно не используем.

[partshez]

Только что, Rassol2 сказал:

Вы меня не поняли, а зачем так делать ?
Почему сразу не запустить парисинг в им в один поток ?

Вот смотрите парсим 1000 товаров в один поток. На это тратим один час времени.
затем запускаем парсинг с кеша в 5 потоков и тратим еше 20 минут. И затем модуль автоматом чистит кеш.

Вопрос ЗАЧЕМ ?
Может сразу одним потоком без создания кеша в магазин. И того тратим один час, Зачем нам промежуточный парсинг в кеш если мы все равно его повторно не используем.

Убедили. Согласен

[partshez]

Фото в папке SPshow остаются навечно? Автоматом не удаляются? Нужно самому очищать?

[olla]

Здраствуйте, скадите, у меня сайт на пром юа.Корректно перенесет модуль разновидности оттуда?

Отправлено с моего BAH2-L09 через Tapatalk

[panasys]

Ребята не пинайте, только начинаю разбираться. А как попроще можно спарсить атрибуты (только метрические), а то у меня сильно наворочено получается через поиск-замена. Вот например

Спойлер

https://www.sachtler.com/en/sachtler/dr.-bag-–-1/c-26/p-1293