[Поддержка] SimplePars - Универсальный парсер для ИМ

[versstachi]

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

[Rassol2]

2 часа назад, versstachi сказал:

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

в таком случаи товар будет виден только на эстонском языке.
А именно только если админка включена на эстонский язык.

Если есть проблемы с этим можете написать доступ к фтп и админке вашего магазина мне в ЛС и я посмотрю.

[xshader]

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

[Rassol2]

2 минуты назад, xshader сказал:

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Здравствуйте.
Какая версия модуля ?

[Rassol2]

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.

 

 

И вот это для вас логично и понятно ?
 

Спойлер

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

[xshader]

5 часов назад, Rassol2 сказал:

Здравствуйте.
Какая версия модуля ?

SimplePars v2.9-11_beta

 

Рано ее использовать?

Змінено 2 грудня 2019 користувачем xshader

[Rassol2]

36 минут назад, xshader сказал:

SimplePars v2.9-11_beta

 

Рано ее использовать?

нет не рано, и проблема походу не в модуле.
У вас ругается на стандартный запрос в базу данных. Такое впечатление что у вас что то изменено с базы данных.
Опять же если есть возможность скиньте в лс доступ к админке и фтп я проверю.

Либо попробуйте загрузить файлы модуля 11 версию по верх, с заменой.
Нет не рано потому что по факту это уже следующий стабильный релиз. Я так вообше все уже выгладил.

[partshez]

Может быть кому-то будет интересно... Вчера окончательно разобрался, как парсить информацию с двух сайтов. С одного сайта нужно было брать фото и описание, с сайта производителя - характеристики и цены (цены иногда изменяются). Создал два проекта. Парсинг в ИМ. В первом проекте идентификатором выбрал артикул, во втором код товара. Первым проектом спарсил товар, артикул записал в *артикул*. Вручную проставил артикул производителя в *код товара* в каждой карточке. Далее можно производить парсинг сколько угодно раз каждым проектом! Автору еще раз огромное спасибо за модуль!!!

Змінено 3 грудня 2019 користувачем partshez

[partshez]

15 часов назад, Rassol2 сказал:

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.

 

 

И вот это для вас логично и понятно ?
 

  Показать контент

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Лично для меня понятно. Работаю с модулем с версии SimplePars v1.3.2-2

[partshez]

В 01.12.2019 в 04:36, Rassol2 сказал:

Описал как сделать парсинг опций так что бы цена опции меняла цену товара.
https://simplepars.top/index.php?page=note&note_id=18

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

[Rassol2]

13 минут назад, partshez сказал:

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

не за что

[BOBAH18]

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

[Rassol2]

4 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

да можно.
 

Спойлер

Описания что это и с чем кушать есть здесь.
https://simplepars.top/index.php?page=note&note_id=14

[Rassol2]

22 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

и да тут есть один момент.

Интервал 2-5 говорит о том что модуль между парсингом ссылок будет ждать рандомное время. Это рандомное время будет больше двух секунд но меньше пяти секунд.
И кстати модуль может ждать между запросами 3.7893 секунды Но я не об этом
Так вот это время, это время паузы между выполнением работы.

 

А вот то что вы видите в логах, это конкретно время за которое сайт донор не вернул вам ответ.
то есть пауза никак не влияет на это. Пауза может стоять хоть 30 сек. Это не как не повлияет на сообщение в логах.

То время за которое донор должен вернуть ответ отсчитывается от момента отправки запроса. А не от паузы парсинга.

[Igorkud]

Я понимаю что много хотелок) Но подскажите, запуск по крону будет?

[Nomandvs]

3 минуты назад, Igorkud сказал:

Я понимаю что много хотелок) Но подскажите, запуск по крону будет?

Будет, но не сразу)

 

[Rassol2]

Настройка границ парсинга в модуле SimplePars

 

 

[Rassol2]

Обновление 2.9-12

Это уже обновление стабильное и рекомендуется к использованию.
Поправлены все недочеты о которых вы сообщали.

 

Для тех кто обновляется только от стабильной версии к стабильной

В этот релиз вошли все изменения о которых я писал в релизах бета версии.

 

Спойлер

Обновление 2.9-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1468648

 

Обновление 2.9-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

 

Обновление 2.9-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476644

 

Обновление 2.9-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1479142

 

Обновление 2.9-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1480597

 

Обновление 2.9-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1482797

 

Обновление 2.9-9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1487413

 

Обновление 2.9-10_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1489906

 

Обновление 2.9-11_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1491656

 

А так же немного нового.


Поиск замена

Изменен подход к пред просмотру в поиск замене.
Теперь при настройки поиск замены в окно исходного текста нельзя вставить свой кусок кода. Данные в это поле могут попасть только через загрузку из границы парсинга.
 

Спойлер

Переработано представление исходного кода в повторяющихся границах парсинга.
Часто пользователи допускал ошибки не понимая что это повторяющаяся граница, а не обычная.
Теперь думаю проблем будет меньше, а настройка границы парсинга будет более интуитивной.

Так же после выполнения всех правил поиск замены модуль в окне текст после обработки показывает выходные данные в формате строки, как раз тот форма с которым вы будете работать в парсинге в ИМ или CSV
Как мне кажется это должно быть максимально наглядно, и понятно.
 

Спойлер

Обычны границы парсинга остались нетронуты, так что там вы можете как и прежде вводить любой текст в поле Исходный текст, и тестировать ваши правила.

Эта уже последняя стабильная версия в этом году.
Ну не считая если найдутся ошибки и нужно будет поправить.

С 10 декабря по 26 я уезжаю и как будет с интернетом пока непонятно. В этот период времени возможно будут проблемы с предоставлением поддержки.

Если тех поддержка в модуле для вас край не важна, то рекомендую воздержатся от покупки модуля в это период, поскольку пока что я не знаю будет ли у меня время, а главное возможность предоставить тех поддержку.
 

[Rassol2]

================================================================================================================================

ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
В этот период тех поддержка модуля будет предоставляться по мере и возможности.

Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
Спасибо за понимание.

===============================================================================================================================

[Rassol2]

Комфортный сбор ссылок с sitemap.xml

Я уже реализовал возможность комфортного парсинга сайт мапа, но в связи с тем что должен уехать на две недели не внес это в релиз. Из за того что функция не была обкатана как следует.
Но активность парсинга сайт мапа поднялась в связи с этим решил отписать здесь маленькую фичу которую можно сделать для удобного сбора ссылок через sitemap.xml

Допустим есть сайт мвидео. И сбор ссылок с категорий крайне неудобен, мы можем попробовать найти его сайт мап.
Открываем robots.txt сайта.
https://www.mvideo.ru/robots.txt

 

И ищем там ссылку на сайт мап.
 

Спойлер

 

Поздравляю теперь у нас есть стартовая ссылка. Точка входа

Сейчас в версии 2.9-12 нету переключателя который мог бы перевести сбор ссылок в режим sitemap. Но сам функционал уже есть, и его можно запустить через код модуля.
Открываем файл /admin/model/catalog/simplepars.php
Ишим строку
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';
И заменяем ее на
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';

Что бы вышло вот так.
 

Спойлер

Сохраняем, и считайте дело в кармане.

Далее вы как обычно настраиваете фильтры очереди сканирования, и фильтры товаров. Но учтите теперь вам нужно по другому настраивать очередь сканирования.
Ведь в сайт мапе типы ссылок на блоки с ссылками на товары выглядят по другому чем на сайте.
А вот ссылки на товар как и везде.

Вставляем стартовую ссылку, сохраняем и жмем старт.

Поскольку у меня блоки с фильтрами вообше не настроены, то почти мгновенно я получил 50т ссылок.
 

Спойлер

но вам так делать не рекомендую, луче все же очередь сканирования ограничивать


Внимание после этих манипуляций модуль будет собирать только сайт мапы.
Что бы сделать возможным сбор ссылок с обычных страниц сайт нужно обратно заменить строку
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';
на
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';

[zigzagtut]

попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml

2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml

но ссылок нет.

Помогите пожалуйста    ?

[Rassol2]

попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml
2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml
но ссылок нет.
Помогите пожалуйста    ?

Скриншот куска кода где вы правили модуль.
Если сделали как я написал то будет работать. Значит вы не поправили код.

Отправлено с моего Pixel через Tapatalk

[zigzagtut]

[Rassol2]

@zigzagtut Тогда сдаюсь.
Пришлите мне доступ в админку. Я посмотрю настройки и можете скинуть фтп перепроверю.
Потому что может фильтр настроен не верно.

[Mat]

Здравствуйте!

Есть возможность спарсить https://happygifts.ru/catalog_new/1362/70410899/?color=синий этот товаров, т.е все цвета по-отдельности ?(каждый цвет, отдельный товар)

 

Спасибо.