[Поддержка] SimplePars - Универсальный парсер для ИМ

[BustedFuse]

1 час назад, Rassol2 сказал:

Внимательнее смотрите на настройки.
 

  Скрыть контент

Да, я там специально не ставил Обновлять. Думал, что при первом парсинге создадутся сопутствующие товары, и чтобы далее парсер не грузить - обновление не ставил. Видимо, не так вашу инструкцию понял. Сейчас попробую.

 

[kostya242]

Напомните, пожалуйста, если стоит основная задача хотя бы раз в неделю парсить свежие цены у донора и чтобы делать это быстро, как лучше поступить?

1) Сначала настраиваем парсинг в кэш

2) После парсинга в кэш Действие - Обновлять и использовать кэш?

 

В таком случае кэш все равно будет кэшироваться раз в неделю для получения актуальных цен у донора, просто потом можно парсить цены в 5 потоков?

 

 

Спойлер

 

[partshez]

20 минут назад, kostya242 сказал:

Напомните, пожалуйста, если стоит основная задача хотя бы раз в неделю парсить свежие цены у донора и чтобы делать это быстро, как лучше поступить?

1) Сначала настраиваем парсинг в кэш

2) После парсинга в кэш Действие - Обновлять и использовать кэш?

 

В таком случае кэш все равно будет кэшироваться раз в неделю для получения актуальных цен у донора, просто потом можно парсить цены в 5 потоков?

 

 

  Показать контент

 

Я делаю так. Парсинг в 1 поток с паузой 5-10 без создания кеша

Кеш использую только в момент отладки парсинга, чтобы не долбить донора лишний раз

Змінено 12 січня 2022 користувачем partshez

[kostya242]

20 минут назад, partshez сказал:

Я делаю так. Парсинг в 1 поток с паузой 5-10 без создания кеша

 

Ох и длительное это время получится на парсинг, если товаров больше 10к+

[partshez]

5 минут назад, kostya242 сказал:

Ох и длительное это время получится на парсинг, если товаров больше 10к+

Попытайтесь найти ссылку на выгрузку xml (связаться с админом, угостить пивом ). Тогда можно будет в 5 потоков

[NoName_13]

Здравствуйте.

Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, работает идеально.

Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возростанию цены (самые дешевые) ?

Я понимаю, что это скрипт, скорее всего... может есть готовый

Спасибо за подсказку/наводку/помощь.

[DmitriyH]

Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи.

[partshez]

1 минуту назад, DmitriyH сказал:

Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи.

Пишите в личку

[Rassol2]

3 часа назад, NoName_13 сказал:

Здравствуйте.

Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, работает идеально.

Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возростанию цены (самые дешевые) ?

Я понимаю, что это скрипт, скорее всего... может есть готовый

Спасибо за подсказку/наводку/помощь.

Здравствуйте. 
оставьте ссылки только на 20 товаров в каждой из категории и нужными ценами. 
Встроенного механизма для решения такой задачи нет. 

[DmitriyH]

1 час назад, DmitriyH сказал:

Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи.

Вопрос остается открытым. Буду признателен любой помощи в решении данной задачи.

[egortide]

Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок

 

если просто парсить этот файл, без каких либо настроек, то он выдает только это:

https://21vek.partners/bufer/bufferid.html

Змінено 14 січня 2022 користувачем egortide

[Rassol2]

28 минут назад, egortide сказал:

Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок

 

если просто парсить этот файл, без каких либо настроек, то он выдает только это:

https://21vek.partners/bufer/bufferid.html

Ну а как можно что то спарсить без каких либо настроек ?

В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили.

Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе.

[egortide]

1 час назад, Rassol2 сказал:

Ну а как можно что то спарсить без каких либо настроек ?

В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили.

Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе.

В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга:

<name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name>

но при этом в тэге url он находит ссылку. 
 

<url>https://21vek.partners/bufer/serios123.html</url>

и выдает только это

Змінено 14 січня 2022 користувачем egortide

[Rassol2]

57 минут назад, egortide сказал:

В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга:

<name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name>

но при этом в тэге url он находит ссылку. 
 

<url>https://21vek.partners/bufer/serios123.html</url>

и выдает только это

 а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта.
Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла.

Модуль собирает ссылки в стандарте с страниц

1) html где ссылки в теге <a>
2) sitemap где ссылки в теге <link>
3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url>

Но вот с тега <name> это что то новенькое.
Если готовы править файлы модуля я вам подскажу что изменить.

[egortide]

3 минуты назад, Rassol2 сказал:

 а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта.
Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла.

Модуль собирает ссылки в стандарте с страниц

1) html где ссылки в теге <a>
2) sitemap где ссылки в теге <link>
3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url>

Но вот с тега <name> это что то новенькое.
Если готовы править файлы модуля я вам подскажу что изменить.

Готов, что править?)

[Rassol2]

Только что, egortide сказал:

Готов, что править?)

ок 5 минут.

[egortide]

делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора)

 

[Rassol2]

1 минуту назад, egortide сказал:

Готов, что править?)

Открываете файл
/admin/model/catalog/simplepars.php
Находите строку

$reg_url = '#<url>(.*?)</url>#s';

Заменяете ее на

$reg_url = '#<name>(.*?)</name>#s';

Что бы вышло вот так.

Спойлер

Затем выбираете в сборе ссылок режим, и сохраняете настройки.
С XML выгрузки тег ссылки <URL>
Все теперь модуль будет собирать ссылки с этого файла из тега <name>

[yurok79]

Здравствуйте, при установке вот такая ошибка could not find driver

 

В логах

 thrown in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice:  Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error:  Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21
Stack trace:
#0 {main}
  thrown in /home/cosmetol/a25.by/inst.php on line 21

Змінено 14 січня 2022 користувачем yurok79

[egortide]

Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди?

[Axelenz]

3 минуты назад, egortide сказал:

Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди?

Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени...

А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия )

Змінено 14 січня 2022 користувачем Axelenz

[Rassol2]

8 часов назад, yurok79 сказал:

Здравствуйте, при установке вот такая ошибка could not find driver

 

В логах

 thrown in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice:  Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error:  Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21
Stack trace:
#0 {main}
  thrown in /home/cosmetol/a25.by/inst.php on line 21

В настройках php в панели управления хостингом включите библиотеку PDO

В некоторых хостингах она называется pdo mysql

После этого выполните ./inst.php

 

Обычно эта библиотека на хостингах включена по умолчанию.

 

[egortide]

Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? 

[Rassol2]

1 час назад, egortide сказал:

Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? 

Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем.

[Starychenko]

Добрый день.

Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ?

Вкратце опишу ситуацию и сделаю предположения, как это можно решить.

Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты.

Есть донор, который отдаёт XML файл следующей структуры (будет ниже).

После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара.

Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant=

Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают:
 

1.       Купить, к примеру 1 шт. по 913 гр-н

2.       Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн.
То есть 1 шт. по 806 грн.

 

Первая проблема:

 

1.       При парсинге в ИМ для модуля это, по сути, один и тот же товар.
Так как сопоставляю товары я пускай по имени товара.
То есть при парсинге модуль сначала заливает цену 913, а потом 4838.
Или, наоборот, если очерёдность в XML файле будет обратная.

 

Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой.

 

2.       Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant=

 

Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ.

Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил:

 

1.       Есть ли несколько строк с одинаковым артикулом

2.       Если есть – нашёл все дублирующие строки одного артикула

3.       Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил
3.1     Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой.

 

<offer id='1242' available='true'>
<url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url>
<price>913</price>
<currencyId>UAH</currencyId>
<categoryId>351</categoryId>
<picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture>
<name>Product 1</name>
<description></description>
</offer>

<offer id='5832' available='true'>
<url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url>
<price>4838</price>
<currencyId>UAH</currencyId>
<categoryId>351</categoryId>
<picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture>
<name>Product 1</name>
<description></description>
</offer>

<offer id='5044' available='true'>
<url>https://domain.com/products/2003-023-chasy-2003-023</url>
<price>1075</price>
<currencyId>UAH</currencyId>
<categoryId>89</categoryId>
<picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture>
<name>Product 2</name>
<description></description>
</offer>

<offer id='2725' available='true'>
<url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url>
<price>185</price>
<currencyId>UAH</currencyId>
<categoryId>89</categoryId>
<picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture>
<name> Product 2</name>
<description></description>
</offer>