[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

  В 05.07.2021 в 17:36, Starychenko сказав:

@Rassol2

 

Добрый день. Ловлю периодически ошибки авторизации при сборе ссылок по Cron и также при парсинге в ИМ по Cron.

 

Пользуюсь авторизацией по POST запросы.

 

Если в настройках проекта произвести авторизацию - она проходит нормально. Дальше в поле cookies заполняются куки и сбор ссылок или парсинг в ИМ идёт по cron идёт до момента, когда вероятно заканчивается срок жизни кукисов. Дальше парсинг или сбор ссылок останавливается, так как модуль не может найти мой логин, чтобы подтвердить авторизацию.

 

Если к примеру перед запуском Cron в настройках проекта удалить cookies, и не проводить авторизацию вручную (то есть поле кукисов пустое, но настройка авторизации заполнена). То при запуске cron проект завершается по причине того, что он не находит фразу (мой логин, который подтверждает авторизацию).

 

Я могу предложить, что модуль не может провести авторизацию по cron и провести повторную авторизацию, когда время сессии закончилось.

 

Подскажите, пожалуйста, как это можно поправить ? Товары, которые я забираю с сайта донора - доступны только после авторизации на сайте.

 

Заранеет спасибо большое за помощь

Expand  

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

[Starychenko]

  В 05.07.2021 в 17:42, Rassol2 сказав:

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

Expand  

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

[Rassol2]

  В 05.07.2021 в 17:48, Starychenko сказав:

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

Expand  

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

[Starychenko]

  В 05.07.2021 в 17:51, Rassol2 сказав:

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

Expand  

 

Понял, спасибо большое, буду разбираться 

[Shaer]

для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

[Rassol2]

  В 05.07.2021 в 19:02, Shaer сказав:

для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

Expand  

Нет не нужно все.

Можно и одну ссылку добавит и работать.

[Shaer]

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 

[Starychenko]

  В 05.07.2021 в 19:50, Shaer сказав:

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 

Expand  

В меню "Пасинг в ИМ" есть в самом низу проверка границ.

По примеру как ниже сделайте цену себе

[partshez]

Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

  Показати вміст

Вес поддона (кг)                             </div>
                        </div>
                        <div class="col-md-7 offset-md-1 col-6">
                            <div class="options">
                                932                            </div>
                        </div>
                    </div>
                                </div>
            </div>
                    </div>
    </div>
</div>

Пробовал несколькими регулярками, не работают.

  Показати вміст

 

{reg[#(\s*</div>\s*){2,}$#]}|    удалит в конце текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. в начале, между ними и в конце текста. 

 

Регулярное выражение удалит из текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. перед ними, между ними и после них. Удалит в начале текста, в конце текста, в начале и в конце текста или по всему тексту, в зависимости от выбранной формулы:  

{reg[#^(\s*</div>\s*){2,}#]}| - от 2-х и более, в начале текста

{reg[#(\s*</div>\s*){2,}$#]}| - от 2-х и более, в конце текста

{reg[#(\s*</div>\s*){2}$#]}|  - только 2, в конце текста

{reg[#^(\s*</div>\s*){2,}|(\s*</div>\s*){2,}$#]}|  - от 2-х и более, в начале и в конце текста

{reg[#(\s*</div>\s*){2,}#]}|   - от 2-х и более, удаление по всему тексту

 

 

 

[Rassol2]

  В 06.07.2021 в 08:44, partshez сказав:

Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

Expand  

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

[partshez]

  В 06.07.2021 в 08:50, Rassol2 сказав:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Expand  

Спасибо! Получилось

[partshez]

  В 06.07.2021 в 08:50, Rassol2 сказав:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Expand  

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

  Показати вміст

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

а в товаре четыре </div> в конце!

  Показати вміст

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div></div></div></div>

Как же оставить только один?

[Rassol2]

  В 06.07.2021 в 09:21, partshez сказав:

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

Expand  

Значит модуль записывает вам в описани один див как вы и хотите.
 

  В 06.07.2021 в 09:21, partshez сказав:

а в товаре четыре </div> в конце!

Expand  

Ищите какие элементы шаблона добавляют вам дивы. Может это от самого шаблона.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

[partshez]

  В 06.07.2021 в 09:24, Rassol2 сказав:

Значит модуль записывает вам в описани один див как вы и хотите.
 

Исчислите какие элементы шаблона добавляют вам дивы.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

Expand  

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

[Rassol2]

  В 06.07.2021 в 09:26, partshez сказав:

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

Expand  

Если вы составили код в границе и передали его в товар, то именно он будет записан.
По другому быть не может.

Ищите.

[Reanimaster]

  В 06.07.2021 в 09:26, partshez сказав:

Буду искать...

Expand  

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}|</div>

Змінено 6 липня 2021 користувачем Reanimaster

[Rassol2]

  В 06.07.2021 в 09:28, Reanimaster сказав:

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}| </div>

Expand  

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

[Reanimaster]

  В 06.07.2021 в 09:21, partshez сказав:

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

Expand  

А в админке. В описании товара так записано?

[Reanimaster]

  В 06.07.2021 в 09:29, Rassol2 сказав:

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

Expand  

Начал раньше писать, отвлекли))

[blyskavka]

Добрый день. А как можно импортировать с xml файла только нужные товары с определенной категории а не все подряд?

[Rassol2]

  В 06.07.2021 в 10:57, blyskavka сказав:

Добрый день. А как можно импортировать с xml файла только нужные товары с определенной категории а не все подряд?

Expand  

Только через допуски к обработки.
Других механик нет.

[Starychenko]

  В 03.07.2021 в 16:53, Rassol2 сказав:

Да вы можете записать это через регулярные выражения.
такая возможность присутствует в модуле.

Expand  

Благодарю, решил таким образом 

{reg[#/catalog/[0-9]+/#]}

[REVO123]

Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

2021-07-07 10:43:05| ->[ИЗОБРАЖЕНИЕ] : Изображение НЕ НАЙДЕНО. Ответ сервера [404] Ссылка | https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg_________https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg

[Flint2000]

  В 07.07.2021 в 08:04, REVO123 сказав:

Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

Expand  

Значит не правильно задали границу парсинга

[REVO123]

  В 07.07.2021 в 09:24, Flint2000 сказав:

Значит не правильно задали границу парсинга

Expand  

http://joxi.ru/4Ak77xou0zkkQA

http://joxi.ru/KAgxx3oHN8KNNr

http://joxi.ru/bmoqq7zc7Jy70A

На проверке норм выходит