[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

3 минуты назад, Starychenko сказал:

@Rassol2

 

Добрый день. Ловлю периодически ошибки авторизации при сборе ссылок по Cron и также при парсинге в ИМ по Cron.

 

Пользуюсь авторизацией по POST запросы.

 

Если в настройках проекта произвести авторизацию - она проходит нормально. Дальше в поле cookies заполняются куки и сбор ссылок или парсинг в ИМ идёт по cron идёт до момента, когда вероятно заканчивается срок жизни кукисов. Дальше парсинг или сбор ссылок останавливается, так как модуль не может найти мой логин, чтобы подтвердить авторизацию.

 

Если к примеру перед запуском Cron в настройках проекта удалить cookies, и не проводить авторизацию вручную (то есть поле кукисов пустое, но настройка авторизации заполнена). То при запуске cron проект завершается по причине того, что он не находит фразу (мой логин, который подтверждает авторизацию).

 

Я могу предложить, что модуль не может провести авторизацию по cron и провести повторную авторизацию, когда время сессии закончилось.

 

Подскажите, пожалуйста, как это можно поправить ? Товары, которые я забираю с сайта донора - доступны только после авторизации на сайте.

 

Заранеет спасибо большое за помощь

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

[Starychenko]

4 минуты назад, Rassol2 сказал:

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

[Rassol2]

Только что, Starychenko сказал:

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

[Starychenko]

3 минуты назад, Rassol2 сказал:

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

 

Понял, спасибо большое, буду разбираться 

[Shaer]

для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

[Rassol2]

2 минуты назад, Shaer сказал:

для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

Нет не нужно все.

Можно и одну ссылку добавит и работать.

[Shaer]

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 

[Starychenko]

11 минут назад, Shaer сказал:

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 

В меню "Пасинг в ИМ" есть в самом низу проверка границ.

По примеру как ниже сделайте цену себе

[partshez]

Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

Спойлер

Вес поддона (кг)                             </div>
                        </div>
                        <div class="col-md-7 offset-md-1 col-6">
                            <div class="options">
                                932                            </div>
                        </div>
                    </div>
                                </div>
            </div>
                    </div>
    </div>
</div>

Пробовал несколькими регулярками, не работают.

Спойлер

 

{reg[#(\s*</div>\s*){2,}$#]}|    удалит в конце текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. в начале, между ними и в конце текста. 

 

Регулярное выражение удалит из текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. перед ними, между ними и после них. Удалит в начале текста, в конце текста, в начале и в конце текста или по всему тексту, в зависимости от выбранной формулы:  

{reg[#^(\s*</div>\s*){2,}#]}| - от 2-х и более, в начале текста

{reg[#(\s*</div>\s*){2,}$#]}| - от 2-х и более, в конце текста

{reg[#(\s*</div>\s*){2}$#]}|  - только 2, в конце текста

{reg[#^(\s*</div>\s*){2,}|(\s*</div>\s*){2,}$#]}|  - от 2-х и более, в начале и в конце текста

{reg[#(\s*</div>\s*){2,}#]}|   - от 2-х и более, удаление по всему тексту

 

 

 

[Rassol2]

6 минут назад, partshez сказал:

Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

[partshez]

12 минут назад, Rassol2 сказал:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Спасибо! Получилось

[partshez]

27 минут назад, Rassol2 сказал:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

Спойлер

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

а в товаре четыре </div> в конце!

Спойлер

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div></div></div></div>

Как же оставить только один?

[Rassol2]

3 минуты назад, partshez сказал:

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

Значит модуль записывает вам в описани один див как вы и хотите.
 

3 минуты назад, partshez сказал:

а в товаре четыре </div> в конце!

Ищите какие элементы шаблона добавляют вам дивы. Может это от самого шаблона.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

[partshez]

1 минуту назад, Rassol2 сказал:

Значит модуль записывает вам в описани один див как вы и хотите.
 

Исчислите какие элементы шаблона добавляют вам дивы.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

[Rassol2]

Только что, partshez сказал:

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

Если вы составили код в границе и передали его в товар, то именно он будет записан.
По другому быть не может.

Ищите.

[Reanimaster]

2 минуты назад, partshez сказал:

Буду искать...

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}|</div>

Змінено 6 липня 2021 користувачем Reanimaster

[Rassol2]

Только что, Reanimaster сказал:

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}| </div>

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

[Reanimaster]

9 минут назад, partshez сказал:

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

А в админке. В описании товара так записано?

[Reanimaster]

2 минуты назад, Rassol2 сказал:

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

Начал раньше писать, отвлекли))

[blyskavka]

Добрый день. А как можно импортировать с xml файла только нужные товары с определенной категории а не все подряд?

[Rassol2]

1 минуту назад, blyskavka сказал:

Добрый день. А как можно импортировать с xml файла только нужные товары с определенной категории а не все подряд?

Только через допуски к обработки.
Других механик нет.

[Starychenko]

В 03.07.2021 в 19:53, Rassol2 сказал:

Да вы можете записать это через регулярные выражения.
такая возможность присутствует в модуле.

Благодарю, решил таким образом 

{reg[#/catalog/[0-9]+/#]}

[REVO123]

Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

2021-07-07 10:43:05| ->[ИЗОБРАЖЕНИЕ] : Изображение НЕ НАЙДЕНО. Ответ сервера [404] Ссылка | https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg_________https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg

[Flint2000]

1 годину назад, REVO123 сказав:

Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

Значит не правильно задали границу парсинга

[REVO123]

5 минут назад, Flint2000 сказал:

Значит не правильно задали границу парсинга

http://joxi.ru/4Ak77xou0zkkQA

http://joxi.ru/KAgxx3oHN8KNNr

http://joxi.ru/bmoqq7zc7Jy70A

На проверке норм выходит