Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

3 минуты назад, Starychenko сказал:

@Rassol2

 

Добрый день. Ловлю периодически ошибки авторизации при сборе ссылок по Cron и также при парсинге в ИМ по Cron.

 

Пользуюсь авторизацией по POST запросы.

 

Если в настройках проекта произвести авторизацию - она проходит нормально. Дальше в поле cookies заполняются куки и сбор ссылок или парсинг в ИМ идёт по cron идёт до момента, когда вероятно заканчивается срок жизни кукисов. Дальше парсинг или сбор ссылок останавливается, так как модуль не может найти мой логин, чтобы подтвердить авторизацию.

 

Если к примеру перед запуском Cron в настройках проекта удалить cookies, и не проводить авторизацию вручную (то есть поле кукисов пустое, но настройка авторизации заполнена). То при запуске cron проект завершается по причине того, что он не находит фразу (мой логин, который подтверждает авторизацию).

 

Я могу предложить, что модуль не может провести авторизацию по cron и провести повторную авторизацию, когда время сессии закончилось.

 

Подскажите, пожалуйста, как это можно поправить ? Товары, которые я забираю с сайта донора - доступны только после авторизации на сайте.

 

Заранеет спасибо большое за помощь

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

Надіслати
Поділитися на інших сайтах

4 минуты назад, Rassol2 сказал:

Если у вас указаны настройки верны, и модуль МОЖЕТ сам авторизоваться.
То после окончания жизни сессии, донор перестанет считать ваши запросы авторизированными.
Из за этого в коде страницы исчезнет проверочное слово.
Что приведет к тому что модуль повторно выполнил авторизацию.
И тем самым возобновит сессию.

Смотрите что у вас написано в логах на момент выполнения здания через крон.

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

Надіслати
Поділитися на інших сайтах


Только что, Starychenko сказал:

 

Модуль пишет, что авторизация проведена не успешно и не найдено проверочное слово.

 

Окей, я попробую ещё когда будут компьютера.

 

У меня ещё используется proxy. Предположительно из-за этого могут быть проблемы ?

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

  • +1 1
Надіслати
Поділитися на інших сайтах

3 минуты назад, Rassol2 сказал:

Могут, если на уровне прокси что то отваливается.
Но это можно тоже отловить.

 

Включаете использование кеша, а точнее, парсить и обновить кеш.
Видите что модуль отправил запрос но не видит проверочный текст.
Берете ссылку из логов, идете в настройку границ париснга, выбираете режим использовать кеш, и смотрите что модуль закещировал.

Если отвалился прокси это будет видно в кеше. Так же будет видно если страница действительно не авторизована.

 

Понял, спасибо большое, буду разбираться 

Надіслати
Поділитися на інших сайтах


для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

Надіслати
Поділитися на інших сайтах


2 минуты назад, Shaer сказал:

для корректной работы парсера надо сканировать все 146% ссылок или достаточно их только собрать и поставить в очередь и сразу же можно начинать парсинг?

Нет не нужно все.

Можно и одну ссылку добавит и работать.

Надіслати
Поділитися на інших сайтах

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 

Надіслати
Поділитися на інших сайтах


11 минут назад, Shaer сказал:

еще вопрос можно?

если у донора на каком-то из товаров нет цены или описания или еще чего-то то как сделать чтобы эти товары не заливались в админку ? 


В меню "Пасинг в ИМ" есть в самом низу проверка границ.

По примеру как ниже сделайте цену себе

image.thumb.png.abeedb0f09940b1dab11c4ab10e888d3.png

  • +1 2
Надіслати
Поділитися на інших сайтах


Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

Спойлер

Вес поддона (кг)                             </div>
                        </div>
                        <div class="col-md-7 offset-md-1 col-6">
                            <div class="options">
                                932                            </div>
                        </div>
                    </div>
                                </div>
            </div>
                    </div>
    </div>
</div>

Пробовал несколькими регулярками, не работают.

Спойлер

 

{reg[#(\s*</div>\s*){2,}$#]}|    удалит в конце текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. в начале, между ними и в конце текста. 

 

Регулярное выражение удалит из текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. перед ними, между ними и после них. Удалит в начале текста, в конце текста, в начале и в конце текста или по всему тексту, в зависимости от выбранной формулы:  

{reg[#^(\s*</div>\s*){2,}#]}| - от 2-х и более, в начале текста

{reg[#(\s*</div>\s*){2,}$#]}| - от 2-х и более, в конце текста

{reg[#(\s*</div>\s*){2}$#]}|  - только 2, в конце текста

{reg[#^(\s*</div>\s*){2,}|(\s*</div>\s*){2,}$#]}|  - от 2-х и более, в начале и в конце текста

{reg[#(\s*</div>\s*){2,}#]}|   - от 2-х и более, удаление по всему тексту

 

 

 

Надіслати
Поділитися на інших сайтах


6 минут назад, partshez сказал:

Всем привет! Прошу помощь.В конце текста нужно удалить несколько </div> , оставить только один.

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

  • +1 1
Надіслати
Поділитися на інших сайтах

12 минут назад, Rassol2 сказал:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Спасибо! Получилось

Надіслати
Поділитися на інших сайтах


27 минут назад, Rassol2 сказал:

В настройках границы париснга указать парсить с границами.
Затем привязатся к закрывающему тегу границы.
<div><div><div>закрывающий тег

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

Спойлер

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

а в товаре четыре </div> в конце!

Спойлер

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div></div></div></div>

Как же оставить только один?

Надіслати
Поділитися на інших сайтах


3 минуты назад, partshez сказал:

Странно как-то. В Поиск/Замене, в Предпросмотре в конце один </div>,

Значит модуль записывает вам в описани один див как вы и хотите.
 

3 минуты назад, partshez сказал:

а в товаре четыре </div> в конце!

Ищите какие элементы шаблона добавляют вам дивы. Может это от самого шаблона.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

Надіслати
Поділитися на інших сайтах

1 минуту назад, Rassol2 сказал:

Значит модуль записывает вам в описани один див как вы и хотите.
 

Исчислите какие элементы шаблона добавляют вам дивы.
Это не вопрос к модулю, так как если в модуле вы сделали один то он запишет именно один, и ни как иначе.

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

Надіслати
Поділитися на інших сайтах


Только что, partshez сказал:

Стоит чистый Опенкарт на тестовом сайте без шаблонов.

Буду искать...

Если вы составили код в границе и передали его в товар, то именно он будет записан.
По другому быть не может.

Ищите.

Надіслати
Поділитися на інших сайтах

2 минуты назад, partshez сказал:

Буду искать...

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}|</div>

Змінено користувачем Reanimaster
Надіслати
Поділитися на інших сайтах


Только что, Reanimaster сказал:

А если так?

{br}|

  |

{reg[#\t#]}|

{reg[#<\/div>{2,}$#]}| </div>

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

Надіслати
Поділитися на інших сайтах

9 минут назад, partshez сказал:

<h3>Упаковка</h3><div class="row"><div class="col-md-4 col-6"><div class="name">Кол-во шт в коробке</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">6</div></div></div><div class="row"><div class="col-md-4 col-6"><div class="name">Вес коробки (кг)</div></div><div class="col-md-7 offset-md-1 col-6"><div class="options">4,44</div>

А в админке. В описании товара так записано?

Надіслати
Поділитися на інших сайтах


2 минуты назад, Rassol2 сказал:

А зачем так делать если уже в поиск замене человек добился нужного ему текста ?

Начал раньше писать, отвлекли))

Надіслати
Поділитися на інших сайтах


1 минуту назад, blyskavka сказал:

Добрый день. А как можно импортировать с xml файла только нужные товары с определенной категории а не все подряд?

Только через допуски к обработки.
Других механик нет.

Надіслати
Поділитися на інших сайтах

В 03.07.2021 в 19:53, Rassol2 сказал:

Да вы можете записать это через регулярные выражения.
такая возможность присутствует в модуле.


Благодарю, решил таким образом 

{reg[#/catalog/[0-9]+/#]}

Надіслати
Поділитися на інших сайтах


Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

2021-07-07 10:43:05| ->[ИЗОБРАЖЕНИЕ] : Изображение НЕ НАЙДЕНО. Ответ сервера [404] Ссылка | https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg_________https://vsemteplo.kh.ua/image/cache/catalog/atovar/0038-800x800.jpg

Надіслати
Поділитися на інших сайтах


1 годину назад, REVO123 сказав:

Добрый день, не парсятся главные фото( точнее не всегда, 10% парсятся 90% нет) в логах вот такая ошибка 

Значит не правильно задали границу парсинга

  • +1 1
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.