[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

5 минут назад, danu сказал:

подскажите пожалуйста модуль же обновляет и добавляет по Идентификатору, обновляет и добавляет товары после поиск замены или до поиск замены? если после подскажите пожалуйста какой нибудь выражении что бы убрал первые два или три значение например если 000100 то убрал 000, если 001000 то первый два 00, не проста ноля убрал а если первый нол идет то тогда убрал.

Здравствуйте.
Поиск замена стоит после парсинга и перед записью.

По этому все делается после замены. В обратном случаи нет смысла в поиск замене.
Зачем что то менять если в итоге запишется изначальный вариант

Правило будет такое.
{reg[#^0+#]}|
Это правило будет удалять из границы все нули от начала значения до первого символа не равного нулю.
 

Спойлер

Вот второй вариант.

Спойлер

 

[danu]

7 минут назад, Rassol2 сказал:

Здравствуйте.
Поиск замена стоит после парсинга и перед записью.

По этому все делается после замены. В обратном случаи нет смысла в поиск замене.
Зачем что то менять если в итоге запишется изначальный вариант

Правило будет такое.
{reg[#^0+#]}|
Это правило будет удалять из границы все нули от начала значения до первого символа не равного нулю.
 

  Показать контент

Вот второй вариант.

  Показать контент

 

Спасибо большое, то что нужно.

[Rassol2]

2 минуты назад, danu сказал:

Спасибо большое, то что нужно.

Не за что.

[partshez]

7 часов назад, Rassol2 сказал:

задумаюсь об этом.
но это другая сфера с другой логикой.
Так что если и будет то не скоро. Если много идей которые нужно реализовать в текущем модуле.

Поддерживаю. Парсер должен быть парсером. Иначе придется открывать школу по обучению. 

Телефон должен быть в первую очередь звонилкой. А для качественных фотографий нужен фотоаппарат.

Хотя бывают варианты 

Змінено 27 травня 2021 користувачем partshez

[Stin]

Цитата

2021-05-28 10:47:21| Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 28 | Текст ответа = Connection timed out after 15000 milliseconds 

 

В логи модуля вот такая запись при попытке сделать обработку XML

Подскажите, Где увеличить время обработки?

[Rassol2]

1 минуту назад, Stin сказал:

 

В логи модуля вот такая запись при попытке сделать обработку XML

Подскажите, Где увеличить время обработки?

эх.
В настройка запроса.
 

[Stin]

Ага. спасибо. Поменял на 25. пытаюсь сохранить, выскакивает

Фатальная ошибка: Uncaught Exception: Ошибка: Неизвестный столбец 'auth_use' в 'списке полей' <br /> Номер ошибки: 1054 <br /> ОБНОВЛЕНИЕ `bt_pars_browser` SET proxy_use = 2, timeout = 20, connect_timeout = 20, protocol_version = 2, header_get = 0, followlocation = 1, cookie_use = 0, cookie_up = 0, user_agent_use = 1, user_agent_change = 0, user_agent_list = '', header_use = 0, header_change = 0, header_list = '', ch_connect_timeout = 10, ch_timeout = 10, ch_url = 'https://hd.by/index.php?route=product/product&path=66&product_id=129657', ch_pattern = 'AR-00230', auth_use = '0', auth_url = '', auth_data = '', auth_type = '1', auth_url_check = '', auth_str = ''ГДЕ dn_id = 12 в /home/blitsinv/public_html/system/library/db/mysqli.php:40 Трассировка стека: # 0 /home/blitsinv/public_html/system/library/db.php(16): DB \ MySQLi- > query ('UPDATE `bt_pars ...', Array) # 1 /home/blitsinv/public_html/admin/model/catalog/simplepars.php(11810): DB-> query ('UPDATE` bt_pars ...') # 2 / home / blitsinv / public_html / syst в/home/blitsinv/public_html/system/library/db/mysqli.php в строке 40

 

[Rassol2]

2 минуты назад, Stin сказал:

Ага. спасибо. Поменял на 25. пытаюсь сохранить, выскакивает

Фатальная ошибка: Uncaught Exception: Ошибка: Неизвестный столбец 'auth_use' в 'списке полей' <br /> Номер ошибки: 1054 <br /> ОБНОВЛЕНИЕ `bt_pars_browser` SET proxy_use = 2, timeout = 20, connect_timeout = 20, protocol_version = 2, header_get = 0, followlocation = 1, cookie_use = 0, cookie_up = 0, user_agent_use = 1, user_agent_change = 0, user_agent_list = '', header_use = 0, header_change = 0, header_list = '', ch_connect_timeout = 10, ch_timeout = 10, ch_url = 'https://hd.by/index.php?route=product/product&path=66&product_id=129657', ch_pattern = 'AR-00230', auth_use = '0', auth_url = '', auth_data = '', auth_type = '1', auth_url_check = '', auth_str = ''ГДЕ dn_id = 12 в /home/blitsinv/public_html/system/library/db/mysqli.php:40 Трассировка стека: # 0 /home/blitsinv/public_html/system/library/db.php(16): DB \ MySQLi- > query ('UPDATE `bt_pars ...', Array) # 1 /home/blitsinv/public_html/admin/model/catalog/simplepars.php(11810): DB-> query ('UPDATE` bt_pars ...') # 2 / home / blitsinv / public_html / syst в/home/blitsinv/public_html/system/library/db/mysqli.php в строке 40

 

Это вы забыли выполнить inst.php при последнем обновлении и в таблицу не попали новые столбцы.
Выполните ./inst.php из последней версии.

[Stin]

Да. спасибо. Но и этого максимального времени не хватает,

2021-05-28 11:07:14| Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 28 | Текст ответа = Connection timed out after 25006 milliseconds 

[Rassol2]

Только что, Stin сказал:

Да. спасибо. Но и этого максимального времени не хватает,

2021-05-28 11:07:14| Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 28 | Текст ответа = Connection timed out after 25006 milliseconds 

Тогда вам идти в поддержку хостинга и узнавать сколько у них максимальное время выполнения скрипта php
поскольку как правило на хостинге это 30с

В данном случаи настройки в модуле сделаны так что бы 25 секунд модуль ждал получения файла. И хотя бы 5с на его обработку.
Поскольку все же если вы ждете 25 загрузки файла то он весит много и нужно много времени на его обработку.

Одним словом узнаете сколько максимальное время выполнения скрипта. И если оно больше 30с я напишу где добавить варианты времени ожидания.

[Axelenz]

 

Прошлый пост по удалению пробельных символов из текста

 

В прошлом сообщении я расписывал несколько регулярных выражений для "чистки" текста от лишних пробельных символов.
Но чем хороши регулярные выражения, что почти всегда можно найти, как это реализовать по-другому.

 

Варианты регулярного выражения, которое приводит текст к виду "стих" (с сохранением перевода строки в конце строки)

 

1. Вариант использует \s - пробельный символ.
{reg[#\h{2,}#]}| - тут пробел
{reg[#^\s+|\s+$#m]}|

 

2. Вариант использует \S - непробельный символ.
{reg[#\h{2,}#]}| - тут пробел
{reg[#^[^\S]+|[^\S]+$#m]}|

 

3. Вариант использует $1 - захваченную группу.
{reg[#\h{2,}#]}| - тут пробел
{reg[#^\s+(.*?)\s+$#m]}|$1

 

4. Вариация из 2-го и 3-го вариантов.
{reg[#\h{2,}#]}| - тут пробел
{reg[#^[^\S]+(.*?)[^\S]+$#m]}|$1

 

...

 

Результат после преобразования:

 

Спойлер

 

[yurok79]

Подскажите пожалуйста, при парсинге в CSV получается такая абракадабра https://prnt.sc/13k3mye

На предпросмотре все хорошо. В Excel как на скрине. Кодировку менял в UTF еще хуже(

Как починить это?

Змінено 29 травня 2021 користувачем yurok79

[Snusnumrik]

Добрый день!

Сегодня почему то перестала работать кнопка "+" в "Парсинг в ИМ"-"Опции"-"Добавить повторно".

Ничего не трогал что могло бы влиять на это... Открыл старые настроенные шаблоны парсинга, там тоже самое, Добавить не работает, а удалить опцию - работает...

[mangol1167]

Добрый день! подскажите пожалуйста почему может е грузиться донор (

[Rassol2]

47 минут назад, mangol1167 сказал:

Добрый день! подскажите пожалуйста почему может е грузиться донор (

 

С чего вы взяли что у вас не грузится сайт ?
Вы путаете окно пред просмотра. У вас все грузится. Вот смотрите.
 

Спойлер

А то что сайт не открывается в пред просмотре это нормально.
Не все сайты разрешают открывать себя внутри других сайтов.
Просто выключите пред просмотр и работаете дальше.
 

Спойлер

На парсинг это не влияет никак.

[Rassol2]

5 часов назад, Snusnumrik сказал:

Добрый день!

Сегодня почему то перестала работать кнопка "+" в "Парсинг в ИМ"-"Опции"-"Добавить повторно".

Ничего не трогал что могло бы влиять на это... Открыл старые настроенные шаблоны парсинга, там тоже самое, Добавить не работает, а удалить опцию - работает...

Какая у вас версия модуля ?
 

[Rassol2]

20 часов назад, yurok79 сказал:

Подскажите пожалуйста, при парсинге в CSV получается такая абракадабра https://prnt.sc/13k3mye

На предпросмотре все хорошо. В Excel как на скрине. Кодировку менял в UTF еще хуже(

Как починить это?

Это вопрос кодировки.
На каком языке у вас сайт донор?
Скиньте сюда эсель, или кусок.

[Snusnumrik]

14 минут назад, Rassol2 сказал:

Какая у вас версия модуля ?

SimplePars v4.3_stable

 

Вчера только всё работало, а сегодня ни как... Пока парсю с одной опцией, а потом добавляю вторую к уже спрасеным... хорошо что пока только 2 опции нужны

[Rassol2]

1 минуту назад, Snusnumrik сказал:

SimplePars v4.3_stable

 

Вчера только всё работало, а сегодня ни как... Пока парсю с одной опцией, а потом добавляю вторую к уже спрасеным... хорошо что пока только 2 опции нужны

эмм.

У модуля нет возможности меняться просто так, по собственному желанию.
Я проверю возможно какой то баг, но если у вас вчера работало а сегодня нет то нужно искать что было сделано вчера.
 

[Rassol2]

1 час назад, Snusnumrik сказал:

SimplePars v4.3_stable

 

Вчера только всё работало, а сегодня ни как... Пока парсю с одной опцией, а потом добавляю вторую к уже спрасеным... хорошо что пока только 2 опции нужны

Если есть возможность напишите в ЛС доступ к админке я посмотрю у вас.
Так как у меня это баг не воспроизвелся.

[Fedir_org]

Искал решение и не нашёл.

Проблема: При правильно настроенных ссылках, поиске и замене и последующем правильном отображении товара. Товары не загружаются и в интернет магазин. Пробовал из другого сайта загрузить товары и все получилось. Это один из больших маркетплейсов. Возможно нужно использовать прокси?
 

Цитата

2021-05-30 14:21:44| =>[СТРАНИЦА ЗАГРУЖЕН ИЗ КЕША] Ссылка | https://.com.ua/194/5183/
2021-05-30 14:21:45| !->[Товар не создан] : Товар с sku  = [12bbbd5d8] Уже существует в магазине и модуль его не создавал.

 

В чем может быть причина? Спасибо.

[Rassol2]

8 минут назад, Fedir_org сказал:

В чем может быть причина? Спасибо.

Я наверное покажусь Капитаном Очевидность. Но все же вот ответ.
 

Спойлер

Это ответ почему модуль не создает товар у вас в магазине.
Или объясните в чем ваш вопрос, потому что я не думаю что вы это не заметили.

[Fedir_org]

Я это заметил. Однако товара нет ни в магазине не в редактировании товара. Пробывал "обновлять", "добавлять и обновлять" — не помогает.

Тоесть в логах пишет что товары есть и не может его создать, однако по факту его нету.

[Rassol2]

2 минуты назад, Fedir_org сказал:

Я это заметил. Однако товара нет ни в магазине не в редактировании товара. Пробывал "обновлять", "добавлять и обновлять" — не помогает.

Тоесть в логах пишет что товары есть и не может его создать, однако по факту его нету.

В опенкарте не всегда видно все товары.
К примеру.
Если вы загрузили товары в украинскую локализацию. При этом не заполнили Русскую , и пытаетесь увидить товар из админки на русском, то товара не выведится и вы будете думать что товара нет.
Но стоит вам переключить админку в украинскую локализацию, как товар сразу же появится.
Это первый вариант, почему вы не можете найти.

Это я описываю по той причине, что ответ в логах это прямой факт того что в базе данных, есть товар у которого указан артикул который вы парсите.

 

[Fedir_org]

37 хвилин назад, Rassol2 сказав:

В опенкарте не всегда видно все товары.
К примеру.
Если вы загрузили товары в украинскую локализацию. При этом не заполнили Русскую , и пытаетесь увидить товар из админки на русском, то товара не выведится и вы будете думать что товара нет.
Но стоит вам переключить админку в украинскую локализацию, как товар сразу же появится.
Это первый вариант, почему вы не можете найти.

Это я описываю по той причине, что ответ в логах это прямой факт того что в базе данных, есть товар у которого указан артикул который вы парсите.

 

Да, я смотрел ваши видео и помню о таком нюансе. Выбирал только 1 локализацию, однако товар не появляется.
Попробовал не с маркеплейсом, а с 2 сайтом. Выдает идентичную ошибку про существование товара.
Пробовал из 3 сайтом. Все работает, товары добавляются.

И еще странность. Модуль зависает на парсинге товаров. Когда перегружаеш(F5), то пишет Обработано ссылок: 1 из 10.