[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, Bookert сказал:

Добрый день. Подскажите пожалуйста - в настройках же можно выставить так, чтобы после того как спарсились и создались нужные товары, чтобы они не были включены? 

Здравствуйте.
да конечно.

Спойлер

 

[partshez]

Подскажите, кто сталкивался. 

Сайты с кириллическими адресами парсятся? https://xn--b1afsmdq5d.xn--p1ai/shop/group-boilers-with-manual-loading-of-fuel/smart-2/

Пытаюсь открыть, показывает ошибку, в Логах вроде бы успешный запрос! https://prnt.sc/u4vq2k   https://prnt.sc/u4vqcf

Не парсится сайт или мутить с запросами?

[Rassol2]

6 минут назад, partshez сказал:

Подскажите, кто сталкивался. 

Сайты с кириллическими адресами парсятся? https://xn--b1afsmdq5d.xn--p1ai/shop/group-boilers-with-manual-loading-of-fuel/smart-2/

Пытаюсь открыть, показывает ошибку, в Логах вроде бы успешный запрос! https://prnt.sc/u4vq2k   https://prnt.sc/u4vqcf

Не парсится сайт или мутить с запросами?

Как вы можете видить по своим скриншотам сайт донор пытается вам через JavaScript подсунуть Coocke а замете перезагрузить страницу.

Но модуль SimplePars не совсем браузер и он не умете выполнять js скрипты, то есть вам он его выводить но не обрабатывает, так как в нем нет интерпретатора js кода.
Значит нужно открыть страницу вручную.
И подсунуть куки из своего браузера.

Как это сделать описано здесь - https://simplepars.top/index.php?page=note&note_id=29

Вашем случаи не нужно авторизоваться но логика такая же.

Как сделал я
 

Спойлер

А вот какой результат
 

Спойлер

 

[partshez]

Спасибо! Так и рассчитывал сделать, но на всякий случай поинтересовался. Есть еще непонятка. Сейчас в личку нарисую

[Rassol2]

Вынес в отдельную заметку объяснение работы с логическими и арифметическими операторами.
https://simplepars.top/index.php?page=note&note_id=33

[VerKigi]

Здравствуйте. Установил модуль, но слева в меню не отображается. Вот логи
MOD: SimplePars
CODE: $data['module'] = $this->url->link('extension/module', 'token=' . $this->session->data['token'], 'SSL');
LINE: 444
CODE: <li><a href="<?php echo $manufacturer; ?>"><?php echo $text_manufacturer; ?></a></li>
NOT FOUND!

[Rassol2]

2 минуты назад, VerKigi сказал:

Здравствуйте. Установил модуль, но слева в меню не отображается. Вот логи
MOD: SimplePars
CODE: $data['module'] = $this->url->link('extension/module', 'token=' . $this->session->data['token'], 'SSL');
LINE: 444
CODE: <li><a href="<?php echo $manufacturer; ?>"><?php echo $text_manufacturer; ?></a></li>
NOT FOUND!

У вас нету в магазине стандартного поля вывода производителей ?
Дайте доступ к фтп и админке я пропишу вам правильно.

[Bookert]

5 часов назад, Rassol2 сказал:

Здравствуйте.
да конечно.

  Показать контент

 

Спасибо, куплю на днях модуль и буду изучать, а то руками заливать это бред конечно.. 

[Kiyoshi]

Здравствуйте добавьте пожалуйста для вкладки URL/Сбор ссылок возможность видеть сколько было отсеяно ссылок как дублей и сколько отфильтровано очень поможет подгонять настройки особенно когда донор выводит один и тоже товар сразу в нескольких родительские категориях.

[Rassol2]

1 минуту назад, Kiyoshi сказал:

Здравствуйте добавьте пожалуйста для вкладки URL/Сбор ссылок возможность видеть сколько было отсеяно ссылок как дублей и сколько отфильтровано очень поможет подгонять настройки особенно когда донор выводит один и тоже товар сразу в нескольких родительские категориях.

Нет пока что такого не будет.
Потому что для этого нужно вводить счетчик который будет считать сколько ссылок получено, а сколько записано в базу данных, и затем это еше и хранить очищать,
Точно не будет.
Это сильно дорого для сервера, а точнее затраты ресурсов на это все не оправданы.

Оно того не стоит.

[Rassol2]

Написал инструкцию по настройке парсинга описаний в которых есть изображения.
https://simplepars.top/index.php?page=note&note_id=34

[partshez]

Хотелка.

Удалить атрибуты и опции возможность есть. Такой же функционал нужно для акционной цены. Иначе ранее установленные акционные цены остаются при некоторых условиях. А удалить массово не получается.

[Rassol2]

1 час назад, partshez сказал:

Хотелка.

Удалить атрибуты и опции возможность есть. Такой же функционал нужно для акционной цены. Иначе ранее установленные акционные цены остаются при некоторых условиях. А удалить массово не получается.

Да реализую, наверное в следующем релизе будет.

[paslent]

Приобрёл модуль только вчера, поэтому задам сразу четыре вопроса, извините)

 

1. Спарзил "рекомендуемые товары" ко всем товарам. Не нашёл возможности вставить, её нет?

2. Также хотел бы вставить все фото в описание товаров (хорошо смотрится на мобильных), есть возможность?

3.КАК ПРЕОБРАЗОВАТь такой текст в "Как преобразовать такой текст"?

4. И последнее. У меня нет возможности спарзить цену на акцию. Есть поле "цена" и поле "старая цена".  Если поле "старая цена".содержит значение, тогда оно должно стать ценой, а поле "цена" - акцией. Если поле поле "старая цена" пусто, тогда ценой становистя поле "цена" и ации нет. Как такое сделать?

[Rassol2]

1 час назад, paslent сказал:

1. Спарзил "рекомендуемые товары" ко всем товарам. Не нашёл возможности вставить, её нет?

Здравствуйте. Нет такой возможности нет.
По какому признаку она должна вставлятся в товар ? При учете что рекомендованный товар должен быть не только спарсер у донора перед тем как вставить к вам, он еше и должен быть созданным у вас в магазине.
 

1 час назад, paslent сказал:

2. Также хотел бы вставить все фото в описание товаров (хорошо смотрится на мобильных), есть возможность?

Да такая возможность есть.

https://simplepars.top/index.php?page=note&note_id=34

 

1 час назад, paslent сказал:

3.КАК ПРЕОБРАЗОВАТь такой текст в "Как преобразовать такой текст"?

Это сделать легче простого.
https://simplepars.top/index.php?page=note&note_id=9

 

1 час назад, paslent сказал:

4. И последнее. У меня нет возможности спарзить цену на акцию. Есть поле "цена" и поле "старая цена".  Если поле "старая цена".содержит значение, тогда оно должно стать ценой, а поле "цена" - акцией. Если поле поле "старая цена" пусто, тогда ценой становистя поле "цена" и ации нет. Как такое сделать?

Просто используйте логический оператор или {|} про это детально написано здесь
https://simplepars.top/index.php?page=note&note_id=33

[VerKigi]

Здравствуйте.Поставил парсить просто категории с сайта донора. По начал все было быстро, показывало остаточное время 8 часов. Сейчас с каждой спарсенной категории время только увеличивается. Посоветуйте как сократить время?

 

[Rassol2]

1 минуту назад, VerKigi сказал:

Здравствуйте.Поставил парсить просто категории с сайта донора. По начал все было быстро, показывало остаточное время 8 часов. Сейчас с каждой спарсенной категории время только увеличивается. Посоветуйте как сократить время?

 

Скорость парсинга зависит от нескольких параметров.

1. Самый важный. Скорость ответа сайта донора. Время за которое сайт донор отдает информацию.
2. Скорость работы вшего сайта. Скорость с которой выполняются sql запросы.

В чем может быть причина.
Сайт донор он как и ваш сайт в большинстве случаев стоит на хостинге, и после достежения определенного порога нагрузки может замедлятся хостером. А значит и отдавать вам ответы будет дольше.
Тоже самое касается вашего хостинга.

Попробуйте убрать парсинг в 5 потоков, возможно сайт донор для начала ограничил количество одновременных соединений с одного ip, а значит обрабатывается одна ссылка а 4 донор ставить в очередь.

Тут нужно смотреть конкретно у вас причины, почему замедляется.

[VerKigi]

Ip пробовал менять, все равно нет изменений. До этого работал на хостинге, после 5 раза блокировки за лимиты по нагрузке перешел на локальный сервер. Здесь тоже самое, по началу быстро потом замедляется все больше

[Rassol2]

1 минуту назад, VerKigi сказал:

Ip пробовал менять, все равно нет изменений. До этого работал на хостинге, после 5 раза блокировки за лимиты по нагрузке перешел на локальный сервер. Здесь тоже самое, по началу быстро потом замедляется все больше

Значит скорее всего сайт донор просто не может постоянно отдавать информацию с большой скоростью.
У него тоже есть ограничения.

После определенного времени замедляет из за ограничений.
А в модуле подсчет времени идет так.

Берем время в течении которого нажата кнопка парсить, и делим на количество спарсеннных ссылок. Полученный результат умножаем на количество оставшихся ссылок в очереди.

К чему я это.
Если модуль за одну минуту парсил 100 ссылок, а затем через 2 часа стал парсить за минуту 50 ссылок. То время до окончания потихоньку будет нарастать пока полностью, не будет соответствовать правде.

Вам кажется что модуль потихоньку увеличивает время выполнения процесса а это может быть просто банальная реакция на то что донор стал работать в 10 раз медленнее.

 

[Rassol2]

Что бы работа была максимально быстрой вы можете.
1. Освободить ресурсы на хостинге (или локалке)
2. Отключить кеширование страниц донора.
3. Не ддостить сайт донор уменьшить колво потоков.

Есть хостинги которые включают ограничения при достижении лимита запросов за один час или одну минуту.
так вот один поток медленнее пяти потоков в краткосрочной перспективе. Но если у донора включаются зашита то один поток на дальней дистанции может показать более быструю скорость так как он не попадет под блокировки.

На скорость работы еше сильно сказывается пользования посредников в виде прокси. Тут все зависит от качества прокси.
И да помним php 7.1 и новее, выгодно быстрее работает чем более ранние версии.

[paslent]

10 часов назад, Rassol2 сказал:

 

Да такая возможность есть.

https://simplepars.top/index.php?page=note&note_id=34

 

 

Я имел ввиду не совсем это. У сайта донора нет в описании картинок. Я хочу добавить сам те картинки, которые у него в галерее себе в описание.

[Rassol2]

1 минуту назад, paslent сказал:

 

Я имел ввиду не совсем это. У сайта донора нет в описании картинок. Я хочу добавить сам те картинки, которые у него в галерее себе в описание.

Да вы это тоже можете сделать.
Составить через поиск замену границу где будут лежать фот с галереи обернув их в html теги img
А затем просто указать эту границу парсинга в поле Описание.

[Rassol2]

4 минуты назад, paslent сказал:

 

Я имел ввиду не совсем это. У сайта донора нет в описании картинок. Я хочу добавить сам те картинки, которые у него в галерее себе в описание.

Идея конечно сумасшедшая и зачем это нужно непонятно, но сейчас чисто для фана попробую реализовать такое.

[Rassol2]

11 минут назад, paslent сказал:

 

Я имел ввиду не совсем это. У сайта донора нет в описании картинок. Я хочу добавить сам те картинки, которые у него в галерее себе в описание.

Все довольно быстро.

берем границу с доп фото что хотите поместить в описание.
 

Спойлер

Прокачиваем настройки границы, выбираем разделителем <br> что бы фото были не в строку а в столбик.
 

Спойлер

Далее шлифуем это все в поиск замене. Подставляем нужные теги в ссылку на фото, так как в описании фото должны быть сформированы по стандарту html
 

Спойлер

Прописываем эту границу парсинга в роли границы парсинга описания.
 

Спойлер

Запускаем парсинг, и вот результат.
 

Спойлер

Доп фото разместились в описании товара.

Интересно конечно, тут можно доработать перемешать описание с фото но это будет дольше.
Но даже такую дич можно сделать

[paslent]

11 часов назад, Rassol2 сказал:

Это сделать легче простого.
https://simplepars.top/index.php?page=note&note_id=9

 

А можно для совсем тупых чайников поподробнее? ) 
Слева я нахожу заглавные регулярным выражением. А справа я должен их менять на те же буквы, только маленькие. 
Т. е. справа мне нужно опять регулярное выражение? Но справа можно задать только константу и регулярное выражение не запоминается.

 

Спасибо за предыдущие ответы!