[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

1 час назад, RomanBohutskyi сказал:

Можно в таком случаи, если код товара нету на сайте донора, то создавать по умолчанию?

тоесть объеденить эти две функции - http://prntscr.com/shf8ip

Если есть в донора Код товара то парсить а если нет то создать по умолчанию

Можно но нужно тогда явно создавать отдельный переключатель.
В котором все это реализовать. Но это будет уже когда начну добавлять сравнения товара по другим полям. Такми как UPС EAN ....

[Embit]

Добрый вечер. На хостингу работа php ограничена временем 60 секунд, обходит ли модуль данное ограничение как-то, если да то как?

[Rassol2]

2 минуты назад, Embit сказал:

Добрый вечер. На хостингу работа php ограничена временем 60 секунд, обходит ли модуль данное ограничение как-то, если да то как?

да обходит.
Используются ajax запросы, и в этом случаи вы не столкнетесь с этой проблемой.

Модуль выполняет порционные задания, и каждая порция требует меньше времени чем даже стандартное ограничение в 30 сек

[Rassol2]

3 минуты назад, RomanBohutskyi сказал:

Хорошо что это будет реализовано. Но как сейчас быть? У меня не спарсило 3 товара и это только с одной категории. И как и их спарсить?

Вы можете использовать для артикула хеш ссылки на товар.
https://simplepars.top/index.php?page=note&note_id=11

 

И тогда у вас будет уникальный идентификатор всех товаров донора.
Но я к сожалению не могу решить вопрос за донора что бы проставить ему артикулы. В данном случаи вам нужно искать решение в обход этой ситуации.
 

[Rassol2]

Сейчас пишу чекер данных для тех кто парсить в CSV а пока задам вопросик.

После завершения чекера в с CSV я буду конструировать проверку ссылоко на то были они спарсены или нет.
Пока я вижу это так.

После сбора ссылок у нас будет один список ссылок они все не обработаны.
После запуска парсинга модуль будет проходить по ссылкам и парсить их, на некоторые может получить разные ответы.

404 - страница ненайдена
301 - Редирект
500 - Внутренняя ошибка сервера.

Короче говоря ответов может быть множество.
В том числе от самого cURL могут быть ответы по типу ошибка 28 не дождался ответа от донора.

Я предполагаю реализовать возможность после парсинга увидеть список ссылок которые небыли обработаны. По разным причинам.
И далее иметь возможность запустить парсинг ТОЛЬКО по ссылкам что не были обработаны.
Отдельно переключатель.

Если к примеру вывести список ссылок который будет показывать все ссылки что были с ошибкой это 100 % нужно. Ну так же удалять их при необходимости.
Но вот нужно ли делать возможным запуск повторного парсинга ссылок которые считаются битыми по определенной причине ?
К примеру выбрать список ссылок при парсинге которых сервер отдал 404 ответ, и прогнать только его.
А затем выбрать список в котором ссылки были помечены битыми потому что ответ был 500 ошибкой ?

Не знаю насколько это вообще востребовано ?

[Rassol2]

Спарсило у меня 26 товаров с 31. Смотрю логи то не могло спарсить идентификатор. Проверяю при просмотре то все нормально. Ничего не трогал с настройками и перегрузил ссылки и поставил еще раз то спарсило 30 товаров. Это может быть с донором сайта соединение плохое?
Если у меня интернет долго грузит или плохой интернет у меня во время парсинга то может быть такой причиной? или оно выполняет парсинг на стороне хостинга?

Парсинг происходит на стороне хостинг.
включите создание кэша страницы сайта донора и посмотрите на те страницы которые закрывались при парсинге. через вкладку настройки паршина возможно сайт донор вам подсунул другую страницу на которой нет артикула.

Отправлено с моего Pixel через Tapatalk

[stas2010]

17 часов назад, Rassol2 сказал:

Но вот нужно ли делать возможным запуск повторного парсинга ссылок которые считаются битыми по определенной причине ?
К примеру выбрать список ссылок при парсинге которых сервер отдал 404 ответ, и прогнать только его.

думаю, что надо.

пример тому - использование, как мы уже в личке обсуждали, например, заранее готового списка ссылок - часто использую на сайтах поисковые запросы со штрихкодом. т.е. отправляешь донору сегодня 50000 ссылок, он отдает, например, 20000, т.е. сегодня в его базе 20000 товаров, а на остальные донор может дать и 404 ошибку или другую. через неделю на доноре появились еще 1000 товаров, которые были сегодня в списке ссылок с ошибками. т.е. не надо будет весь список потом заново лопатить, а просто повторно запустить те, что с ошибками.

опять же часто встречал сайты, которые банили на некоторое время, а потом при втором парсинге ссылки удавалось вытянуть, но приходилось вручную их потом вытягивать.

 

а за обновку СПАСИБО !!! скоро с таким подходом и реализацией все идеи "чего бы еще добавить" закончатся

Ждем для csv и возможность работы с уже имеющимися атрибутами в товаре .

Кстати, почему бы в редакторе границ просто не сделать возможность присваивать границе значение атрибута? к тому же теперь и обработка условий появилась. 

Змінено 16 травня 2020 користувачем stas2010

[stas2010]

Дополню, что создавая границы из данных из базы своего магазина можно при новом функционале сравнения избавиться от перезаписывания уже созданных и обработанных данных в товарах, что часто происходит при Обновлении. 

[Rassol2]

1 час назад, RomanBohutskyi сказал:

Вот еще какая ошибка есть

  Скрыть контент

2020-05-16 11:00:55| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Resolving timed out after 10000 milliseconds | Ссылка - https://probicyclegroup.com/komponenty/1595-podsedelnyj-khomut-349-venzo-chyornyj.html

 

Это Ошибка гласит что модуль не получил ответ от сайта донора за указанное время. В данном случаи 10сек.
Время указывается на вкладке Настройки браузера.
 

Спойлер

Ознакомитесь с возможностями настроек Браузера в модуле.

https://simplepars.top/index.php?page=notes&tag_id=21

[Rassol2]

1 час назад, RomanBohutskyi сказал:

Случайно не ту категорию выбрал сдесь - http://prntscr.com/shvcqo

Если сменил на правильную то при повторно обновлении категорию не обновляет на новую. Только вручную. Можно сделать чтобы если сменилась то обновляло и сменило автоматически категорию?

Можно указав категорию вот здесь
 

Спойлер

А еше можно поправить вашу ситуацию через редактор товаров.
 

Спойлер

Ознакомьтесь с возможностями редактора товаров.
https://simplepars.top/index.php?page=note&note_id=30

1 час назад, RomanBohutskyi сказал:

Сори при редактировании товара оно то сменило - http://prntscr.com/shveua

Но при просмотре старая категория в хлебных крошках - http://prntscr.com/shvf7s

Попробуйте почистить кеш.

[Rassol2]

1 час назад, stas2010 сказал:

Ждем для csv и возможность работы с уже имеющимися атрибутами в товаре .

Кстати, почему бы в редакторе границ просто не сделать возможность присваивать границе значение атрибута? к тому же теперь и обработка условий появилась. 

Вот это не совсем понял ?
Можете перефразировать что ли.

[stas2010]

В Парсинг ИМ в "Производители" "По умолчанию" удобнее бы было, чтобы сортировка была по имени

[stas2010]

Спойлер

7 минут назад, Rassol2 сказал:

1 час назад, stas2010 сказал:

Ждем для csv и возможность работы с уже имеющимися атрибутами в товаре .

Кстати, почему бы в редакторе границ просто не сделать возможность присваивать границе значение атрибута? к тому же теперь и обработка условий появилась. 

Вот это не совсем понял ?
Можете перефразировать что ли.

 

В настройках парсинга есть тип границы парсинга (обычная и повторяющаяся).

Можно туда же добавить другие типы границ, например, "Атрибут", "EAN", "Категория", "Название", "Тэги", и т.п., с чем необходимо работать.

Для "Атрибут" выбираем из списка атрибутов магазина, для других типов - соответственно или из имеющегося списка или в поле создаем/берем. Тут правда действительно надо подумать, к чему привязаться, чтобы вытащить для определенной карточки товара. При этом придется сначала как-то задать тот же артикул или спарсить его же или имя, модель товара.... это будет актуально при обновлении товаров. в общем, мысли вслух

На выходе получим границу "Атрибут: Мощность LED" {gran_1234} со значение 9W. А теперь уже с этой границей делаем что хотим - сравниваем для добавления, добавляем к другим границам и получаем новые атрибуты, названия, описания и др.

Это можно и в редакторе товара потом использовать и при обновлении товара сразу же создавать новые данные из имеющихся в базе.

 

Есть еще один вопрос - как из ссылки вытянуть данные? В csv есть пункт "Ссылка", а больше я её не видел нигде. В примере выше указывал, что в ссылках могут быть и артикулы и другие данные, а вот границу на базе ссылки тоже не сделать. Кстати, как одно из решений для "кривых" сайтов - можно в качестве артикула использовать и часть ссылки, она же будет и сео. тогда проблема решится при необходимости иметь один и тот же товар но по разным категориям или другим параметрам, т.е. получим копию донора.

[stas2010]

А как реализовать такое: Если {gran_1} не пустое, то артикул = {gran_1}, иначе, артикул = {gran_2} ? и т.п.

это как раз для тех доноров, где на части товаров есть артикулы, штрихкоды или т.п., а на части товаров их нет, т.е. часто приходится просто название в артикул вбивать.

Змінено 16 травня 2020 користувачем stas2010

[Rassol2]

13 минут назад, stas2010 сказал:

В настройках парсинга есть тип границы парсинга (обычная и повторяющаяся).

Можно туда же добавить другие типы границ, например, "Атрибут", "EAN", "Категория", "Название", "Тэги", и т.п., с чем необходимо работать.

Для "Атрибут" выбираем из списка атрибутов магазина, для других типов - соответственно или из имеющегося списка или в поле создаем/берем. Тут правда действительно надо подумать, к чему привязаться, чтобы вытащить для определенной карточки товара. При этом придется сначала как-то задать тот же артикул или спарсить его же или имя, модель товара.... это будет актуально при обновлении товаров. в общем, мысли вслух

На выходе получим границу "Атрибут: Мощность LED" {gran_1234} со значение 9W. А теперь уже с этой границей делаем что хотим - сравниваем для добавления, добавляем к другим границам и получаем новые атрибуты, названия, описания и др.

Звучит как то сложно, но задам один вопрос какую проблему внедрения такого подхода решит ?
То есть что эта функция позволит реализовать чего нельзя реализовать сейчас ?

 

13 минут назад, stas2010 сказал:

Есть еще один вопрос - как из ссылки вытянуть данные? В csv есть пункт "Ссылка", а больше я её не видел нигде. В примере выше указывал, что в ссылках могут быть и артикулы и другие данные, а вот границу на базе ссылки тоже не сделать. Кстати, как одно из решений для "кривых" сайтов - можно в качестве артикула использовать и часть ссылки, она же будет и сео. тогда проблема решится при необходимости иметь один и тот же товар но по разным категориям или другим параметрам, т.е. получим копию донора.

То что вы описали это рудимент в модуле.
Функция которая не выдержала критики по Дарвину и отмирает, на ее место уже давно пришел банальный подход, в каждом коде сайта в самом верху пишется ссылка на страницу товара.
 

Спойлер

И любой желающий может настроить границу парсинга этой ссылки, а дальше с этой границей можно делать все что угодно.

[stas2010]

44 минуты назад, Rassol2 сказал:

в каждом коде сайта в самом верху пишется ссылка на страницу товара

да, есть такое, спасибо. ссылка вытягивается.

45 минут назад, Rassol2 сказал:

Звучит как то сложно, но задам один вопрос какую проблему внедрения такого подхода решит ?
То есть что эта функция позволит реализовать чего нельзя реализовать сейчас ?

не на всех донорах есть вся необходимая информация. такой подход решит проблему формирования названий, описаний и т.п., когда необходимо склеить данные с двух доноров, с прайса и донора сразу при парсинге.

например, нам надо получить название товара "Светодиодная лампа Philips 9W 3000K (978123456780), Артикул - LED9W-123"

1. Из прайса пришло в базу, например, Название "Лампа 9 Ватт", в атрибутах имеем "9w", "3000K", "978123456780", "LED9W-123",

2. На сайте донора имеем "LED Phillips 9 ватт", описание, и артикул LED9W-123. Парсим сайт из-за хорошего описания и парочки дополнительных атрибутов.

Теперь надо склеить данные из п.1 и п.2

Присвоив границе значение атрибута всё сразу решается быстро и удобно. После обработки поиск-заменой и склеивания нескольких границ можно получить требуемый результат, который хоть в csv, хоть в ИМ сразу.

Пока другого решения имеющимся функционалом не вижу.

 

 

 

[startkomp1]

Добрый день! А кто нибудь настраивал парсинг опций товаров с битрикса, там цена подгружается при выборе опции, и сопоставить опции порой довольно сложно. Если есть люди у которых это получилось, просто напишите что это возможно)) Я буду искать решение дальше, но в идеале конечно подсказать как спарсить опции битрикса

[Rassol2]

1 час назад, startkomp1 сказал:

Добрый день! А кто нибудь настраивал парсинг опций товаров с битрикса, там цена подгружается при выборе опции, и сопоставить опции порой довольно сложно. Если есть люди у которых это получилось, просто напишите что это возможно)) Я буду искать решение дальше, но в идеале конечно подсказать как спарсить опции битрикса

Есть2 варианта опций.
1. Когда код всех опций естьна страницы
2. Когда данные по каждой опции подгружаются отдельным под запросом.

Вот если у вас вариант первый то все возможно. А если второй тогда нет.

[partshez]

Всем привет!

Пытаюсь реализовать новую фишку. Использование проверки границ. Что-то не получается пока.

https://prnt.sc/sidz63  Задача: если артикул есть - парсить, Вроде бы все настроил. Выставил Загрузить если - НЕ ПУСТАЯ.

В предпросмотре и логах не вижу проверки этого правила 

Ввожу ссылку, в которой точно нет артикула. https://prnt.sc/sie0n8   

В Логах тоже не вижу проверки правила   https://prnt.sc/sie1cg

Что делаю неправильно?

[Rassol2]

5 минут назад, partshez сказал:

Всем привет!

Пытаюсь реализовать новую фишку. Использование проверки границ. Что-то не получается пока.

https://prnt.sc/sidz63  Задача: если артикул есть - парсить, Вроде бы все настроил. Выставил Загрузить если - НЕ ПУСТАЯ.

В предпросмотре и логах не вижу проверки этого правила 

Ввожу ссылку, в которой точно нет артикула. https://prnt.sc/sie0n8   

В Логах тоже не вижу проверки правила   https://prnt.sc/sie1cg

Что делаю неправильно?

Вот прям точно нету ?
Вы внимательно проверили и там 100% нету ?
Если да то скидывайте проект буду проверять что не так.

[startkomp1]

36 минут назад, Rassol2 сказал:

Есть2 варианта опций.
1. Когда код всех опций естьна страницы
2. Когда данные по каждой опции подгружаются отдельным под запросом.

Вот если у вас вариант первый то все возможно. А если второй тогда нет.

Вот именно второй((

[partshez]

38 минут назад, Rassol2 сказал:

Вот прям точно нету ?
Вы внимательно проверили и там 100% нету ?
Если да то скидывайте проект буду проверять что не так.

Я не увидел у себя 

Сбросил эти настройки на свой тестовый сайт для проверки. Тоже не вижу...

SPsetting-1.json

Змінено 17 травня 2020 користувачем partshez

[Rassol2]

1 час назад, partshez сказал:

Я не увидел у себя 

Сбросил эти настройки на свой тестовый сайт для проверки. Тоже не вижу...

SPsetting-1.json 8 \u043a\u0411 · 0 downloads

да проверю и выложу обновление с исправлением этой ошибки.

[Rassol2]

1 час назад, partshez сказал:

Я не увидел у себя 

Сбросил эти настройки на свой тестовый сайт для проверки. Тоже не вижу...

SPsetting-1.json 8 \u043a\u0411 · 1 download

Собственно маленький недочет.
Исправление сделал и с следующим релизом будет доступно.

Вы можете сами сейчас поправить.
В файле /admin/model/catalog/simplepars.php
Заменить строку
if( empty($rules['gran']) && $rules['gran'] != 0 ){
на
if( empty($rules['gran']) && $rules['gran'] != '0' ){

[partshez]

1 час назад, Rassol2 сказал:

Собственно маленький недочет.
Исправление сделал и с следующим релизом будет доступно.

Вы можете сами сейчас поправить.
В файле /admin/model/catalog/simplepars.php
Заменить строку
if( empty($rules['gran']) && $rules['gran'] != 0 ){
на
if( empty($rules['gran']) && $rules['gran'] != '0' ){

Спасибо! Отлично. Но не могу поправить в данный момент у заказчика на сайте, только у себя на тестовом. Позднее устраним проблему.