[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

23 минуты назад, partshez сказал:

Спасибо! Отлично. Но не могу поправить в данный момент у заказчика на сайте, только у себя на тестовом. Позднее устраним проблему.

сегодня выйдет бетка следующая тут по мелочи поправлю все.

[startkomp1]

А можно попросить пару дополнений! Всё же добавить в опции урл картинки. Так же сегодня столкнулся с такой проблемой, что при формировании грацин парсинга, надо было удалить первые 2 значения и 1 последнее значение, к сожаление пока модуль так не может. Так же прошу добавить возможность назначать корневую категорию для всеех загружаемых категорий (сейчас можно выбрать категорию только для всех товаров) - это нужно когда в каталоге много категорий и пихать всё в меню не возможно, поэтому я например мог бы сделать пункт меню каталог и в него заливать все категории с сайта донора. Это пока всё с чем столкнулся при настройке модуля, ну кроме того, что нет возможности загрузить опции, если нет цены в коде по умолчанию (цена появляется при выборе опции)

[Rassol2]

16 минут назад, startkomp1 сказал:

А можно попросить пару дополнений! Всё же добавить в опции урл картинки.

парсинг фото опций будет реализован позже.
 

16 минут назад, startkomp1 сказал:

Так же сегодня столкнулся с такой проблемой, что при формировании грацин парсинга, надо было удалить первые 2 значения и 1 последнее значение, к сожаление пока модуль так не может.

Может и уже очень давно, пересмотрите видео по настройке границ парсинга.

17 минут назад, startkomp1 сказал:

Так же прошу добавить возможность назначать корневую категорию для всеех загружаемых категорий (сейчас можно выбрать категорию только для всех товаров) - это нужно когда в каталоге много категорий и пихать всё в меню не возможно, поэтому я например мог бы сделать пункт меню каталог и в него заливать все категории с сайта донора.

Это тоже возможно с самого первого релиза парсинга в ИМ
Просто допишите имя этой категории перед границей
 

Спойлер

 

@startkomp1 Все есть кроме фото в опициях.

[startkomp1]

Спасибо за развёрнутый ответ!

[Rassol2]

24 минуты назад, RomanBohutskyi сказал:

Чтобы при обновлении модуля не проделывать каждый раз это(так как идет замена файлов) - http://prntscr.com/siio1w

То может есть модификатор по опциям?

нет, у меня нету, возможно сделаю.

Но четно хотелоки появляются быстрее чем я способен реализовывать.
Да и код модуля уже давно не маленький а перевалил за 10тысяч строк в главной библиотеке.
Это накладывает свой отпечаток в скорости разработки.

[Rassol2]

Обновление v3.5-2_beta

Исправление недочетов.
1.исправлена проверка допусков файла
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1608137

2. Упорядочил выполнение доп заданий в кроне. Доб задания с редактора шаблона.
3. Доработано определение кодировки сайта донора.
4. Давлен импорт настроек допусков страницы.

5. Исправлен недочет поиск замены, когда не отображается ново сохраненные правила.

Обновление направленное поправить мелкие баги.
 

[Rassol2]

5 часов назад, RomanBohutskyi сказал:

Можно ли спарсить такие  опции?

  Скрыть контент

https://velotrade.com.ua/ru/shop/view/velosipedi/velosiped-al-26-formula-f-1-am-dd-202000000053252.html

Имя опции имеет одинаковые классы и тут разве что вхождениями взять названия?

Но на разных товарах может быть не только 3 названия а 2 или 1.

Тут у меня сложность с значениями опций. Не могу границу прицепить. К первому могу прицепить границу к началу класса второго. А как быть с последним?

А если сделать текст начала парсинга как
class="product__size-name">Размер 18"</div>

Таким образом вы четко указываете в какой границе парсинга будет какое значение опции.
 

[Rassol2]

36 минут назад, RomanBohutskyi сказал:

Спасибо. Я уже решил этот вопрос)

Тут дело в другом. Спарсил товары с донора и при редактировании товара затирает часть атрибутов которые новые.

Не отображает их во вкладке Атрибуты

Смотрю а в БД они есть. В админке в разделе атрибутов их нет.

Дело в том что Админка на Укр языке и переключил на Рос язык и все атрибуты есть. Проблема в том что не прописало атрибуты на Укр язык - http://prntscr.com/sityhs

В настройках парсинга стоят две галочки - http://prntscr.com/sityyg

Не продублировало для укр языка. @Rassol2 можете проверить модуль у себя на наличие дублирования на укр язык атрибутов?

Спасибо.

Это особенность опенкарта он выводит только данные текущей локализации.

Если атрибут был создан ранние то модуль не заполнит второй язык. А если атрибут создается модулем то он все заполнит.
 

[Rassol2]

20 минут назад, RomanBohutskyi сказал:

Может Вам нужна помощь? Зачастую в таких крупных проектах и модулях как у Вас работает не один человек. И Тогда все реализовывается быстро)

Не знаю как выглядит со стороны.
Но мне кажется в моем модуле все реализуется мего быстро учитывая среднюю скорость разработки модулей на этой площадке.
Даже учитывая сегодняшние реалии разработки.

Я бы с радостью взял бы одного программиста на полный рабочий день что бы он сидел и писал без остановки. Но к сожалению в стране где я проживаю рабовладельческий запрещено на законодательном уровне.
А значит придется платить деньги за работу, что в свою очередь заставит пересмотреть политику ценообразования на модуль.
И цена модуля будет тогда не 1600р как сейчас а раза в 2-3 больше.
Я же как автор могу писать модуль не получая деньги за работу ради фана, а вот наемный рабочий нет, и если наступают голодные времена хочешь не хочешь а зарплату заплати.
Все эти риски нужно закладывать в цену модуля.
Не думаю что это понравится пользователям в том числе и вам.

[Rassol2]

11 минут назад, RomanBohutskyi сказал:

Если атрибут создан пользователем вручную или другим модулем парсером то получается не созданием нового атрибута а обновлением так как обновлением товара.

Если атрибут создан. К примеру цвет.
Модуль парсит товар видит атрибут Цвет ишит его у вас в магазине, если находит то добавляет этот атрибут в товар. И добавляет этому атрибуту значение. 
Мне не ясно зачем модулю обновлять имя атрибута Цвет если оно уже создано в магазине и полностью совпадает с атрибутом у донора?
 

 

11 минут назад, RomanBohutskyi сказал:

Ваш парсер не может тогда обновлять атрибут и обновлять название атрибута так же как и название и цены товара?

Почему вы так решили ?
Все может и делает. Причем может обновлять как все описанное вами сразу так и по отдельности выборочно что хотите.
 

 

11 минут назад, RomanBohutskyi сказал:

А если товар создан вручную или АОП то тогда ваш парсер не сможет обновить атрибуты и название и цену по уникальному SKU? только свои товары и атрибуты?

Ему все равно кто создал товар, хоть АОП хоть вы, хоть спец службы пентагона. Единственное что важно в момент обновления что бы совпал идентификатор товара у донора и у вас.

А кто и зачем создавал вообще не имеет значения.

[Rassol2]

6 минут назад, RomanBohutskyi сказал:

Тоесть если вообще нет то создает, если есть атрибут и название и значение не совпадает то обновляет и я думаю что логично если название на рос совпадает то оставляет как есть а если не совпадает то обновляет а если нет то создает.

Это вообще не логично.

Цитата

Если нет, создавать.
А если не совпадает, обновить.

Это вообще как ?

Вопрос а как вы отличать будете атрибут который не создан в магазине от атрибута который создан но имя не совпадает ?

Для полного понимания вот вам задача.
Вы парсите атрибут Цвет

У вас в магазине есть атрибуты
Вес
Размер
Внешний вид.

Вопрос :
Атрибут цвет у вас есть в магазине просто называется не так. Или его нет в магазине ?

[Rassol2]

15 минут назад, RomanBohutskyi сказал:

У вас же есть там опция обновить атрибуты. Это тогда зачем? Чтобы значения обновить?

да значение.
 

16 минут назад, RomanBohutskyi сказал:

Если допустим у донора в товаре атрибут с названием "Вилка передняя" и он потом сменил на название "Вилка (передняя)"  то как тут обновить?

Название атрибута не обновляется. Обновляется именно значение атрибута.
Если переименуют атрибут то для модуля это будет именно новый атрибут.

Цвет и цвет
Это совершенно разные атрибуты немеющие ничего общего.

Вдумайтесь в том что я вам написал ранние. И если вы попробуете дать ответ на вот этот вопрос вы поймете почему невозможно обновить имя атрибута.
Попробуйте для себя дать ответ на этот вопрос.

35 минут назад, Rassol2 сказал:

Для полного понимания вот вам задача.
Вы парсите атрибут Цвет

У вас в магазине есть атрибуты
Вес
Размер
Внешний вид.

Вопрос :
Атрибут цвет у вас есть в магазине просто называется не так. Или его нет в магазине ?

 

По поводу разных языков. Если вы выбрали создавать и укр и рус то при создании атрибута.

Тогда когда его не было в магазине и его создал именно модуль то он заполнит 2 языка.
И выше описанная проблема связана именно с тем что вы скорее всего при создании атрибутов не выбрали два языка.
А сейчас когда у вас в магазине уже есть атрибуты это стало проблемой, так вот это по сути вся о проблема из за подхода в начале.

[Rassol2]

@RomanBohutskyi Определение атрибута происзодит по его имени.
Если имя атрибута у донора и у вас не совпадает то значит это новый атрибут.
Если имя атрибута совпадает значит такой атрибут есть.

Проверка других языков не делается, так же как не делается парсинг одного и того же атрибута на разных языках в разные локализации.
Это логически невозможно.

Парсим атрибут с именем Цвет в русский язык
Парсим атрибут с другой локализацией Колор в укр язк.
Для модуля это совершенно 2 разных атрибута которые никак не будут записаны в один атрибут на разных языках. Это будут два совершенно разных атрибута. И сопоставить это НЕВОЗМОЖНО.
Модуль к сожалению не способен определить что это один и тот же атрибут только на русском и укр языках. А научить его этому не выйдет.

Теперь точки над и.
Атрибут определяется по его имени, и только в том случаи если имя совпадает на 100500%. Пример, это разные атрибуты:  Цвет и цвет

Далее переключатель создавать обновлять добавлять расшифровывается именно так.

Создать новые атрибуты в магазине если их нет.
Обновить значение атрибутов в товаре если они есть.
Добавить атрибут в товар если он создан в магазине и его нет в товаре.

 

[Rassol2]

4 минуты назад, RomanBohutskyi сказал:

Но как сейчас решить то что вначале не поставив галочку на укр язык а теперь поставил на укр язык и там пустое значение?

можете через базу данных заполнить.
Либо написать сприкт который будет смотреть в первую локализацию и заполнять вторую.

 

4 минуты назад, RomanBohutskyi сказал:

Просто может у кого то тоже будет такое что забыли галочку поставить на второй язык для начала парсинга. Ну вероятность очень малая.

Просто на все случаи жизни я все равно не смогу написать код. Как бы не хотел.
Может реализую что то подобное в редакторе товаров. Но это сейчас не в приоритете.

[kostya242]

Где-то в скрипте что-то путается и накладываются стили. Как такое может быть или как это побороть?

 

 

Спойлер

 

[Rassol2]

1 минуту назад, kostya242 сказал:

Где-то в скрипте что-то путается и накладываются стили. Как такое может быть или как это побороть?

Убедитесь что при парсинге вы вырезали все html теги.
Если вы их пропустили то они могут повлиять на разметку сайтах В других случаях модуль никак на внешний вид не влияет.

[kostya242]

4 минуты назад, Rassol2 сказал:

Если вы их пропустили то они могут повлиять на разметку сайтах В других случаях модуль никак на внешний вид не влияет.

 

Как-то увидеть пропущенные теги в отладчике или другим способом можно? Ибо просматривать варианты из 3к товаров руками наверное не очень ))

[Rassol2]

1 минуту назад, kostya242 сказал:

 

Как-то увидеть пропущенные теги в отладчике или другим способом можно? Ибо просматривать варианты из 3к товаров руками наверное не очень ))

Зачем все 3к
Вы смотрите конкретно на тот где проблема
 

Спойлер

 

[partshez]

3 часа назад, Rassol2 сказал:

Зачем все 3к
Вы смотрите конкретно на тот где проблема
 

  Скрыть контент

 

Мне очень нравится разбираться с атрибутами и опциями средствами модуля. На каждом доноре разные примочки выскакивают. Но инструментами модуля и подсказками автора можно решить почти все вопросы. Интересно решать эти задачки!

[Yaroslavna]

Согласна с вами. Почти все решаемо

[lerand]

Доброе утро! Давно не заходил, к сожалению. Многое пропустил. Но хотелось бы задать быстрый вопрос: не реализовался в кроне сбор ссылок? Еще месяц назад этого не было. Сбор ссылок осуществлялся руками, а кроном было реализовано только обновление информации по товарам, которые уже имелись...

[Rassol2]

1 минуту назад, lerand сказал:

Доброе утро! Давно не заходил, к сожалению. Многое пропустил. Но хотелось бы задать быстрый вопрос: не реализовался в кроне сбор ссылок? Еще месяц назад этого не было. Сбор ссылок осуществлялся руками, а кроном было реализовано только обновление информации по товарам, которые уже имелись...

Реализовано.
Подробно смотрите отчеты по обновлениям на странице модуля.
 

Спойлер

 

[partshez]

49 минут назад, Rassol2 сказал:

Реализовано.
Подробно смотрите отчеты по обновлениям на странице модуля.
 

  Показать контент

Спойлер

 

 

И сразу вопрос подготовлен. Парсинг товаров через крон - на ура!

Запуск сбора ссылок не могу сделать уже пару дней. Ни на автомате, ни через Рестарт не получается. Печалька!

 

 

Спойлер

Спойлер

 

 

Змінено 19 травня 2020 користувачем partshez

[Rassol2]

@partshez

 

Я писал про это все.
 

Спойлер

вы указали одинаковый порядок выполнения у двух заданий. Вы указали выполнять оба задания в одно и тоже время.
Причем в первом задании у вас 21тысяча ссылок и на выполнение вы дали 2 часа.

Теперь давайте подумаем логически.
Наступает 0 часов и запускается парсинг 21 тысячи товаров. Успеют они спарсится за 2 часа ?
Нет.
Значит пока будет выполнятся первое задание наступит уже 3 час ночи. И первое задание отключится.
А когда производить сбор ссылок ?
Ведь его тоже нужно делать с 0-2 часов. Но на него просто не осталось времени.
Укажите другой временной диапазон, либо поставьте сбор ссылок в очереди выше парсинга 21 тысячи.

Все как в жизни крон это работник.
Если вы ему сказали с 12 до 2 копать яму. Размером 2м на 2м и еше сварить суп в это время. Не стоит удивляться что он что то не сделал.
 

[Rassol2]

@partshez Еше и тайм аут стоит 0
Конечно ничего кроме первого задания не будет выполнятся.

Дословно вы сделали так.
Выполнять задание с 0 до 23 часов ночи.
Когда закончиш начинай заново.
Ведь нету тайм аута который бы запретил выполнение задания после его завершения.
https://simplepars.top/index.php?page=note&note_id=26

 

То есть вы умышленно выделили на первое задания 24 часа.
И заставили выполнять его без остановки, круглые сутки.