Парсинг, наполнение товаров атрибутами

[oia15]

Здравствуйте,

Нужно выполнить парсинг атрибутов товаров с сайта донора.

В магазине товары уже наполнены - есть названия, цены, изображения.

Для каждого товара есть страница донора, она хранится в атрибуте, можно выгрузить таблицу

 

Основная задача - спарсить и заполнить атрибуты товаров с донора (группы и атрибуты).

Пример страницы на доноре - https://www.klemsan.com.tr/product/Index/ru-RU/6675/

 

У кого то есть решение и кто может выполнить, пожалуйста предложите.

 

(Пока у меня только вариант ручного переноса, но это не очень.. товаров для которых нужно перенести характеристики - около 2,5 тыс. )

 

Версия OcStore 2.3

Используется модуль Attribute ext

[dedvjbed]

а как вы собираетесь привязывать атрибуты к товару ? к примеру 604668 ANC-24 (220V AC/ DC, 24-50VAC/DC p.s.) название товара с сайта донора. у вас такое же название или к примеру может артикул товара это первые цифры типа 604668 ?

[legioner26]

Ну да тоже интересно как привязка будет идти )))

[oia15]

8 часов назад, dedvjbed сказал:

а как вы собираетесь привязывать атрибуты к товару ? к примеру 604668 ANC-24 (220V AC/ DC, 24-50VAC/DC p.s.) название товара с сайта донора. у вас такое же название или к примеру может артикул товара это первые цифры типа 604668 ?

 

Соответствие есть для каждого товара в магазине - соответствующий конретный url донора (они хранятся в скрытом атрибуте, можно выгрузить таблицу). Может это поможет.

Эта цифра артикула также хранится в магазине для товара. 

 

> В магазине товары уже наполнены - есть названия, цены, изображения.

> Для каждого товара есть страница донора, она хранится в атрибуте, можно выгрузить таблицу

[dedvjbed]

10 минут назад, oia15 сказал:

Соответствие есть для каждого товара в магазине - соответствующий конретный url донора (они хранятся в скрытом атрибуте, можно выгрузить таблицу). Может это поможет.

Эта цифра артикула также хранится в магазине для товара. 

вы по урлу не привяжите

артикул из магазина есть у донора и где он находится если он есть ?

[htmlart]

2 часа назад, dedvjbed сказал:

вы по урлу не привяжите

артикул из магазина есть у донора и где он находится если он есть ?

Можно сделать иначе. Перед парсингом, выполнить запрос и перенести значение урла из атрибута в какое-нибудь не используемое поле, типо isbn(чтобы не делать при импорте проверку на значение атрибута). И при Парсинге, в отдельный столбец заносить урл страницы, которая  парсится. Либо, как вариант, использовать название для поиска соответсвии. На сколько я понял, оно совпадает. 

[steelfeet]

Берем урл из скрытого атрибута, парсим его, заносим в соответствующие атрибуты. Делов-то.

[dedvjbed]

1 час назад, steelfeet сказал:

Берем урл из скрытого атрибута, парсим его, заносим в соответствующие атрибуты. Делов-то.

ух какие мы шустрые ))) ну ну

[steelfeet]

2 часа назад, dedvjbed сказал:

ух какие мы шустрые ))) ну ну

не понял сарказма. ид продукта есть, парсить чистый хтмл на доноре проблем нет, распихать в атрибуты (или в опции, видел и такое), все

[dedvjbed]

@steelfeet ну что вы так разнервничались, спокойнее надо быть, спокойнее.

я же не против, спарсите и выложите сюда файл,типа вот тс файл парсинга, осталось только залить. ну и типа слава мне )

а мы все поаплодируем.

[dedvjbed]

@steelfeet так что покажите мастер класс или вы только можете воздух сотрясать?

[steelfeet]

В 08.05.2019 в 15:53, dedvjbed сказал:

@steelfeet так что покажите мастер класс или вы только можете воздух сотрясать?

если тс попросит, сделаю, даже забесплатно. как говорится, за отзыв.

[dedvjbed]

3 минуты назад, steelfeet сказал:

если тс попросит, сделаю, даже забесплатно. как говорится, за отзыв.

извините, но я так не думаю ) данную страницу нельзя спарсить отдельными элементами.

покажите мастер класс и я вам напишу отзыв )

только не один товар, его и руками можно набить а потом сказать что спарсили.

а вот хотя бы всю серию отьсюда https://www.klemsan.com.tr/Управление-энергией

[steelfeet]

7 минут назад, dedvjbed сказал:

а вот хотя бы всю серию отьсюда https://www.klemsan.com.tr/Управление-энергией

а категории, тем более пустые парсить и не надо, урл донора уже есть в атрибуте товара

[dedvjbed]

41 минуту назад, steelfeet сказал:

а категории, тем более пустые парсить и не надо, урл донора уже есть в атрибуте товара

а я вам и не говорил парсить пустые категории я сказал спарсить все товары из данных категорий

[dexion]

4 часа назад, dedvjbed сказал:

а я вам и не говорил парсить пустые категории я сказал спарсить все товары из данных категорий

Так у ТСа же есть все собранные ссылки на товары донора, как я понял. Грубо говоря вида: product_id => url. Т.е. страницы категорий даже не интересуют, парсить нужно только стр товара.

@oia15 спарсить нужно для импорта именно в формате атрибутов, или достаточно в description залить цельное описание? Если атрибутами, то можете ли для наглядности заполнить в экселе данные для одного какого нибудь товара, чтобы было понятно в каком виде сохранять спарсенное?

[dedvjbed]

4 минуты назад, dexion сказал:

именно в формате атрибутов, или достаточно в description

в формате description нет проблем ) в том то и дело

В 07.05.2019 в 21:14, oia15 сказал:

спарсить и заполнить атрибуты товаров с донора

 

6 минут назад, dexion сказал:

Так у ТСа же есть все собранные ссылки на товары донора

да нет проблем, я вам накидаю штук 20 ссылок. сколько вам надо время что бы спарсить 20 товаров ?

8 минут назад, dexion сказал:

для наглядности заполнить в экселе данные для одного какого нибудь товара, чтобы было понятно в каком виде сохранять спарсенное

а что тут накидывать. по хорошему должно быть так, если вы не понимаете

Входной сигнал    Частота   45-65 Hz 

Входной сигнал   Номера   24

Входной сигнал   Время отклика   25 ± 10 msec

Выходные контакты  Тип выхода   Relay

и т.д.

ну или хотя бы так ) на худой конец

   Частота   45-65 Hz 

  Номера   24

  Время отклика   25 ± 10 msec

  Тип выхода   Relay

 

смогёте ? )

[dexion]

38 минут назад, dedvjbed сказал:

а что тут накидывать. по хорошему должно быть так, если вы не понимаете

 

Здесь же дальше куча вариаций в зависимости от импорта ТСа. Может ему каждую характеристику нужно выводить в отдельном столбце, или же наоборот каким то хитрым образом объединять в одну ячейку через различные разделители, например:

https://www.klemsan.com.tr/product/Index/ru-RU/6199/

Входной сигнал:::Частота|Min. 45 Hz (for AC signal input)|Номера|4|Время отклика|Maks. 10ms###Окно:::Номера|4Цвета|Red и тд

Импортов же полно, поэтому важно знать формат, который ему нужен.

[dedvjbed]

вообще я уже сказал и привел пример оптимального варианта который можно грузить любым загрузчиком, каждое значение в отдельном столбце. в чем проблема ?

[thentru]

@dedvjbed

все реально, не понимаю с чего вы прицепились к тем, кто отписывался выше

attribute.txt

[dexion]

@dedvjbed   http://prntscr.com/nmuhnr

В чем подвох?

[dedvjbed]

@thentru @dexion а что вы так засуетились, разговор вроде шел не с вами а с @steelfeet

@thentru не уверен что тс подойдет ваш формат )

@dexion файл в студию

[thentru]

1 час назад, dedvjbed сказал:

а что вы так засуетились

показать вам, что с данного донора можно получить и атрибуты, и группы атрибутов
если вы не знаете (умеете) как это сделать, то это вовсе не значит, что кто-то другой не знает

[dedvjbed]

@thentru молодцы, показали, но первое, вопрос был не к вам.

и второе, покажите загрузчик которым можно загрузить ваш файл.

ну и третье. то что вы показали, можно написать руками за 10 минут )

так что извините, не факт.

п.с. я в парсинге не силен, но разговаривал с 3 людьми которые чисто живут и занимаются парсингом, они сказали что нельзя, хотя парсили с таких сайтов о которых тут на форуме говорили что парсить не реально.

ну и если вы такие спецы спарсите вот этот ТОВАР со всеми допами и картинкам к ним. 

[thentru]

23 минуты назад, dedvjbed сказал:

и второе, покажите загрузчик которым можно загрузить ваш файл.

я вам показал пример в читаемом виде. Конечный файл может быть любой

 

25 минут назад, dedvjbed сказал:

ну и третье. то что вы показали, можно написать руками за 10 минут )

доказывать что-то вам не вижу никакого смысла