[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

51 минуту назад, paseek сказал:

Никак не получается спарсить фото с этого сайта https://air-rus.ru/product-blauberg-blaubox-e200-1-8-pro/
получаю ссылку вида: https://air-rus.ru/upload/iblock/b70/b7021ee473c9369772dc2e1066d3b6d0.jpeg, которая прекрасно открывается в браузере, но вот модуль ее не выгружает

  Скрыть контент

2020-12-18 20:55:34| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://air-rus.ru/product-blauberg-blaubox-e200-1-8-pro/
2020-12-18 20:55:34| ->[ИЗОБРАЖЕНИЕ] : НЕИЗВЕСТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://air-rus.ru/
                                                                            upload/iblock/b70/b7021ee473c9369772dc2e1066d3b6d0.jpeg) 

добавьте в поиск замену правило.
{br}|

[kreative]

Вопрос кто занимается парсингом, подскажите, сколько ориентировочно может занимать база данных MySQL при условно 10,50,100 тыс. товаров?

А то на OcStore 3.0.2.0 Php7.3 - при полностью пустом магазине MySQL было 14,8 МБ, при загрузке SimplePars - 16тыс. база занмает 115.2 МБ и стал сайт подвисать с 504 Gateway Time-out. Вот думаю это хостинг не вытягивает или в чём может быть проблема?

 

Змінено 19 грудня 2020 користувачем kreative

[SevenTM]

привет. подскажите как парсить мультиязычные сайты с атрибутами так чтобы атрибуты не были разные. на разных языках.

может кто то нашел какую то схему)). как подсказали здесь на форуме тоже не плохо,. создать 2 парсера, и настроить для разных языках

но на шаблоне revolution если язык админа рускии то фильтры на сайте только на руском. это потому что при парсинга для каждого языка создаются разные атрибуты.

плюс к этому если я после парсинга на 2 языках сахожу в редактирование товара то у меня показывает только атрибуты на языке каторый в админке.

потом если я сохраняю изменения то у меня пропадает атрибуты на другом язике, т.е. если у менуа в админке язык рускии то атрибуты на англискии пропадают

[Rassol2]

1 час назад, kreative сказал:

Вопрос кто занимается парсингом, подскажите, сколько ориентировочно может занимать база данных MySQL при условно 10,50,100 тыс. товаров?

А то на OcStore 3.0.2.0 Php7.3 - при полностью пустом магазине MySQL было 14,8 МБ, при загрузке SimplePars - 16тыс. база занмает 115.2 МБ и стал сайт подвисать с 504 Gateway Time-out. Вот думаю это хостинг не вытягивает или в чём может быть проблема?

 

Все зависит от количества данных в карточке товара.
Может весить и 100мб
А может и 500мб

Тут модуль увеличивает размер базы данных только если вы в ней храните постоянно ссылки на все 100 000 товаров у донора. Но это таблица не участвует в работе движка.
Она участвует только в модуле, а значит и на скорость работы сайта не влияет, может только на скорость работы самого парсера.

Это вам нужно обсуждать саму работу опенкарта в темах оптимизации магазина.

[Rassol2]

54 минуты назад, SevenTM сказал:

привет. подскажите как парсить мультиязычные сайты с атрибутами так чтобы атрибуты не были разные. на разных языках.

Ни как это вопрос не пропарсинг.

Это уже 100 раз осуждалось.

Парсинг это когда мы берем строку и затем записываем себе.
нет возможности взять строку и автоматом понять что это строка равна какому то атрибуту на другом языке.
Нет такой возможности.
 

[Maksim7777]

Модуль SimplePars, kto znajetj , kakii nada nastrojki stavitj shtob , moznja bila parsitj s alexpress tovari . Shtobi , na pervij stranici , ubratj ves lishnij kod 

[Rassol2]

2 минуты назад, Maksim7777 сказал:

Модуль SimplePars, kto znajetj , kakii nada nastrojki stavitj shtob , moznja bila parsitj s alexpress tovari . Shtobi , na pervij stranici , ubratj ves lishnij kod 

Али экспресс это еше то удовольствие.
Но мне не совсем ясен вопрос, поскольку что такое весь личшний код ?

Если у вас есть форма настроек, и есть блок который вы хотите убрать, то опишите и я попробую подсказать.

[Rassol2]

Обновление 4.1-1_stable

Мелкое обновление стабильной версии.
В этом обновлении только добавлено указание сортировки изображений товара.
 

Спойлер

Раньше модуль по умолчанию устанавливал сортировку в значение 0 всем изображениям.
Но в таком случаи порядок вывода изображений не гарантируется, хоть база данных в основном сохраняет порядок, то есть первым возвращает то поле что имеет меньший ключ, но это как я сказал железно не гарантируется.

И вот настало время когда у одного пользователя вывод нарушился, с этим обновлением модуль сам будет проставлять сортировку и тем самым жестко указывать в каком порядке выводить изображения.

Так как эта версия стабильная на пару месяцев решил не откладывать до следующей беты а внести в эту ветку.

Это единственное изменение которое было внесено.

[agwetwetvwet]

@Rassol2 ! 

Мне перезаписало данными одного производителя товары, принадлежащие другому.

Т.е. был товар завода А, заполнен полностью, описание, характеристики, картинка

Спарсил и обновил картинки завода В и в некоторых товарах завода А теперь стоят картинки из Б

Вероятно есть пересечения по артикулам, но логично же при парсинге в ИМ учитывать не только артикул, но и производителя?

 

UPD: Версия 4.1

Змінено 21 грудня 2020 користувачем agwetwetvwet

[partshez]

57 минут назад, agwetwetvwet сказал:

@Rassol2 ! 

Мне перезаписало данными одного производителя товары, принадлежащие другому.

Т.е. был товар завода А, заполнен полностью, описание, характеристики, картинка

Спарсил и обновил картинки завода В и в некоторых товарах завода А теперь стоят картинки из Б

Вероятно есть пересечения по артикулам, но логично же при парсинге в ИМ учитывать не только артикул, но и производителя?

 

UPD: Версия 4.1

Чтобы исключить пересечение артикулов использую префикс перед артикулом, по производителю, например. a-2385.... b-2385

[agwetwetvwet]

17 минут назад, partshez сказал:

Чтобы исключить пересечение артикулов использую префикс перед артикулом, по производителю, например. a-2385.... b-2385

 

На артикулы завязана 1С, никакие префиксы не могу использовать, есть артикул производителя - он точно такой же должен быть и у товара на сайте.

А заниматься обрезкой префиксов в коде - ну этот так себе решение.

 

Из 1С синхронизирую по артикулам в пределах одного производителя, поэтому такой ситуации не случается. Парсер, видимо, действует не так.

 

Змінено 21 грудня 2020 користувачем agwetwetvwet

[partshez]

Для парсера идентификатором может быть артикул, код товара, название. Выбирайте парсингс одного донора по артикулу нашего товара. С другого по артикулу с префиксом, записанного в поле модель нашего товара. Если непонятно написал, пишите в личку. Подробнее поясню на примере товара Вашего сайта и донорах

[Rassol2]

1 час назад, agwetwetvwet сказал:

@Rassol2 ! 

Мне перезаписало данными одного производителя товары, принадлежащие другому.

Т.е. был товар завода А, заполнен полностью, описание, характеристики, картинка

Спарсил и обновил картинки завода В и в некоторых товарах завода А теперь стоят картинки из Б

Вероятно есть пересечения по артикулам, но логично же при парсинге в ИМ учитывать не только артикул, но и производителя?

 

UPD: Версия 4.1

Здравствуйте.
Артикул это:
Уникальный идентификатор товара.
Не уверен что логично использовать еше и производителя.

Вот пример, у вас есть мобильный телефон а его номер это идектифактор. Я вам могу позвонить по номеру телефона. То есть по артикулу.
Вы же не будете утверждать что логично было бы кроме набора вашего номера телефона еше указать и марку телефона LG и только после этого вам можно будет дозвонится.

Если у вас может быть возможность пересечения артикулов вы всегда можете добавлять в проекте прфикс, и это при любом случаи уберет такие риски.

[Rassol2]

25 минут назад, agwetwetvwet сказал:

 

На артикулы завязана 1С, никакие префиксы не могу использовать, есть артикул производителя - он точно такой же должен быть и у товара на сайте.

А заниматься обрезкой префиксов в коде - ну этот так себе решение.

 

Из 1С синхронизирую по артикулам в пределах одного производителя, поэтому такой ситуации не случается. Парсер, видимо, действует не так.

 

Ну тут не проблема парсера. У вас нарушена логика товарного ряда.
У вас под одним артикулом находятся два разных товара, это проблема. А не то что модуль обновляет товар по артикулу.
Вам нужно эту проблему решить.

[partshez]

40 минут назад, agwetwetvwet сказал:

 

На артикулы завязана 1С, никакие префиксы не могу использовать, есть артикул производителя - он точно такой же должен быть и у товара на сайте.

Не совсем правильная постановка вопроса. Артикул производителя не обязательно должен совпадать с артикулом Вашего сайта. Артикул на сайте - это идентификатор товара именно на Вашем сайте, не более.  

Несколько товаров с разными артикулами на Вашем сайте могут иметь один артикул производителя.

Артикул производителя может быть записан в поле Артикул, Модель, UPC, ISBN и так далее. 

 

Змінено 21 грудня 2020 користувачем partshez

[partshez]

Вопрос не по теме.

Изредка вижу такое уведомление *somebody отреагировал на сообщение в теме [Поддержка] SimplePars - Универсальный парсер для ИМ*

Что это за пользователь somebody? Пытался разобраться - тайна, покрытая мраком. Вся информация зашифрована   http://prntscr.com/w75yl9

 

Змінено 21 грудня 2020 користувачем partshez

[Rassol2]

2 минуты назад, partshez сказал:

Вопрос не по теме.

Изредка вижу такое уведомление *somebody отреагировал на сообщение в теме [Поддержка] SimplePars - Универсальный парсер для ИМ*

Что это за пользователь somebody? Пытался разобраться - тайна покрытая мраком. Вся информация зашифрована   http://prntscr.com/w75yl9

 

Это вам поставили + в теме
Но по мнению форума, они обезличивают тех кто ставит лайки. Типо не имеет значение кто поблагодарил.
И ник пользователя заменяется на КТО - ТО = somebody

[partshez]

8 минут назад, Rassol2 сказал:

Это вам поставили + в теме
Но по мнению форума, они обезличивают тех кто ставит лайки. Типо не имеет значение кто поблагодарил.
И ник пользователя заменяется на КТО - ТО = somebody

Спасибо! 

[Aspirinnka1]

В 17.12.2020 в 19:00, partshez сказал:

Настраиваю на весь сайт проект. Если есть необходимость, создаю новые проекты под разные категории или другие цели. Переношу настройки в него и работаю

Да, спасибо. Пробую настроить весь сайт на один проект. Пока делаю категорию Кровати, но не получается сделать соответствие категорий донора и свои.

У донора, в ссылке на товар, нет категории. И вот как мне тут выделить уникальную границу для категорий?

spalni/krovati встречается один раз в описании. также и остальные категории

spalni/ortopedicheskie_osnovaniya

spalni/matrasy

и т.д.

Как определить, что товар который мы парсим относится к категории матрасы?

Или товар относится к категории Детские кровати?

Я хз пока....

 

 

[Rassol2]

9 минут назад, Aspirinnka1 сказал:

Да, спасибо. Пробую настроить весь сайт на один проект. Пока делаю категорию Кровати, но не получается сделать соответствие категорий донора и свои.

У донора, в ссылке на товар, нет категории. И вот как мне тут выделить уникальную границу для категорий?

spalni/krovati встречается один раз в описании. также и остальные категории

spalni/ortopedicheskie_osnovaniya

spalni/matrasy

и т.д.

Как определить, что товар который мы парсим относится к категории матрасы?

Или товар относится к категории Детские кровати?

Я хз пока....

Я не могу понять что вам мешает брать категории с хлебных крошек?
 

Спойлер

 

[partshez]

12 часов назад, Aspirinnka1 сказал:

Пока делаю категорию Кровати, но не получается сделать соответствие категорий донора и свои.

У донора, в ссылке на товар, нет категории. И вот как мне тут выделить уникальную границу для категорий?

 

Пишите в личку. Помогу за чашечку кофе. Про категории, опции с ценами расскажу.

[agwetwetvwet]

Все вы правы, но производителям с 20-40к товаров в ассортименте не объяснишь, что Артикул не должен с соседом пересекаться. Более того, зачастую даже название товара одинаковые, как пример - автоматический выключатель серии ВА57-35 производится как Курским заводом, так и Ульяновским.

 

Хотелось бы, что бы артикул был уникальным в пределах сайта, но так не получится. Зачастую артикул это всего 6 цифр типа 212463 и когда товаров сотня-другая - это все отследить и поправить лекго, когда товаров за 200к - тут уже ручные воздействия практически невозможны.

 

Я же говорю, что на эту проблему наткнулся давно при синхронизации с 1С - решилась просто, учитывается артикул в пределах одного производителя, т.е. уникальна связка Артикул+производитель. Данный механизм работает, он идеологически правильный. 

 

А опенкарт что - ему лишь бы product_id был уникальный, а на уникальность артикулов глубоко фиолетово.

 

Заменять же артикул производителя чем-то синтетическим и уникальным не хочется - это сразу потеря поискового трафика, т.к. по артикулам ищут очень много.

 

Я свое мнение написал, про вариант реализации тоже. А дальше за вами решение, пользоваться парсером от этого не перестану - уникальнейший инструмент, спасибо автору, но теперь буду обнулять всю базу перед парсингом. Т.к. очень много таких косяков вскрылось и другого решения пока не придумал.

 

 

 

 

 

 

[Flint2000]

@Rassol2А есть возможность преобразовывать Unicode, не прописывая каждому символу в Поиск и замена?

Змінено 22 грудня 2020 користувачем Flint2000

[Rassol2]

4 часа назад, agwetwetvwet сказал:

Данный механизм работает, он идеологически правильный. 

Здравствуйте.
Нет это не идеологически правильно.
Идеологически правильно это когда уникальный идентификатор товара является уникальным. Все остальное это просто попытки поченить сломанные схему.
Решения этой задачи это префикс, к артикулу.

Вам такой подход не нравится потому что нужно больше работы произвести. Но к сожалению это и есть идеологически правильный подход.
Идеологически правильно когда уникальный идентификатор товара является уникальным в действительности а не просто на словах.
 

4 часа назад, agwetwetvwet сказал:

А опенкарт что - ему лишь бы product_id был уникальный, а на уникальность артикулов глубоко фиолетово.

Ну ненужно утрировать, еше опенкарту не фиолетово на модель.

А еше вы можете заметить на всех сайта не фиолетово только на id но при этом нельзя создавать два акканута с одинаковым именем, или почтовым ящиком.
Знаете почему ? Потому что это является уникальными идентификатором.

Просто по такой логике можно писать что артикул + название идеальный вариант. Артикул + категории был бы идеальный вариант. Артикул + модуль был бы идеальный вариант.
Но проблема только в том что артикул у вас не выполняет ту задачу для которой он был придуман в природе, и не более того.

В модуле будет расширятся список идентификаторов, возможно будет возможность и комбинировать по нескольким значениям.
Но это не скоро.

[Rassol2]

42 минуты назад, Flint2000 сказал:

@Rassol2А есть возможность преобразовывать Unicode, не прописывая каждому символу в Поиск и замена?

нет специальной настройки нет.
Но вроде как делал в поиск замене после нажатия преобразовать модуль преобразовывает юникод.