[Поддержка] SimplePars - Універсальний парсер для ІМ

[partshez]

11 минут назад, Rassol2 сказал:

@WEB_COAST 
Я думаю вам напишет кто то из
@Axelenz @partshez @Kiyoshi @Flint2000

Написал человеку в личку. Не договорились 

[serrg]

Подскажите...

Если у донора на сайте, характеристики в товаре разбиты на группы. То каким образом можно спарсить и разложить по нужным группам в с воем магазине?

Как я понимаю в функционале парсера есть выбор только для одной группы, а нужно несколько. Т.е. границы можно настроить а вот разложить по полочкам за один проход в настройках не получается.

[partshez]

57 минут назад, serrg сказал:

Подскажите...

Если у донора на сайте, характеристики в товаре разбиты на группы. То каким образом можно спарсить и разложить по нужным группам в с воем магазине?

Как я понимаю в функционале парсера есть выбор только для одной группы, а нужно несколько. Т.е. границы можно настроить а вот разложить по полочкам за один проход в настройках не получается.

Все верно. Одна группа за один проход

[amd4]

Доброго дня. 

Никто не сталкивался с тем что парсер иногда как бы зависает? 

Парсит товары с интервалом 2-5 секунд, всё хорошо, потом на одном из товаров подвиснет и всё. Вроде как работает но дальше не идет. Больше 15 минут конечно не ждал, но думаю и 15 достаточно.   Заново жмешь старт, с этго места начинает будто бы ничего и не было.

Вот так висел на одном товаре даже больше 15 минут.

Спойлер

Вот сейчас нажал повтороно старт парсинга, сразу с 1346 на 1348 спарсил..

 

И еще вроде даже как не хватает после парсинга нескольких товаров. 

Прошлый раз парсил ровно 5000 , но было почему то 4994. Я конечно тогда не считал сколько раз он подзависал. Но вроде тоже где в районе 6 раз. 

Вот сейчас этот парсинг пройдет, посмотрим количество товаров.  

Змінено 21 березня 2021 користувачем amd4

[WEB_COAST]

17 часов назад, partshez сказал:

Написал человеку в личку. Не договорились 

К разговору может и вернёмся, но только по наполнению другого сайта. Просто, выходит так, что парсинг 100 однотипных товаров с сайта на Битриксе, который удобен для парсинга, мне выходит под 4 тыс., а я считаю, что это как-то дороговато, к слову, я за те же деньги купил очень хороший шаблон. Просто, мне необходимо понять, не пытаются ли меня поднагреть, как человека остро нуждающегося) Пока есть просто желание купить шаблон, и вникнуть самому) Ну и на биржу фриланса думаю следует забежать) В любом случае, спасибо за предоставленную информацию.

[Dmitry76]

Добрый день.

При парсинге в ИМ стоит функция "Добавлять".
Правильно ли я понимаю, что при совпадении по идентификатору, если товар уже присутствует на моем сайте, парсер НЕ должен сделать второй дубль такого же товара? 
Он посчитает, что товар уже есть, а так как "Обновлять" не нужно, просто пойдет к следующему товару?

[partshez]

30 минут назад, WEB_COAST сказал:

К разговору может и вернёмся, но только по наполнению другого сайта. Просто, выходит так, что парсинг 100 однотипных товаров с сайта на Битриксе, который удобен для парсинга, мне выходит под 4 тыс., а я считаю, что это как-то дороговато, к слову, я за те же деньги купил очень хороший шаблон. Просто, мне необходимо понять, не пытаются ли меня поднагреть, как человека остро нуждающегося) Пока есть просто желание купить шаблон, и вникнуть самому) Ну и на биржу фриланса думаю следует забежать) В любом случае, спасибо за предоставленную информацию.

Я писал. Думаю, со мной согласятся и другие. Настройка производится на сайт. Вне зависимости от количесства товара. Хоть 100 товаров, хоть 100 тысяч. Настройки не изменяются. Рабочее время на выполнение настройки не уменьшается...

Так что берем деньги за Настройку. 

[partshez]

15 минут назад, Dmitry76 сказал:

Добрый день.

При парсинге в ИМ стоит функция "Добавлять".
Правильно ли я понимаю, что при совпадении по идентификатору, если товар уже присутствует на моем сайте, парсер НЕ должен сделать второй дубль такого же товара? 
Он посчитает, что товар уже есть, а так как "Обновлять" не нужно, просто пойдет к следующему товару?

Все верно

[WEB_COAST]

8 минут назад, partshez сказал:

Я писал. Думаю, со мной согласятся и другие. Настройка производится на сайт. Вне зависимости от количесства товара. Хоть 100 товаров, хоть 100 тысяч. Настройки не изменяются. Рабочее время на выполнение настройки не уменьшается...

Так что берем деньги за Настройку. 

Ну всё же есть разница, и большая, когда на сайте 100 тыс товаров, и когда там их всего 100 шт., находящихся в "двух с половиной" категориях. Вы словами жонглируете вроде бы и верными, но в действительность всё ведь не совсем так, как Вы это пытаетесь преподнести. Логично предположить, что если на сайте 100 тыс. товаров, то и различных категорий и подкатегорий будет много, много разных моментов, которые нужно будет прорабатывать отдельно, да и само ТЗ будет в корне отличаться. А Вы говорите, что Вам не важно, 100 товаров на сайте, или 100 тыс. Ну если прям так уж и не важно, то давайте я к Вам вскоре обращусь, и Вы мне спарсите 100 тыс. товаров за ту же сумму, которую озвучили мне и за 100 шт. Не хотелось бы Вас таким образом подлавливать на слове, но Вы же настаиваете на том, что Вам разницы нет совершенно никакой, поэтому повода для отказа с Вашей стороны я не вижу. Договорились? Буду только рад сотрудничеству с человеком, который слов на ветер зря не бросает.

[Rassol2]

1 час назад, amd4 сказал:

Никто не сталкивался с тем что парсер иногда как бы зависает? 

Причину нужно смотреть у вас на сайте.
Что это может быть.
 

1 час назад, amd4 сказал:

И еще вроде даже как не хватает после парсинга нескольких товаров. 

Прошлый раз парсил ровно 5000 , но было почему то 4994. Я конечно тогда не считал сколько раз он подзависал. Но вроде тоже где в районе 6 раз. 

Вот сейчас этот парсинг пройдет, посмотрим количество товаров.  

на этот вопрос ответ всегда есть в логах модуля.
Если вы считаете что модуль что то не спарсил по определенной ссылке, берете эту ссылку и счистите в логах что модуль заделал в момент парсинга, а что нет.
Вся информация есть в логах.

[Dmitry76]

27 минут назад, partshez сказал:

Все верно

спасибо!

[amd4]

7 минут назад, Rassol2 сказал:

Причину нужно смотреть у вас на сайте.
Что это может быть.
 

на этот вопрос ответ всегда есть в логах модуля.
Если вы считаете что модуль что то не спарсил по определенной ссылке, берете эту ссылку и счистите в логах что модуль заделал в момент парсинга, а что нет.
Вся информация есть в логах.

 

Причину нужно смотреть у меня на сайте или сайте донора? 

 

 

В логах пишет всё успешно. 

А как вычислить то из трех тысяч товаров что не спарсил он где то в середине если в логах всё успешно? 

 

Вот сейчас опять подзавис на 2941, перезапустил и начал сразу с 2943. 

[Rassol2]

9 минут назад, amd4 сказал:

Причину нужно смотреть у меня на сайте или сайте донора? 

у вас на сайте для этого нужен фтп доступ. И доступ в адмитнку.
И смогу посмотреть только ближе к ночи.
 

[partshez]

46 минут назад, WEB_COAST сказал:

Ну всё же есть разница, и большая, когда на сайте 100 тыс товаров, и когда там их всего 100 шт., находящихся в "двух с половиной" категориях. Вы словами жонглируете вроде бы и верными, но в действительность всё ведь не совсем так, как Вы это пытаетесь преподнести. Логично предположить, что если на сайте 100 тыс. товаров, то и различных категорий и подкатегорий будет много, много разных моментов, которые нужно будет прорабатывать отдельно, да и само ТЗ будет в корне отличаться. А Вы говорите, что Вам не важно, 100 товаров на сайте, или 100 тыс. Ну если прям так уж и не важно, то давайте я к Вам вскоре обращусь, и Вы мне спарсите 100 тыс. товаров за ту же сумму, которую озвучили мне и за 100 шт. Не хотелось бы Вас таким образом подлавливать на слове, но Вы же настаиваете на том, что Вам разницы нет совершенно никакой, поэтому повода для отказа с Вашей стороны я не вижу. Договорились? Буду только рад сотрудничеству с человеком, который слов на ветер зря не бросает.

Еще раз подтверждаю. Я выполню настройки за одну стоимость при наличии 100 товаров или 100 тысяч. 

Мне все равно сколько будет товаров. Для ВСЕХ товаров и категорий будет ОДНА настройка. 

На данный момент Вы просто не поняли, что автор пишет в аннотации к модулю. Сделал настройку. Заварил чашечку кофе... и смотришь, как модуль создает все необходимое и загружает товар!

Сопоставление категорий на доноре, сопоставление атрибутов - это уже совсем другой разговор. Но настройка одна для всех товаров.

Змінено 21 березня 2021 користувачем partshez

[Aspirinnka1]

4 часа назад, amd4 сказал:

И еще вроде даже как не хватает после парсинга нескольких товаров. 

Прошлый раз парсил ровно 5000 , но было почему то 4994

Сталкивался с таким. У меня причина была в криво удаленных товарах. Т.е. товара в админке нет, а его адишник сохранился в базе, модуль находит айдишник и к нему цепляет данные. И, естественно, в логах пишет всё успешно. Вот sql для удаления таких товаров. Перед удалением ОБЯЗАТЕЛЬНО сделать select и перепроверить. 

/* удаляем хвосты товаров*/

Спойлер

 

SELECT oc_product_description.product_id 
FROM oc_product_description
LEFT JOIN oc_product ON
     oc_product_description.product_id = oc_product.product_id
WHERE oc_product.product_id IS NULL;

DELETE t
FROM oc_product_description t
LEFT JOIN oc_product p ON
     t.product_id = p.product_id
WHERE p.product_id IS NULL;

 

 

Змінено 21 березня 2021 користувачем Aspirinnka1

[lololod3]

Добрый день, Столкнулся с урезанием поля UPC при парсинге в ИМ.
Шаблон в поле UPC выглядит так [Дверь {gran_20} {gran_17} 2000*800 {gran_57} {gran_58}]
Максимальная длинна поля 90 символов
По факту режет на 39 символов
ПРИМЕР
Должно быть 
Дверь ДаркВайт 2U 2000*800 ст.узор матовое с прозрачным фьюзингом
а выходит
Дверь ДаркВайт 2U 2000*800 ст.узор мато

[Stin]

Доброго времени суток!

Подскажите, как парсером, возможно ли? Может есть какой другой способ.

 

У донора плохо с описанием товара, но вот на другом сатейте, описание каждой позиции определенного бренда изумительное, как спарсить основную информацию с множеством брендов у основного донора, а описание товаров определенного бренда на другом сайте? Может кто сталкивался с данной проблемой и решил ее иначе как?

[partshez]

40 минут назад, lololod3 сказал:

Добрый день, Столкнулся с урезанием поля UPC при парсинге в ИМ.
Шаблон в поле UPC выглядит так [Дверь {gran_20} {gran_17} 2000*800 {gran_57} {gran_58}]
Максимальная длинна поля 90 символов
По факту режет на 39 символов
ПРИМЕР
Должно быть 
Дверь ДаркВайт 2U 2000*800 ст.узор матовое с прозрачным фьюзингом
а выходит
Дверь ДаркВайт 2U 2000*800 ст.узор мато

Как вариант. Загрузить в поле Расположение

Змінено 21 березня 2021 користувачем partshez

[partshez]

41 минуту назад, Stin сказал:

Доброго времени суток!

Подскажите, как парсером, возможно ли? Может есть какой другой способ.

 

У донора плохо с описанием товара, но вот на другом сатейте, описание каждой позиции определенного бренда изумительное, как спарсить основную информацию с множеством брендов у основного донора, а описание товаров определенного бренда на другом сайте? Может кто сталкивался с данной проблемой и решил ее иначе как?

Один проект на первого донора. Парсим все, кроме описания.

Второй проект на другого донора. Настраиваем идентификатор, описание. Действие Обновить. Обновляем описание для товаров, уже существующих на нашем сайте по идентификатору.

Обычная практика

Змінено 21 березня 2021 користувачем partshez

[Rassol2]

48 минут назад, lololod3 сказал:

Добрый день, Столкнулся с урезанием поля UPC при парсинге в ИМ.
Шаблон в поле UPC выглядит так [Дверь {gran_20} {gran_17} 2000*800 {gran_57} {gran_58}]
Максимальная длинна поля 90 символов
По факту режет на 39 символов
ПРИМЕР
Должно быть 
Дверь ДаркВайт 2U 2000*800 ст.узор матовое с прозрачным фьюзингом
а выходит
Дверь ДаркВайт 2U 2000*800 ст.узор мато

Данное ограничение заведено изначально в базу данных опенкарта.  64
Вы можете использовать поле local как вам посоветовали, там размер поля 128 то есть в два раза больще.

[Flint2000]

4 години назад, WEB_COAST сказав:

Ну всё же есть разница, и большая, когда на сайте 100 тыс товаров, и когда там их всего 100 шт., находящихся в "двух с половиной" категориях.

Тогда ручками, это же всего 100 товаров

 

4 години назад, WEB_COAST сказав:

Ну если прям так уж и не важно, то давайте я к Вам вскоре обращусь, и Вы мне спарсите 100 тыс. товаров за ту же сумму, которую озвучили мне и за 100 шт.

не манипулируйте, цена на каждого донора индивидуальна. С таким подходом вам лучше самому с модулем разбираться

[aguk84]

Здравствуйте, подскажите пожалуйста, как можно в проверке границ использовать несколько значений - загрузить если: не содержит?

Что бы не создать несколько правил для одной и той же границы.

Хочу отсеять товары например если есть слово в имени: кеды|кроссовки|ботинки|сапоги|туфли|ботфорты|балетки

Спасибо.

[Flint2000]

4 години назад, aguk84 сказав:

Здравствуйте, подскажите пожалуйста, как можно в проверке границ использовать несколько значений - загрузить если: не содержит?

Что бы не создать несколько правил для одной и той же границы.

Для одной границы может быть только одно правило

[Rassol2]

10 часов назад, aguk84 сказал:

Здравствуйте, подскажите пожалуйста, как можно в проверке границ использовать несколько значений - загрузить если: не содержит?

Что бы не создать несколько правил для одной и той же границы.

Хочу отсеять товары например если есть слово в имени: кеды|кроссовки|ботинки|сапоги|туфли|ботфорты|балетки

Спасибо.

Создаете границу, и в поиск замене пишите если если есть слова
кеды|кроссовки|ботинки|сапоги|туфли|ботфорты|балетки
заменить все на 0
Если нет оставить как есть.

И правило, есди в границе парсинга стоит 0 значит пропускаем.
Таким образом вы можете сколько угодно условий делать, при это иметь только одно правило на проверку допуска.

[Rassol2]

5 часов назад, Flint2000 сказал:

Для одной границы может быть только одно правило

Можно создавать сколько угодно правил для одной границы, нет ограничения.
Если я правильно понимаю что речь идет о допуске к парсингу.
https://simplepars.top/index.php?page=note&n=31