[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Только что, partshez сказал:

Что же нужно выставить в настройках, чтобы не добавлялись дубли? При обновлении товара?

1. В товаре дублей фото НЕТ.
2. Что бы не было дублей файла на фтп нужно выбрать действие.
 

Спойлер

Ответе вы на один мой вопрос. На один.
Вам нужно что бы на фтп у вас не хранились лишние изображения товара.

Неужели вы прочитав вот это две надписи не можете понять какая оставит файлы на фтп а какая нет.

Обновлять [Заменит все фото у товара][Изображения не удаляются с сервера!]

Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера]

Вы не можете понят какая из этих двух настроек будет удалять фото и не создаст вам нагромождение ненужных файлов ?

[partshez]

У меня же именно так все и стояло до сегодняшнего дня. И набралось 9 Гб дублей. С этого сегодня я и начал разговор, между прочим. С того, что я не понимаю, как правильно настроить.

5 минут назад, Rassol2 сказал:

Ответе вы на один мой вопрос. На один.
Вам нужно что бы на фтп у вас не хранились лишние изображения товара.

Отвечаю. Да, лишние изображения хочется удалять или не плодить дубли.

Для этого я настроил удаление фото товара, который сегодня не обновился и отключить данный товар. Спасибо Вам, модуль позволяет это сделать. 

Но если завтра этот товар появится на доноре, мне необходимо включить этот товар на моем сайте и загрузить для него фото. Такая у меня задача

[Rassol2]

2 минуты назад, partshez сказал:

И набралось 9 Гб дублей.

Значит у вас стояла не так настройка.

Если нужно обновить изображение в товаре с удалением старых то настройка должна быть логично вот такой.
Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера]

 

Если нужно обновить фото в товаре но старые не удалять, то настройка такая.
Обновлять [Заменит все фото у товара][Изображения не удаляются с сервера!]
 

[partshez]

9 часов назад, partshez сказал:

Столкнулся с проблемой дублей фото. Подскажите, что неправильно делаю?

  Показать контент

2020-10-05 06:48:37| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.toptancimburada.com/acrapol-121-zenne-cilt-lacifusya
2020-10-05 06:48:38| ->[SEO_URL Создан] : product_id=10614 | SEO_URL= acrapol-121-genskie-koga-lacifuksiya
2020-10-05 06:48:38| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://www.toptancimburada.com/acrapol-121-zenne-cilt-lacifusya-94007-43-B.jpg
2020-10-05 06:48:38| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://www.toptancimburada.com/acrapol-121-zenne-cilt-lacifusya-94008-43-B.jpg
2020-10-05 06:48:38| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://www.toptancimburada.com/acrapol-121-zenne-cilt-lacifusya-94009-43-B.jpg
2020-10-05 06:48:38| ->[ОБНОВЛЕН ТОВАР] ID = 10614 | Идентификатор sku = [1400039749]
2020-10-05 06:48:38| -->Обновление | Location = https://www.toptancimburada.com/acrapol-121-zenne-cilt-lacifusya
2020-10-05 06:48:38| -->Обновление | Минимальный заказ = 8
2020-10-05 06:48:38| -->Обновление | Вычитать со склада = 0
2020-10-05 06:48:38| -->Обновление | Статус = 1
2020-10-05 06:48:38| -->Обновление | Название = Acrapol 121 Женские Кожа - Laci/Фуксия
2020-10-05 06:48:38| -->Обновление | Цена = 280
2020-10-05 06:48:38| -->Обновление | Производитель id = 54
2020-10-05 06:48:38| -->Обновление | Описание = {описание в логи не пишется}
2020-10-05 06:48:38| -->Обновление | Категория id = 99,94,89 Адрес = Обувь со склада в Турции->Женщины 36-40->Кроссовки
2020-10-05 06:48:38| -->Обновление | Удалены старые изображения фото с сервера. И загружены новые = =>
2020-10-05 06:48:38| -->Обновление | Главное изображение = http://pugovkaopt.com.ua/image/catalog/obuv/49-acrapol-121-zenne-cilt-lacifusya-94007-43-B.jpg
2020-10-05 06:48:38| -->Обновление | Дополнительные изображения = http://pugovkaopt.com.ua/image/catalog/obuv/48-acrapol-121-zenne-cilt-lacifusya-94008-43-B.jpg
2020-10-05 06:48:38| -->Обновление | Дополнительные изображения = http://pugovkaopt.com.ua/image/catalog/obuv/48-acrapol-121-zenne-cilt-lacifusya-94009-43-B.jpg
2020-10-05 06:48:38| -->Обновление | Атрибут обновлен в товаре Цвет: = Lacivert
2020-10-05 06:48:38| -->Обновление | Атрибут обновлен в товаре Закрытие: = Зашнурованный
2020-10-05 06:48:38| -->Обновление | Атрибут обновлен в товаре Основание: = Poli
2020-10-05 06:48:38| -->Обновление | Атрибут обновлен в товаре Материал: = Кожа искусственная (Искусственный)

Действие для фото **Обновление | Удалены старые изображения фото с сервера. И загружены новые = =>**

Перед фото создаются дополнительные цифры. https://prnt.sc/ut9zxs   Что это за цифры?

В результате создаются одинаковые фото с разными первыми цифрами. https://prnt.sc/uta1fd

В чем проблема? Как уйти от создания дублей?

На сервере уже больше 8 Гб занято изображениями вместе с этими дублями!   https://prnt.sc/utawme

Вот с этого начался сегодня разговор

[partshez]

1 минуту назад, Rassol2 сказал:

Значит у вас стояла не так настройка.

Если нужно обновить изображение в товаре с удалением старых то настройка должна быть логично вот такой.
Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера]

 

Если нужно обновить фото в товаре но старые не удалять, то настройка такая.
Обновлять [Заменит все фото у товара][Изображения не удаляются с сервера!]
 

Посмотрите логи. Там же ясно указано действие и результат...

[Rassol2]

1 минуту назад, partshez сказал:

Посмотрите логи. Там же ясно указано действие и результат...

Покажите логи где видно что модуль не удаляет фото ?

[partshez]

https://prnt.sc/utkuog

Создан 48-ой дубль фото

https://prnt.sc/utawme  

https://prnt.sc/uta1fd

[partshez]

Сегодня уже пора домой уходить. Завтра еще раз все фото удалю и в течение дня буду пробовать разные настройки 

[partshez]

https://prnt.sc/utl0tn  Это количество товаров данного проекта. Пусть будет 4 тысячи. С самого начала. Включая отключенные товары. В каждом товаре 3-5 фото. А на сервере перед удалением было 220 тысяч изображений! Неправильно как-то это  https://prnt.sc/utawme

Змінено 5 жовтня 2020 користувачем partshez

[partshez]

https://prnt.sc/utl5kk   Выставил настройки проекта. 

Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера]

Удаляю опять все изображения этого проекта с сервера.    https://prnt.sc/utlead     

Удалил. Пустая папка... https://prnt.sc/utlf38

Настроены два задания с тайм-аутом 4 часа   https://prnt.sc/utlaqi

После выполнения задания есть два дополнительных   https://prnt.sc/utlbls

Отключить необновленные товары и удалить фото необновленных товаров. 

Вроде бы, используя возможности модуля, должно выполняться задуманное мною. 

До утра раза два-три задания отработают. Посмотрим, что получу в итоге по изображениям и их дублям.

 

[Rassol2]

1 час назад, partshez сказал:

https://prnt.sc/utkuog

Создан 48-ой дубль фото

https://prnt.sc/utawme  

https://prnt.sc/uta1fd

как все сложно. Вы пишите о мягком и теплом.

1. Написано в логах что удалил значит удалил.
2. Видите файлы с приставкой это не значит что не удалил.
Это значит ровно одно что в этой директории есть файлы с именем которое совпадает с именем спаренного файла. И не более того. Точка.

Такие файлы могут быть
а) загружены вручную.
б) загружены модулем и затем вы удалили товары без удаления фото.

в) перемешены с других дерикторий.

с) загружены модулем с других товаров к примеру есть два товара и у донора и они имеют одинаковое название фото.
г) загружен другими модулями.

Да вариаций куча в принципе.

Главное поймите модуль только удаляет фото которые привязаны к товару в момент их замещение этих фото. Если выбрано действие обновить и удалить с сервера.
 

1 час назад, partshez сказал:

Сегодня уже пора домой уходить. Завтра еще раз все фото удалю и в течение дня буду пробовать разные настройки 

перед тем как завтра что то писать просто перечитайте все, выпейте банку кофе и подумайте, что вы делаете и у вас не будет таких вопросов.
 

 

1 час назад, partshez сказал:

https://prnt.sc/utl0tn  Это количество товаров данного проекта. Пусть будет 4 тысячи. С самого начала. Включая отключенные товары. В каждом товаре 3-5 фото. А на сервере перед удалением было 220 тысяч изображений! Неправильно как-то это  https://prnt.sc/utawme

Конечно это не правильно потому что вы делали изначально все не правильно, и результат у вас получился неправильный. И пишите теперь вы немного неправильные вещи.
но я банально не могу достучатся до вас. Но если не хотите вчитаться вдуматься, то буду по мере возможности изо дня в день повторять вам одно и тоже.

 

[Rassol2]

1 час назад, partshez сказал:

https://prnt.sc/utl5kk   Выставил настройки проекта. 

Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера]

Удаляю опять все изображения этого проекта с сервера.    https://prnt.sc/utlead     

Удалил. Пустая папка... https://prnt.sc/utlf38

Настроены два задания с тайм-аутом 4 часа   https://prnt.sc/utlaqi

После выполнения задания есть два дополнительных   https://prnt.sc/utlbls

Отключить необновленные товары и удалить фото необновленных товаров. 

Вроде бы, используя возможности модуля, должно выполняться задуманное мною. 

До утра раза два-три задания отработают. Посмотрим, что получу в итоге по изображениям и их дублям.

 

Вы намерено так усложняете?
Почему нельзя просто упростить тест.
берем один товар загружаем его. Выставляем действие обновить фото с удалением и жмем обновить и смотрим директорию.

Это же 2 минуты. Вы как спецом все усложняете что бы завтра написать что у вас что то не получило, и что бы я полез разгребать какие настройки у вас стоят в проекте.
Потому что бы я смотрел какое доп задание было выбрано как и что оно удаляет.
Ведь банально есть удаление товара без фото.

Короче сейчас разгребу ЛС и сделаю для вас тест с показыванием работы.

 

[Rassol2]

@partshez Ну что вот вам тест без запутывания.

Пустой сайт, пустая директория с фото.
 

Спойлер

 

Загружаем товар.
 

Спойлер

теперь у нас в директории 3 фото.
 

Спойлер

Далее выставляем настройки ОБНОВИТЬ ФОТО С УДАЛЕНИЕМ.
 

Спойлер

Запускаем обновление товара.
 

Спойлер

В логах видно что и фото удалены и товару присвоены новые.
Заходим в директорию с фтп и видим что там находятся только 3 фото !!!
 

Спойлер

Не шесть, не девять, и даже не девять гигов и а именно три фото.

Но я понимаю что в данном случаи вы зацепитесь к словам стоп но названия не те.
Вот я вам сразу поясняю почему названия имеют приставку 1.

Потому что модуль
1. Скачал и сохранил фото на сервере.
2. Поскольку при скачивании на сервере уже были фото с такими именами он добавил в начало единицу.
3. Далее у модуля есть скачанные фото и ему есть чем заменить в товаре существующие фото. И он идет в товар что будет обновлять получает список тех фото которые прикреплены к товару до обновления.
4. Удаляет их.
5. И присваивает товару новые фото.

И именно по этой причине на этапе второй итерации фото имеют приставку один.

И что бы забить последний аргумент давайте повторим обновления фото в товаре еше один раз.
Запускаем обновление.

Спойлер

Смотрим фтп.
 

Спойлер

И последнее объяснение. Почему в этот раз нету у фото имени с 1 или с 2 или 3 ....

Модуль снова качает фото с донора, и сохраняет на диске. Поскольку на диске нету фото с таким же названием (потому что сейчас они отличаются приставкой 1)
То модулю не нужно уже переименовывать их и он сохраняет их так как скачал.
Затем модуль удаляет с товара фото и удаляет файлы с сервера которые были привязаны к товару. То есть те самими с приставкой 1.
И записывает на их место новые без приставки.


Ну если это объяснение вам не поможет в понимании происходящего тогда я не чем не могу вам помочь.

[Rassol2]

@partshez рас уже пошла такая пляска еше покажу что будет если выбрать другой вариант.
Теперь выбираем обновление фото в товаре без удаления.

Настраиваем.
 

Спойлер

И обновляем товар.
 

Спойлер

В логах сразу же видно что нету действия удаление фото.
но видно что добавлено 3 новых.
 

Спойлер

А давайте я обновлю этот товар еше пару раз !!
И что мы видим на фтп ?
 

Спойлер

именно тот эфект который описываете вы.
Фото копятся и занимают место потому что у вас выбрано действие (или было выбрано действие) обновлять и не удалять. Вот у вас и 8гб скушало.

[partshez]

11 часов назад, Rassol2 сказал:

Вы намерено так усложняете?
Почему нельзя просто упростить тест.
берем один товар загружаем его. Выставляем действие обновить фото с удалением и жмем обновить и смотрим директорию.

Огромное спасибо автору за терпение!

Вопрос решен, дублей нет. Я уже старый брюзга, но стараюсь всегда и во всем разобраться до конца и найти решение вопроса.

Еще раз - Спасибо!

[VitaliyDnepr91]

здравствуйте. после обновления при переходе в вкладку "парсинг в ИМ" и в вкладку "менеджер url" выдает ошибку Notice: Undefined index: file in /home/safety04/safety.dp.ua/www/system/engine/proxy.php on line 51Notice: Undefined index: line in /home/safety04/safety.dp.ua/www/system/engine/proxy.php on line 51Notice: Undefined property: Proxy::getAllLinkList in on line

[VitaliyDnepr91]

4 часа назад, VitaliyDnepr91 сказал:

здравствуйте. после обновления при переходе в вкладку "парсинг в ИМ" и в вкладку "менеджер url" выдает ошибку Notice: Undefined index: file in /home/safety04/safety.dp.ua/www/system/engine/proxy.php on line 51Notice: Undefined index: line in /home/safety04/safety.dp.ua/www/system/engine/proxy.php on line 51Notice: Undefined property: Proxy::getAllLinkList in on line

проблема исправлена

[tarenos]

 @Rassol2 Не могу авторизоваться на сайте. Никак. С пасрингом знаком, в пользовании CD, никак не авторизуется. Куки прописывал по всем способам. Прошу помощи. Дабы не показывать сайт, прошу в личку ответить.

[Rassol2]

1 минуту назад, tarenos сказал:

Не могу авторизоваться на сайте. Никак. С пасрингом знаком, в пользовании CD, никак не авторизуется. Куки прописывал по всем способам. Прошу помощи. Дабы не показывать сайт, прошу в личку ответить.

Здравствуйте.
Посмотрите видео по парсингу с авторизацией.
 

Спойлер

 

 

[Rassol2]

если не получится скинете в ЛС логин и пароль от вашего сайта донора и я проверю в свободное время.

[Milaha]

Помогите, не парсит все товары! В проекте 315 ссылок Обработано ссылок: 47 | Ссылок в очереди: 268 | [Ссылок в проекте: 315]

Дальше не идет(

Что делать:?

[partshez]

1 час назад, Milaha сказал:

Помогите, не парсит все товары! В проекте 315 ссылок Обработано ссылок: 47 | Ссылок в очереди: 268 | [Ссылок в проекте: 315]

Дальше не идет(

Что делать:?

Совсем недавно сталкивался с такой же проблемой. Вначала парсил 47 товаров, потом 26 и все. Изменили хостинг на впс. Проблема осталась. И при запуске вручную, и через крон. Пробовал через прокси, куки, заголовки. Увеличивал время обработки, паузу. Проблему решить не удалось.  

Настроил парсинг на другом ip, своем тестовом сайте. Не парсит больше 47 товаров. Наверное, на доноре какая-то защита.

Заменили донора...

Змінено 8 жовтня 2020 користувачем partshez

[Rassol2]

6 часов назад, Milaha сказал:

Помогите, не парсит все товары! В проекте 315 ссылок Обработано ссылок: 47 | Ссылок в очереди: 268 | [Ссылок в проекте: 315]

Дальше не идет(

Что делать:?

Здравствуйте.
Посмотрите логи. Есть ли там ошибки.

[A26]

Доброго дня !

 

в  навигационных табах - есть созданные вкладки .

А есть ли возможность парсить непосредственно в БД в новые вкладки, а не в стандартные ( описание, характеристики)  ?

 

[asokr]

Подскажите, возможно ли указать товару при парсинге в ИМ сразу несколько категорий?