[Поддержка] SimplePars - Универсальный парсер для ИМ

[kliker]

39 минут назад, Rassol2 сказал:

 
Какая версия движка у вас ?

 

 

Версия ocStore 3.0.2.0

[Rassol2]

2 минуты назад, kliker сказал:

 

Версия ocStore 3.0.2.0

проверю сегодня у себя, и отпишусь правда наверное уже ночью. Что то все сразу писать начали

[kliker]

23 минуты назад, Rassol2 сказал:

проверю сегодня у себя, и отпишусь правда наверное уже ночью. Что то все сразу писать начали

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

[Rassol2]

3 часа назад, kliker сказал:

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

все добавляет.
Проблема в том что после создани категории нужно нажать на

Спойлер

В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

[Rassol2]

3 часа назад, kliker сказал:

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

все добавляет.
Проблема в том что после создании категории нужно нажать на

Спойлер

В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

[kliker]

33 минуты назад, Rassol2 сказал:

все добавляет.
Проблема в том что после создании категории нужно нажать на

  Скрыть контент

В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

 

Но категория же создается на автомате, с помощью парсера и получается, то что товары к ней не привязываются!

[Rassol2]

1 минуту назад, kliker сказал:

Но категория же создается на автомате, с помощью парсера и получается, то что товары к ней не привязываются!

привязывается.
Только вы это не видите пока не нажмете на копку что я показал на скриншоте.

Я начал тестировать что вы сказали и действительно вижу что не привязана. Смотрю в базу данных а там привязано. И тут до меня дошло что просто нужно обновить кеш категорий, назовём это так.
Можете убедится.

[faza78]

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций? Например заходишь в товар, к примеру спальня, и она представляет из себя коллекцию, т.е. она имеет в своем составе еще штук 6-8 товаров тоже не имеющих ни артикулов, ни кодов товара. Их же нужно еще потом как-то связать между собой.

Змінено 5 квітня 2020 користувачем faza78

[Rassol2]

6 минут назад, faza78 сказал:

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций?

Все зависит от ваших потребностей.

Да действительно такие сайты конвертировать в формат опенкарта довольно сложно. Это факт, но по большей части это связано с тем что опенкарт изначально разрабатывался как магазин другого типа.

Но у меня есть идеи как решить некоторые подобные ситуации. Но банально не хватает рук что бы все сразу реализовать. Вроде и так как папа карло, а идей все больше и больше.

Вот пример как можно решить вопрос с отсутствием артикула.

Есть вот такой сайт
https://puretimewatch.io/watch-brands/cartier/ronde-solo-de-cartier/ronde-solo-de-cartier-ss-diamonds-bezelmarkers-white-dial-on-black-leather-strap-a2824.html
В нем нету ничего ни артикула ничего другого. И хуже того есть разные ссылки на один и тот же товар.
К примеру вот тот же товар
https://puretimewatch.io/ronde-solo-de-cartier-ss-diamonds-bezelmarkers-white-dial-on-black-leather-strap-a2824.html

Но их нужно как то идентифицировать и загружать, а потом и обновлять как то

Я решаю такие вопросы примерно так.
Отрезаю от ссылки все напоминания о расположении товара, то есть куски url где описание категорий.
 

Спойлер

 

Затем хеширую хвост ссылки который идентифизирует исключительно этот товар в 8 символов и получаю уникальный артикул.
 

Спойлер

и этот артикул всегда будет показывать на этот товар в независимости на то куда перенес его сайт донор.
Таким образом можно добится неплохой связи с сайтом донором.

А вот коллекции это уже да тут все сложнее. И в частности потому что в опенкарт особо нет фундамента под такие форматы карточки товара.

[kliker]

15 минут назад, faza78 сказал:

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций? Например заходишь в товар, к примеру спальня, и она представляет из себя коллекцию, т.е. она имеет в своем составе еще штук 6-8 товаров тоже не имеющих ни артикулов, ни кодов товара. Их же нужно еще потом как-то связать между собой.

 

Прописываешь для этих товаров категорию и вуаля, все спарсеные товары будут в ней отображаться! Все данные можно изменять перед парсингом вручную или задавать идентификацию из названия товара. Тут море возможностей и решений, главное самому понять, что хочешь в итоге получить. А так, только практика поможет!

[urchik]

Подскажите кто где прокси покупает?

[Rassol2]

Нашел косяк в коде акция не удаляется
Ночью выложу обновление с правлением этого косяка и еше одна вкусность приедет.

Это будет последнее обновление перед следующей стабильной версией.

[urchik]

Еще бы сделать отключение парсинга при работе если сайт начал блокировать парсинг. А то как у меня получилось при работе крона, 15000 товаров, он спарсил 4000 а остальные с ошибкой прогнал. 

[Rassol2]

7 часов назад, urchik сказал:

Еще бы сделать отключение парсинга при работе если сайт начал блокировать парсинг. А то как у меня получилось при работе крона, 15000 товаров, он спарсил 4000 а остальные с ошибкой прогнал. 

Данный вопрос у меня на слуху и ждет своей реализации.

Но правда я вижу реализацию этой задачи немного по другому.
Допустим сайт донор отдал ошибку 404 страница не найдена. И модуль не парсит ее, а помечает как ссылка на которой была ошибка.
После парсинга вы всегда можете зайти и посмотреть сколько ссылок было спарсенно с ошибкой. И запустить парсинг только тех ссылок в которых была ошибка.

Но для этого нужно переработать пол модуля, потому что нужно поменять подход работы с ссылками. А в современных реалиях это еше нужно сделать в двойном объеме.
Для нас человечков и для крона отдельные списки ссылок.

Но это 100% будет сделано. Вопрос во времени.
Я в предыдущем посте написал что нашел ошибку и ночью выложу обновление, проработал до 6 утра так и не закончив.  
Так что для более быстрой реализации нужно что бы кто то по блату увеличил количество часов в сутках

[stas2010]

3 часа назад, Rassol2 сказал:

Допустим сайт донор отдал ошибку 404 страница не найдена. И модуль не парсит ее, а помечает как ссылка на которой была ошибка.
После парсинга вы всегда можете зайти и посмотреть сколько ссылок было спарсенно с ошибкой. И запустить парсинг только тех ссылок в которых была ошибка.

можно проще и удобнее сделать - два лога, как в АОП, один с ошибками, второй с правильно обработанными ссылками. логи положить в папку uploads. тогда не надо будет выковыривать ссылки из лога, а просто скопировать сразу все из лога с ошибками и при необходимости на второй круг пустить. Ранее писал, что есть не только ошибки с 404, но "нет ответа от сервера" и другие - по-этому все, что не ОК, скидывать в другой файл-лог.

[Rassol2]

4 минуты назад, stas2010 сказал:

можно проще и удобнее сделать - два лога, как в АОП, один с ошибками, второй с правильно обработанными ссылками. логи положить в папку uploads. тогда не надо будет выковыривать ссылки из лога, а просто скопировать сразу все из лога с ошибками и при необходимости на второй круг пустить. Ранее писал, что есть не только ошибки с 404, но "нет ответа от сервера" и другие - по-этому все, что не ОК, скидывать в другой файл-лог.

в этом и соль.
Я не хочу делать так это как по мне не сильно дружественный подход к пользователю.
Когда вы с лога выковыряете ссылки вы потеряете основную массу ссылок. Или ее нужно предусмотрительно куда то пере сохранить. Затем не забыть вернуть на свое место.

А я хочу сделать протсо переключатель где вы можете выбрать сразу посмотреть ссылки которые парсились с ошибкой.
Удалить или запустить парсинг только тех ссылок у которых была ошиюбка. Затем переключится обратно на весь список.

Ну 404 ошибка это как пример, в это список будут попадать все ссылки которые небыли спарсены.
Это будет более комфортно и интуитивно понятно.

[Rassol2]

Обновление v3.3-3_beta

1. В этой версии поправлено удаление акций если их нету на сайте доноре.
2. Вернул обратно автоматическое исправление категорий, о котором писал здесь
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1579064

 

3. Ну и значительно увеличил скорость парсинга сайтов, а точнее парсинга изображений. Что в свою очередь увеличило общую производительность.
Раньше модуль парсил в многопоточном режиме карточки товаров, но при этом загрузка фото производилось в однопоточном режиме.
Но когда появился сайт где много изображений в товаре это приводит к сильному замедлению парсинга.
Теперь по умолчанию все фото парсятся в много поточном режиме, что бы долго не расписывать записал демонстрацию производительности.
 

Все дальше будет работать над устранением проблем что бы выгнать новую стабильную версию.

Функциональные изменения пока не буду вносить.

[Tim1703]

Работает ли с https://rozetka.com.ua ?

[Rassol2]

25 минут назад, Tim1703 сказал:

Работает ли с https://rozetka.com.ua ?

Я не рекомендую парсить розетку, тут нужно много прокси и терпение. Оно того не стоит. 

[Tim1703]

7 минут назад, Rassol2 сказал:

Я не рекомендую парсить розетку, тут нужно много прокси и терпение. Оно того не стоит. 

а откуда посоветуете ? авто и мототовары ?

[Rassol2]

1 минуту назад, Tim1703 сказал:

а откуда посоветуете ? авто и мототовары ?

Ну как я вам могу советовать ?
У вас есть товар вам виднее с кем вы пересекаетесь по товарному ряду.

[asiat11]

День Добрый. Купил это модуль, спарсил ссылки, хотел сохранить, получаю внутреннюю ошибку сервера. Что Делать???

[Rassol2]

1 минуту назад, asiat11 сказал:

День Добрый. Купил это модуль, спарсил ссылки, хотел сохранить, получаю внутреннюю ошибку сервера. Что Делать???

Опишите какая у вас версия модуля.
И что это за ошибка.
И при каких действиях она появилась.

[asiat11]

 SimplePars v3.2-5_beta у меня сейчас. Как его обновить?

[Rassol2]

1 минуту назад, asiat11 сказал:

 SimplePars v3.2-5_beta у меня сейчас. Как его обновить?

https://simplepars.top/index.php?page=note&note_id=6