Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

2 минуты назад, kliker сказал:

 

Версия ocStore 3.0.2.0

проверю сегодня у себя, и отпишусь правда наверное уже ночью. Что то все сразу писать начали :(

Надіслати
Поділитися на інших сайтах

23 минуты назад, Rassol2 сказал:

проверю сегодня у себя, и отпишусь правда наверное уже ночью. Что то все сразу писать начали :(

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

Надіслати
Поділитися на інших сайтах


3 часа назад, kliker сказал:

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

все добавляет.
Проблема в том что после создани категории нужно нажать на

Спойлер

C0xt6Ud.png


В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

Надіслати
Поділитися на інших сайтах

3 часа назад, kliker сказал:

 

Не принципиально, удовлетворяет полностью обычная версия 3-1-3

все добавляет.
Проблема в том что после создании категории нужно нажать на

Спойлер

C0xt6Ud.png


В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

Надіслати
Поділитися на інших сайтах

33 минуты назад, Rassol2 сказал:

все добавляет.
Проблема в том что после создании категории нужно нажать на

  Скрыть контент

C0xt6Ud.png


В старых версиях модуль сам делал обновления информации по категориями. А затем я убрал эту возможность с целью экономия ресурсов.
Что бы меньше создавать нагрузка.

Но чувствую нужно будет вернуть эту функцию потому что теперь ее отсутствие создает недопонимание.

 

Но категория же создается на автомате, с помощью парсера и получается, то что товары к ней не привязываются!

Надіслати
Поділитися на інших сайтах


1 минуту назад, kliker сказал:

Но категория же создается на автомате, с помощью парсера и получается, то что товары к ней не привязываются!

привязывается.
Только вы это не видите пока не нажмете на копку что я показал на скриншоте.

Я начал тестировать что вы сказали и действительно вижу что не привязана. Смотрю в базу данных а там привязано. И тут до меня дошло что просто нужно обновить кеш категорий, назовём это так.
Можете убедится.

Надіслати
Поділитися на інших сайтах

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций? Например заходишь в товар, к примеру спальня, и она представляет из себя коллекцию, т.е. она имеет в своем составе еще штук 6-8 товаров тоже не имеющих ни артикулов, ни кодов товара. Их же нужно еще потом как-то связать между собой.

Змінено користувачем faza78
Надіслати
Поділитися на інших сайтах


6 минут назад, faza78 сказал:

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций?

Все зависит от ваших потребностей.

Да действительно такие сайты конвертировать в формат опенкарта довольно сложно. Это факт, но по большей части это связано с тем что опенкарт изначально разрабатывался как магазин другого типа.

Но у меня есть идеи как решить некоторые подобные ситуации. Но банально не хватает рук что бы все сразу реализовать. Вроде и так как папа карло, а идей все больше и больше.

Вот пример как можно решить вопрос с отсутствием артикула.


Есть вот такой сайт
https://puretimewatch.io/watch-brands/cartier/ronde-solo-de-cartier/ronde-solo-de-cartier-ss-diamonds-bezelmarkers-white-dial-on-black-leather-strap-a2824.html
В нем нету ничего ни артикула ничего другого. И хуже того есть разные ссылки на один и тот же товар.
К примеру вот тот же товар
https://puretimewatch.io/ronde-solo-de-cartier-ss-diamonds-bezelmarkers-white-dial-on-black-leather-strap-a2824.html

Но их нужно как то идентифицировать и загружать, а потом и обновлять как то

Я решаю такие вопросы примерно так.
Отрезаю от ссылки все напоминания о расположении товара, то есть куски url где описание категорий.
 

Спойлер

ITVhqJ8.png

 

Затем хеширую хвост ссылки который идентифизирует исключительно этот товар в 8 символов и получаю уникальный артикул.
 

Спойлер

S7Z5hQt.png


и этот артикул всегда будет показывать на этот товар в независимости на то куда перенес его сайт донор.
Таким образом можно добится неплохой связи с сайтом донором.

А вот коллекции это уже да тут все сложнее. И в частности потому что в опенкарт особо нет фундамента под такие форматы карточки товара.

Надіслати
Поділитися на інших сайтах

15 минут назад, faza78 сказал:

А стоит ли вообще связываться с сайтом не имеющим ни артикулов, ни кода товаров, да в придачу состоящему сплошь из коллекций? Например заходишь в товар, к примеру спальня, и она представляет из себя коллекцию, т.е. она имеет в своем составе еще штук 6-8 товаров тоже не имеющих ни артикулов, ни кодов товара. Их же нужно еще потом как-то связать между собой.

 

Прописываешь для этих товаров категорию и вуаля, все спарсеные товары будут в ней отображаться! Все данные можно изменять перед парсингом вручную или задавать идентификацию из названия товара. Тут море возможностей и решений, главное самому понять, что хочешь в итоге получить. А так, только практика поможет!

  • +1 2
Надіслати
Поділитися на інших сайтах


Нашел косяк в коде акция не удаляется :(
Ночью выложу обновление с правлением этого косяка и еше одна вкусность приедет.

Это будет последнее обновление перед следующей стабильной версией.

  • +1 1
Надіслати
Поділитися на інших сайтах

Еще бы сделать отключение парсинга при работе если сайт начал блокировать парсинг. А то как у меня получилось при работе крона, 15000 товаров, он спарсил 4000 а остальные с ошибкой прогнал. 

Надіслати
Поділитися на інших сайтах


7 часов назад, urchik сказал:

Еще бы сделать отключение парсинга при работе если сайт начал блокировать парсинг. А то как у меня получилось при работе крона, 15000 товаров, он спарсил 4000 а остальные с ошибкой прогнал. 

Данный вопрос у меня на слуху и ждет своей реализации.

Но правда я вижу реализацию этой задачи немного по другому.
Допустим сайт донор отдал ошибку 404 страница не найдена. И модуль не парсит ее, а помечает как ссылка на которой была ошибка.
После парсинга вы всегда можете зайти и посмотреть сколько ссылок было спарсенно с ошибкой. И запустить парсинг только тех ссылок в которых была ошибка.

Но для этого нужно переработать пол модуля, потому что нужно поменять подход работы с ссылками. А в современных реалиях это еше нужно сделать в двойном объеме.
Для нас человечков и для крона отдельные списки ссылок.

Но это 100% будет сделано. Вопрос во времени.
Я в предыдущем посте написал что нашел ошибку и ночью выложу обновление, проработал до 6 утра так и не закончив. :( 
Так что для более быстрой реализации нужно что бы кто то по блату увеличил количество часов в сутках :)

  • +1 1
Надіслати
Поділитися на інших сайтах

3 часа назад, Rassol2 сказал:

Допустим сайт донор отдал ошибку 404 страница не найдена. И модуль не парсит ее, а помечает как ссылка на которой была ошибка.
После парсинга вы всегда можете зайти и посмотреть сколько ссылок было спарсенно с ошибкой. И запустить парсинг только тех ссылок в которых была ошибка.

можно проще и удобнее сделать - два лога, как в АОП, один с ошибками, второй с правильно обработанными ссылками. логи положить в папку uploads. тогда не надо будет выковыривать ссылки из лога, а просто скопировать сразу все из лога с ошибками и при необходимости на второй круг пустить. Ранее писал, что есть не только ошибки с 404, но "нет ответа от сервера" и другие - по-этому все, что не ОК, скидывать в другой файл-лог.

  • +1 1
Надіслати
Поділитися на інших сайтах


4 минуты назад, stas2010 сказал:

можно проще и удобнее сделать - два лога, как в АОП, один с ошибками, второй с правильно обработанными ссылками. логи положить в папку uploads. тогда не надо будет выковыривать ссылки из лога, а просто скопировать сразу все из лога с ошибками и при необходимости на второй круг пустить. Ранее писал, что есть не только ошибки с 404, но "нет ответа от сервера" и другие - по-этому все, что не ОК, скидывать в другой файл-лог.

в этом и соль.
Я не хочу делать так это как по мне не сильно дружественный подход к пользователю.
Когда вы с лога выковыряете ссылки вы потеряете основную массу ссылок. Или ее нужно предусмотрительно куда то пере сохранить. Затем не забыть вернуть на свое место.

А я хочу сделать протсо переключатель где вы можете выбрать сразу посмотреть ссылки которые парсились с ошибкой.
Удалить или запустить парсинг только тех ссылок у которых была ошиюбка. Затем переключится обратно на весь список.

Ну 404 ошибка это как пример, в это список будут попадать все ссылки которые небыли спарсены.
Это будет более комфортно и интуитивно понятно.

  • +1 2
Надіслати
Поділитися на інших сайтах

Обновление v3.3-3_beta

1. В этой версии поправлено удаление акций если их нету на сайте доноре.
2. Вернул обратно автоматическое исправление категорий, о котором писал здесь
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1579064

 

3. Ну и значительно увеличил скорость парсинга сайтов, а точнее парсинга изображений. Что в свою очередь увеличило общую производительность.
Раньше модуль парсил в многопоточном режиме карточки товаров, но при этом загрузка фото производилось в однопоточном режиме.
Но когда появился сайт где много изображений в товаре это приводит к сильному замедлению парсинга.
Теперь по умолчанию все фото парсятся в много поточном режиме, что бы долго не расписывать записал демонстрацию производительности.
 



Все дальше будет работать над устранением проблем что бы выгнать новую стабильную версию.

Функциональные изменения пока не буду вносить.

  • +1 3
Надіслати
Поділитися на інших сайтах

25 минут назад, Tim1703 сказал:

Работает ли с https://rozetka.com.ua ?

Я не рекомендую парсить розетку, тут нужно много прокси и терпение. Оно того не стоит. 

Надіслати
Поділитися на інших сайтах

7 минут назад, Rassol2 сказал:

Я не рекомендую парсить розетку, тут нужно много прокси и терпение. Оно того не стоит. 

а откуда посоветуете ? авто и мототовары ?

Надіслати
Поділитися на інших сайтах


1 минуту назад, Tim1703 сказал:

а откуда посоветуете ? авто и мототовары ?

Ну как я вам могу советовать ?
У вас есть товар вам виднее с кем вы пересекаетесь по товарному ряду.

Надіслати
Поділитися на інших сайтах

1 минуту назад, asiat11 сказал:

День Добрый. Купил это модуль, спарсил ссылки, хотел сохранить, получаю внутреннюю ошибку сервера. Что Делать???

Опишите какая у вас версия модуля.
И что это за ошибка.
И при каких действиях она появилась.

Надіслати
Поділитися на інших сайтах

1 минуту назад, asiat11 сказал:

 SimplePars v3.2-5_beta у меня сейчас. Как его обновить?

https://simplepars.top/index.php?page=note&note_id=6

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.