[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

37 минут назад, sotavip сказал:

автор модуля вопрос был конкретно о вставках ссылок на картинки которые использует донор, без возможности загрузки самих картинок

а не о архитектуре магазина или использования бэкапа, не спрашиваю по сколько тут у людей гигабайтов у магазинов, просьба отвечать на вопросы как автор модуля к к по желанием клиента

Я не знаю кто вам сегодня испортил настроение.
Но если сегодня вы хотите общаться таким  образом, я вам помешать не могу.

 

Конкретно по вашему высказыванию.
Вы видите в своих сообщениях конкретный вопрос ? Я нет.

Спойлер

13 часов назад, sotavip сказал:

как решаете вопрос с хранением файлов? когда товаров много и соответственно фото, не хочется на хост загружать, в идеале их в отдельном месте хранить

 

13 часов назад, sotavip сказал:

и backup сайта будет делать проще без фото, гигабайты back up это жёстко 

 

13 часов назад, sotavip сказал:

возможно вставлять ссылки на фото от донора на первое время, индексация сейчас не важна

 

12 часов назад, sotavip сказал:

на хосте 4Гб уже полные, и это только начала парсинга 

 

 

Но несмотря на это я попытался разъяснить вам ситуацию.
Если вы хотите получать конкретные ответы, начните задавать конкретные вопросы.
 

[Rassol2]

@sotavip А все же.

Напишите мне в ЛС кака я у вас версия движка и модуля. Вам поправлю код и модуль не будет парсить фото, и в базу данных будет писать прямые ссылки на фото сайта донора.
Как это будет работать в логике самого opcencart я не знаю, но поскольку вам не важно сео и тому подобное это можно реализовать.

[sotavip]

ок, как только объем данных подойдет к критической, 

[Rassol2]

3 минуты назад, sotavip сказал:

ок, как только объем данных подойдет к критической, 

На всякий случай пишу.
Когда у вас подойдет обьем к критическому и вы мне напишите, это не будет значить что я все брошу и пойду делать.
Сегодня ночью я намерен только разрабатывать модуль, по этому могу уделить время в целях саморазвития проделать такую авантюру.

Если вы мне напишите через пару дней или  ....   и я буду занят придется подождать.

[urchik]

Подскажите пожалуйста, кто как реализует.

У донора нет ни артикулов, ни кодов каких то, только название, описание, цена, характеристики.

К чему привязаться не могу сообразить, чтоб потом в будущем после полного парсинга можно было обновлять цены.

[Rassol2]

1 минуту назад, urchik сказал:

Подскажите пожалуйста, кто как реализует.

У донора нет ни артикулов, ни кодов каких то, только название, описание, цена, характеристики.

К чему привязаться не могу сообразить, чтоб потом в будущем после полного парсинга можно было обновлять цены.

Луче ссылку приложите.
Но как правило есть такие части в товаре которые обновляются ровно никогда.
К примеру я бы рекомендовал сделать так.
Захешировать название. в 4 символа.
Захошировать блок с фото в 4 символа.

Затем их склеить в поле артикул париснга в им.

Отдельно полагаться на название не стоит ибо они могут повторятся в товаре.
А если склеить с хешем фото, тогда должно быть уникально.

Ну это мой вариант, опыта у меня у самого с этим вопросом не много, но выглядит более менее надежно.

[sotavip]

6 часов назад, Rassol2 сказал:

На всякий случай пишу.
Когда у вас подойдет обьем к критическому и вы мне напишите, это не будет значить что я все брошу и пойду делать.
Сегодня ночью я намерен только разрабатывать модуль, по этому могу уделить время в целях саморазвития проделать такую авантюру.

Если вы мне напишите через пару дней или  ....   и я буду занят придется подождать.

 

 

SimplePars v3.0-2_beta , ocStore 2.1.0.2.1, просьба сделатьна своем хосте, с этими правками буду парсить заново

[Rassol2]

11 минут назад, sotavip сказал:

 

 

SimplePars v3.0-2_beta , ocStore 2.1.0.2.1, просьба сделатьна своем хосте, с этими правками буду парсить заново

Я собственно уделил время этому вопросу.
И провел тесты.
Если записать в базу данных товара ссылку на фото которая лежит на удаленном хосте то опенкарт ее не выводит.

 

Результат в карточке товара.
 

Спойлер

Хоть в модуле я и могу сделать такие изменения вам это пользы не принесет, поскольку сам движок отказывается так работать.
Идея была интересная но реализовать ее не получится.

Возможно и можно будет реализовать если вы найдете дополнение для опенкарт которое позволяет выводить фото находящиеся на удаленном сервере, и в базе данных товара указана не относительная ссылка, а полная ссылка на фото с удаленного хоста.
Если есть такой модуль тогда можно будет вернутся к этому вопросу.

А пока тест показал что это не имеет смысла.

[urchik]

2 часа назад, Rassol2 сказал:

Луче ссылку приложите.
 

 

Товар

Выбрал первый попавшийся, но почти все такие , только есть еще с описанием.

Можно попробовать как вы предложили. Но если что то поменяется у них в блоке с фото и в наименование, то данный товар заново спарсится, вернее ее цена ))).

 

Еще заметил когда парсил другого донора, попадались ссылки без товара, на главную перекидывали, и парсер парсил их, добавлял пустые товары, а в логах писал что ошибок нет.

 

[sotavip]

1 час назад, Rassol2 сказал:

Я собственно уделил время этому вопросу.
И провел тесты.
Если записать в базу данных товара ссылку на фото которая лежит на удаленном хосте то опенкарт ее не выводит.

 

Результат в карточке товара.
 

  Скрыть контент

Хоть в модуле я и могу сделать такие изменения вам это пользы не принесет, поскольку сам движок отказывается так работать.
Идея была интересная но реализовать ее не получится.

Возможно и можно будет реализовать если вы найдете дополнение для опенкарт которое позволяет выводить фото находящиеся на удаленном сервере, и в базе данных товара указана не относительная ссылка, а полная ссылка на фото с удаленного хоста.
Если есть такой модуль тогда можно будет вернутся к этому вопросу.

А пока тест показал что это не имеет смысла.

 

 

жаль, была бы не лишняя такая функция подгружать картинки  или нет,

возможно как то через поиск замену относительную ссылку вставлять?  к этому вопросу возможно вернемся позже, возможно кто то с эти сталкивался? 

 спасибо за внимание!

 

 

другой вопрос как отключить товар  по определенным нескольким текстам на странице товара, к примеру в описание указано что товар восстановленный (новый) и нет в наличии и в обоих случаях сделать количество товаров равно нулю.

такую функцию нашел только для одного случая например восстановленный (новый), через поиск и замену ищет слово восстановленный заменяет на ноль,  (новый) = 10, и ставив границу в количество получаем результат, а для второго  дополнительного критерия  'нет в наличии' не нашел способа как вставить, ведь во вкладке Пасинг в ИМ, в разделе количество указать несколько границ не возможно?

 

или как товозможно ли в поиске использовать выражение &? чтоб искал по нескольким критериям

 

 

[Rassol2]

4 часа назад, sotavip сказал:

возможно как то через поиск замену относительную ссылку вставлять? 

Относительная ссылака подразумевает что фото лежит на вашем сервере.
 

4 часа назад, sotavip сказал:

другой вопрос как отключить товар  по определенным нескольким текстам на странице товара, к примеру в описание указано что товар восстановленный (новый) и нет в наличии и в обоих случаях сделать количество товаров равно нулю.

такую функцию нашел только для одного случая например восстановленный (новый), через поиск и замену ищет слово восстановленный заменяет на ноль,  (новый) = 10, и ставив границу в количество получаем результат, а для второго  дополнительного критерия  'нет в наличии' не нашел способа как вставить, ведь во вкладке Пасинг в ИМ, в разделе количество указать несколько границ не возможно?

В количество можно вставить несколько границ парсинга как и в лбьое место.
 

Спойлер

По поводу отключить товар исходят из разных наборов текста на страницах к сожалению такого нету.

[Rassol2]

5 часов назад, urchik сказал:

Товар

Выбрал первый попавшийся, но почти все такие , только есть еще с описанием.

Можно попробовать как вы предложили. Но если что то поменяется у них в блоке с фото и в наименование, то данный товар заново спарсится, вернее ее цена ))).

да делайте как я описал выше. Эти данные меняют аж никогда. По этому не стоить об этом думать, шанс есть но критично мал. И если так думать тогда нечему не прицепитесь.

 

5 часов назад, urchik сказал:

Еще заметил когда парсил другого донора, попадались ссылки без товара, на главную перекидывали, и парсер парсил их, добавлял пустые товары, а в логах писал что ошибок нет.

Если по истечению обстоятельств та страница куда перекинули содержит код с границе парсинга идентификатора товара то чем эта страница отличается от любой другой ?
Ничем границы есть данные в них есть значит модуль пытается создать товар из того  что у него есть.
Можете отключить переход по редиректам в браузере модуля.
 

[bodyak0]

Добрый день, подскажите как правильно спарсить сайт https://moscow.pinskdrev.ru/catalog/myagkaya-mebel/kresla/kreslo-patritsiya/
не могу сделать чтобы парсер понимал где товар где категория, он почему то в товары мне категории добавляет)
по отдельности сложно парсить может совет какой дадите?

[Rassol2]

2 минуты назад, bodyak0 сказал:

Добрый день, подскажите как правильно спарсить сайт https://moscow.pinskdrev.ru/catalog/myagkaya-mebel/kresla/kreslo-patritsiya/
не могу сделать чтобы парсер понимал где товар где категория, он почему то в товары мне категории добавляет)
по отдельности сложно парсить может совет какой дадите?

Здравствуйте.
Ну тут явно вопрос с настройками сбора ссылок.
Если не вникать что вы там настроили то совет будет такой.

По смотрите видео с сбором ссылок, особенно внимательно ту честь где рассказываю про границы парсинга в ссылках
 

Спойлер

 

И настройте таким образом что бы модуль в ссылки на товары собирал только ссылки из определенного блока. А этот блок находится только на страницах категорий. Итак что это решит ваш вопрос.

Или же рассмотрите вариант сбора ссылок с карты сайта.
 

[bodyak0]

11 хвилину назад, Rassol2 сказав:

Здравствуйте.
Ну тут явно вопрос с настройками сбора ссылок.
Если не вникать что вы там настроили то совет будет такой.

По смотрите видео с сбором ссылок, особенно внимательно ту честь где рассказываю про границы парсинга в ссылках
 

  Приховати вміст

 

И настройте таким образом что бы модуль в ссылки на товары собирал только ссылки из определенного блока. А этот блок находится только на страницах категорий. Итак что это решит ваш вопрос.

Или же рассмотрите вариант сбора ссылок с карты сайта.
 

Если правильно понял то могу задать к примеру в тексте начала сбора <div class="js-product-item-list items"> а в конце </div>
так по идее граница есть сбора?

[Rassol2]

1 минуту назад, bodyak0 сказал:

Если правильно понял то могу задать к примеру в тексте начала сбора <div class="js-product-item-list items"> а в конце </div>
так по идее граница есть сбора?

Да указывать так только выберите правильные границы парсинга.

[DoosteR]

Добрый день!

Смею полагать, что не меня одного терзает этот вопрос))

Скажите, когда ожидать крон?

[Rassol2]

1 минуту назад, DoosteR сказал:

Добрый день!

Смею полагать, что не меня одного терзает этот вопрос))

Скажите, когда ожидать крон?

не одного.
В версии 3.2 модуля.
Сейчас выйдет одно новая фишка глобальная а за ней будет реализовывается крон.

[Mat]

Добрый день!

Можно парсить опции товара?

Пример https://profildoors-spb.ru/mezhkomnatnye-dveri/seria-xn/profil-dors-2-09xn-gruvd

 

Спасибо

[Rassol2]

6 минут назад, Mat сказал:

Добрый день!

Можно парсить опции товара?

Пример https://profildoors-spb.ru/mezhkomnatnye-dveri/seria-xn/profil-dors-2-09xn-gruvd

Спойлер

 

Спасибо

Здравствуйте.
Как картинки нет не получится.

А вот как текст то вполне.
Я имею в виду что в опции цветовое решение серии будут значения
ДАРК БРАУН

КАШТАН НАТУРАЛЬНЫЙ

КАШТАН СВЕТЛЫЙ

.....

[partshez]

В 23.01.2020 в 08:10, sotavip сказал:

другой вопрос как отключить товар  по определенным нескольким текстам на странице товара, к примеру в описание указано что товар восстановленный (новый) и нет в наличии и в обоих случаях сделать количество товаров равно нулю.

такую функцию нашел только для одного случая например восстановленный (новый), через поиск и замену ищет слово восстановленный заменяет на ноль,  (новый) = 10, и ставив границу в количество получаем результат, а для второго  дополнительного критерия  'нет в наличии' не нашел способа как вставить, ведь во вкладке Пасинг в ИМ, в разделе количество указать несколько границ не возможно?

 

или как то возможно ли в поиске использовать выражение &? чтоб искал по нескольким критериям

 

 

Некоторое время назад использовал {gran_69}{|}{gran_66}  для цены Опции  http://prntscr.com/qslvk9  Автор категорически писал мне, что оператор ИЛИ в этом случае работать не должен. А у меня работает (но есть небольшая проблема по первой цене, это уже решал отдельно)! Я к тому, что нужно пробовать разные варианты. 

В данном случае я бы попробовал по умолчанию 0, а границы парсинга количества http://prntscr.com/qslw8s  через ИЛИ... 

 

[bodyak0]

Добрый день!
Если в карточке товара так опции
Материал:

Цвет:

Размер:
я вывести могу как у донора 3 опции? 
 

[Rassol2]

3 часа назад, bodyak0 сказал:

Добрый день!
Если в карточке товара так опции
Материал:

Цвет:

Размер:
я вывести могу как у донора 3 опции? 
 

да можете.

[bodyak0]

1 годину назад, Rassol2 сказав:

да можете.

Получилось, вот только казус с ценами опции, можете посмотреть я так понимаю что парсером мне их не извлечь
https://moscow.pinskdrev.ru/catalog/onlayn-rasprodaja/matrats-tonus/
сайт донор, буду очень признателен

[Rassol2]

16 минут назад, bodyak0 сказал:

Получилось, вот только казус с ценами опции, можете посмотреть я так понимаю что парсером мне их не извлечь
https://moscow.pinskdrev.ru/catalog/onlayn-rasprodaja/matrats-tonus/
сайт донор, буду очень признателен

Здравствуйте.
Скиньте мне в ЛС форму настройки, и номер заказа модуля. Я все посмотрю и за одно скину вам лицензионный ключ.