Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

1 час назад, Stin сказал:

Как отсечь их, и заставить собирать ссылки на товары только в категориях? Что то я затупился.

добавить в фильтр название модуля или ссылки, которые собираются из этого модуля.

 

если фильтр не получается нормально настроить или лень, можно итоговые ссылки скопировать в эксель, двумя нажатиями удалить дубли, лишние ссылки, потом скопировать нужные обратно в модуль и сохранить

  • +1 1
Надіслати
Поділитися на інших сайтах


13 минут назад, rozario888 сказал:

добавить в фильтр название модуля или ссылки, которые собираются из этого модуля.

 

если фильтр не получается нормально настроить или лень, можно итоговые ссылки скопировать в эксель, двумя нажатиями удалить дубли, лишние ссылки, потом скопировать нужные обратно в модуль и сохранить

Вот донор, какой мне фильтр сделать, не пойму. С экселем понятно, но время обработки увеличивается, это не вариант.

Надіслати
Поділитися на інших сайтах


1 час назад, Stin сказал:

Вот донор, какой мне фильтр сделать, не пойму. С экселем понятно, но время обработки увеличивается, это не вариант.

Смотреть какие-то уникальные данные в ссылке самой карточки товара, добавлять их в фильтр. Мусор все равно будет собираться, пока его весь в фильтр не добавишь. Я так не заморачиваюсь, чтобы только чистые ссылки получились. Мне проще в экселе почистить, меньше времени занимает

  • +1 1
Надіслати
Поділитися на інших сайтах


Доброй ночи !Подскажите, как можно спарсить вот  такое фото   https://cloud.mail.ru/public/43Kf/51g4WVE4n  .Какие границы задавать? просто поставщик дал прайс, а там фото на  товары  все с такими ссылками. Заранее спасибо!

Надіслати
Поділитися на інших сайтах


5 минут назад, hippvik сказал:

Доброй ночи !Подскажите, как можно спарсить вот  такое фото   https://cloud.mail.ru/public/43Kf/51g4WVE4n  .Какие границы задавать? просто поставщик дал прайс, а там фото на  товары  все с такими ссылками. Заранее спасибо!

Здравствуйте.
Если взять вашу ссылку загрузить код страницы. То видно ссылку на фото
 

Спойлер

89g5L1Q.png

 

 

Соответственно граница парсинга для фото будет такой.
начало и конец
n0cB1td.png

Надіслати
Поділитися на інших сайтах

Я вернулся :)


Обустроил немного рабочие место. Так что можно считать вернулся.
Времени много не появилось потому что теперь нужно ответить всем кто писал в личку.

 

Кому не отвечу продублируйте свой вопрос.
Поскольку пока не было нормально интернета я мониторил ЛС на случай мега критичной проблемы, и у меня теперь не подсвечиваются сообщения на которые я не дал ответ.

 

Так же из за отъезда сбился немного ритм и я потерял нить развития что нужно реализовать в первую очередь, и если в следующих обновлениях я не реализую что то что обещал не стесняйтесь и напишите повторно.
Правда все хотелки пишите в Ветку модуля а не в ЛС практика опять показала что в ЛС быстро заполняются и найти нужную переписку почти нереально. А с веткой модуля гораздо проще, и тут в обсуждении могут участвовать и другие пользователи что очень важно в принятии правильного решения.

Отдельное спасибо всем кто помогал пользователя в мое отсутствие. :rolleyes:
 

Надіслати
Поділитися на інших сайтах

Народ, нужна помощь. Поставщик обновил свой сайт. Перенастраиваю парсер и столкнулся с проблемой.  Как мне спарсить категории. 

Раньше было вот так старая версия сайта. А теперь вот так. в новой версии. Кто подскажет, как выкрутиться?

Надіслати
Поділитися на інших сайтах


44 минуты назад, Stin сказал:

Народ, нужна помощь. Поставщик обновил свой сайт. Перенастраиваю парсер и столкнулся с проблемой.  Как мне спарсить категории. 

Раньше было вот так старая версия сайта. А теперь вот так. в новой версии. Кто подскажет, как выкрутиться?

Здравствуйте.
В данном случаи поставшик не выводит информацию о категориях.
А если нет такой информации, значить нельзя ее спарсить.
То есть нельзя взять с карточки товара то чего там нету.

 

А теперь из наблюдений. Сравнив ссылки с старого сайта и нового, мы можем увидеть почему нет категорий.
Старый /index.php?route=product/product&path=17962_18055_18204&product_id=5566
Новый /index.php?route=product/product&product_id=5566

Как видите проблема не в сайте а в том откуда вы взяли ссылку. Сама ссылка не содержит категории. По этому они и не выводятся в хлебных крошках.

Такое бывает если ссылку на товар  брать из поиска.
Но если зайти в товар через выбор категории то все прекрасно покажется.

Вот ссылка не через поиск
https://th-tool.by/index.php?route=product/product&path=1319_1472&product_id=5566&limit=240
 

А вот и категории которые спокойно можно парсить.
oAuBHIo.png

  • +1 1
Надіслати
Поділитися на інших сайтах

Спасибо, но как тогда спарсить товар, (настроить) что бы были видны категории? Может посмотрите мои настройки? приложу их тут. 

Мне не нужно парсить весь сайт, а только несколько категорий.

 

SPsetting-1.json

Змінено користувачем Stin
Надіслати
Поділитися на інших сайтах


5 минут назад, Stin сказал:

Спасибо, но как тогда спарсить товар, (настроить) что бы были видны категории? Может посмотрите мои настройки? приложу их тут. 

Мне не нужно парсить весь сайт, а только несколько категорий.

 

SPsetting-1.json 6 \u043a\u0411 · 0 downloads

если запустить парсинг видно вот такой результат.
 

Спойлер

7xJOW1P.png

Из которого можно сделать вывод что на странице есть ссылки как с указанием категорий так и без.

Ну и исходя из нашей беседы. Понятно что нужно доставить ссылки на товар где есть значение path
А значит достаточно будет только добавить фильтр на получение ссылок которые содержат и продукт и пач.

Ставим галочку Или/И что значит брать ссылки которые содержат в себе все фильтры сразу. И добавляем пачь. Вот результат.
siwaAF9.png

В итоге мы имеем ссылки на товар в которых указана и категория.

  • +1 1
Надіслати
Поділитися на інших сайтах

3 минуты назад, Stin сказал:

Благодарю, буду разбираться. 

не за что.

рад был помочь.

Надіслати
Поділитися на інших сайтах

Обновление 2.9-2

В данном выпуске пофиксены все известные мне недочеты.
Так же этот релиз можно считать вторым стабильным. И его рекомендую для использования на данный момент.

По сравнению с предыдущим стабильным релизом было проделано колоссальную работу.
Подробнее об всех изменениях можно прочитать в описаниях к релизам.

Спойлер

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279


Поскольку из за моего отъезда сбились планы по разработке я озвучу новые.

Долгосрочное.
Внедрение много поточного парсинга (насколько это возможно в рамках php)

Краткосрочные
Навести немного порядок в системе создания логов.
Побороть наконец то настройки границ парсинга, сделать их на ajax что бы не было такого количества перезагрузки страницы при настройке.

при обновлении выполняйте /inst.php

  • +1 3
Надіслати
Поділитися на інших сайтах

Было бы неплохо добавить еще возможность переназначать категорий очень бы сэкономило время ненужно было бы изощрятся с поиск заменой или потом после парсинга сотни позиций раскидывать по нужным категориям.

 

p.s извиняюсь если не первый

  • +1 2
Надіслати
Поділитися на інших сайтах


4 минуты назад, Kiyoshi сказал:

Было бы неплохо добавить еще возможность переназначать категорий очень бы сэкономило время ненужно было бы изощрятся с поиск заменой или потом после парсинга сотни позиций раскидывать по нужным категориям.

 

p.s извиняюсь если не первый

а подробнее что подразумевается под словами переназначить ?

Надіслати
Поділитися на інших сайтах

5 часов назад, Rassol2 сказал:

а подробнее что подразумевается под словами переназначить ?

тема на самом деле довольно больная, особенно, если у донора и у вашего магазина отличается дерево категорий.

часто бывает, что они вообще не совпадают, но заранее можно каким-то признакам разложить товары по необходимым категориям.

например,

у донора Кроссовки/Женские/Зимние/размер 36

у вас Кроссовки/Зимние/Женские и пофиг на размер - всё ложится в эту категорию.

 

В АОП есть функционал по назначению категорий "Название категории в прайс-листе" -> "Название существующей категории".

 

Чего там не хватает, ну как вариант сделать здесь - добавить возможность добавить еще несколько, куда товар подходит, например, товар "Ручка шариковая сувенирная" можно положить и в "Ручки", и в "Ручки/Шариковые", и в "Сувениры", наконец, как вариант еще и в "Новинки этой недели"

 

И задать эти параметры можно заранее, изучив структуру донора. тогда и получим функционал, после которого не надо будет дополнительно добавлять категории ручками, а также перераскладывать товары по другим, хотя как показывает практика - поработать ручками всё-равно придется, но уже меньше.

 

но такая работа довольно много тоже времени занимает. как предложение - каким-либо образом сделать возможным преобразование сохраненных настроек для дальнейшего редактирования в экселе - в вэбе, конечно наглядно, но, бывают ситуации, когда в экселе или просто в редакторе заполнение настроек происходит быстрее, чем в модуле, т.к. там можно быстро и поиском/заменой воспользоваться и продублировать блоки.

 

Надіслати
Поділитися на інших сайтах


55 минут назад, stas2010 сказал:

В АОП есть функционал по назначению категорий "Название категории в прайс-листе" -> "Название существующей категории".

Да такое есть в АОП и это тоже больное место. Поскольку в таком подходе сравнение идет по имени целевой категории.
А значит товар из категорий.
Женские->Штаны
Мужские->Штаны
Окажутся и женские и мужски штаны у вас в одной категории.

У меня же модуль отталкивается не от имени целевой категории, а от полного пути категории.
И такой подход позволяет решить множество проблем. Но как вы понимаете и сделать такую структуру такой подход тоже не позволит.

Я сделал так отталкиваясь от своего опыта. Идеального решения нет и где то нужен компромисс.
В случаи SimplePars я реализовал то решение которое постоянно использовал в парсинге, и которого мне не хватало в АОП.
Если не углубятся, в вопросе парсинга категорий механика с сопоставлением работает там где не много категорий. А где не сильно развернутая структура категорий можно обойтись и поиск замена. А где сильно развернутая структура метод с сопоставления "не работает", взял в кавычки потому что нельзя просто сказать не работает, технически все работает только есть проблемы :
1. Сложность настройки и обслуживания.
2. Проблема одинаковых имен категорий.
как правило тут луче сделать скрытую категорию в ней повторить структуру донора. И затем разнести товары по нужным вам категориям. Это просче.

 

Ну и нельзя забывать что сфера в которой работает модуль АОП больше подходит для сопоставления, в прайс листе вы заранее знаете свои категории, и можете сделать сопоставления, а в парсинге у вас есть сайт донор а точнее ссылки, и больше ничего все остальное модуль достает с сайта. И пока он не обратится к сайту вы не знаете ничего о категориях. И получается что для сопоставления нужно делать парсинг одного сайта два раза.

Модуль другой, подход другой.
 

1 час назад, stas2010 сказал:

Чего там не хватает, ну как вариант сделать здесь - добавить возможность добавить еще несколько, куда товар подходит, например, товар "Ручка шариковая сувенирная" можно положить и в "Ручки", и в "Ручки/Шариковые", и в "Сувениры", наконец, как вариант еще и в "Новинки этой недели" 

 

И задать эти параметры можно заранее, изучив структуру донора. тогда и получим функционал, после которого не надо будет дополнительно добавлять категории ручками, а также перераскладывать товары по другим, хотя как показывает практика - поработать ручками всё-равно придется, но уже меньше. 

Это можно сделать но вот пример
https://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2330
Среднестатистическая страница товара.
Добавить поля под разное количество категорий я могу. Но вот откуда на этой странице взять данные для второй и третей категории ?
Можно добавить поле и назвать его добавлять товар так же в категорию и тут вы будете вручную выбирать вторую категорию.
Это можно сделать.
 

1 час назад, stas2010 сказал:

но такая работа довольно много тоже времени занимает. как предложение - каким-либо образом сделать возможным преобразование сохраненных настроек для дальнейшего редактирования в экселе - в вэбе, конечно наглядно, но, бывают ситуации, когда в экселе или просто в редакторе заполнение настроек происходит быстрее, чем в модуле, т.к. там можно быстро и поиском/заменой воспользоваться и продублировать блоки.

Это вы уже предлагаете дописать загрузчик прайс листов.
Для этого есть уже проверенные модули, к примеру тот же АОП прекрасный модуль на стероидах. Он может очень много.
Писать загрузчик прайс листов я не хочу, трудоемко и я все равно не догоню по функционалу конкурентов, я луче буду делать хороший парсер который сможете грузить товары в магазин. И если нужно составлять прайс листы который вы можете загрузить через любой удобный вам модуль.

  • +1 1
Надіслати
Поділитися на інших сайтах

Подскажите, в чём может быть причина.

Регулярные выражения нормально отрабатывают на вкладке "Поиск/Замена", но на вкладке "CSV/Парсинг" и в прайсе не работают... Работаю на локалке...

{reg[#\t#]}|
{reg[#(^.*\r)#]}|
{reg[#(^\n\r)#]}|

Версия модуля самая последняя.

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


5 минут назад, Axelenz сказал:

Подскажите, в чём может быть причина.

Регулярные выражения нормально отрабатывают на вкладке "Поиск/Замена", но на вкладке "CSV/Парсинг" и в прайсе не работают... Работаю на локалке...


{reg[#\t#]}|
{reg[#(^.*\r)#]}|
{reg[#(^\n\r)#]}|

 

И там и там используется единая функция работы с поиск замена.
Через пару минут проверю ваши правила. И тогда отпишусь более подробно. 

Надіслати
Поділитися на інших сайтах

@Axelenz или скиньте мне настройки. Потому что не могу воспроизвести у себя.
Для этого мне нужно иметь ссылку и настроенную границу где нужно вырезать переносы строк табуляции.

Надіслати
Поділитися на інших сайтах

У поставщика не выделены отдельно характеристики, а идут прицепом в описании. Поэтому приходится выдирать их хотя бы из того, что есть. Но они к тому же имеют очень не чёткие границы для парсинга, поэтому приходится указывать "арактеристик", а потом убирать первую строку, что бы там ни было накалякано... Табуляция может и не нужна, но она попалась мне при переносе данных в нотепад... думал, может и в ней дело, почему не удаляется...

 

Как правильно можно указать с помощью регулярок: удалить первую строку и последнюю ???

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


26 минут назад, Axelenz сказал:

Как правильно можно указать с помощью регулярок: удалить первую строку и последнюю ???

Это и я не знаю нужно гуглить, я в регулякак постольку по скольку.

По поводу "бага" взял в кавчки не просто так.

Суть такова. Функция одна и таже используется что в первом что во втором случаи. Но вот данные приходят разные.

В случаи когда используется поиск замена получается вот что.
1. Модуль парсить границу получает код. Записывает его в поле исходный код.
2. Вы нажимаете проверить, и в этот момент модуль берет текст из поля исходный код, пост запросом отправляет на сервер.
3. На сервере модуль берет текст что пришел и обрабатывает правилами что вы указали.
4. Выводит в поле текст посл обработки.

Второй вариант с csv
1. вы жмете проверить, модуль парсит границу.
2. Модуль применяет правила к спаренному тексту.

3. Модуль выводить результат.

А теперь суть проблемы. Когда вы парсите в поиск замене текст из границы сохраняется промежуточное, и затем отправляется пост запросом.
Я предполагаю что в этот момент на уровне операционной системы расставляются управляющие операторы
\t
\n
\r
По логике ос, или веб сервера. Даже не знаю кто тут виноват.
А вот когда вы парсите в csv вы получаете полностью сырой код без вмешательства.

По этому ваше правило работает в одном месте и не сработало в другом.

Я честно говоря не знаю как вы на это наткнулись поскольку тут нужно что бы прям звезды сошлись.
Это может касается только управлявших операторов.

По поводу удавление первой и последней строки подумаю.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.