Jump to content

Recommended Posts

Так получилось что должен был срочно уехать по семейным в село. А с интернетом засада. Так что пишите вопросы в ветку модуля. Или Kiyoshi он по Мери возможности будет отвечать до моего возвращения.

ВНИМАНИЕ КОМУ ВАЖНА ПОДДЕРЖКА В МОДУЛЕ ПОПРОШУ ВОЗДЕРЖАТСЯ ОТ ПОКУПКИ . ПОСКОЛЬКУ МЕНЯ НЕ БУДЕТ ПАРУ ДНЕЙ. :(

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites
11 часов назад, Kiyoshi сказал:

Автор модуля пару дней не будет, если вопрос сбором опций ещё актуален могу рассмотреть настройки после 17:00.

Добрый вечер, подскажите как парсить товары не парся производителей, а то получается парситься все производители и создается категория Производители/ dior
а должно быть Dior/подкатегория)
 

Share this post


Link to post
Share on other sites

вот такого плана создается дерево категорий 

Производитель  / Louis Vuitton Кроссовки / Louis Vuitton Archlight Blue/Black

Как обойти есть вариант? Парсю с опенкарта, много дублированного товара выходит что очень мешает, да и товара больше 2 тысяч

Edited by Alexcctv

Share this post


Link to post
Share on other sites

Скинте настройки в ЛС я посмотрю.

  • +1 1

Share this post


Link to post
Share on other sites

Вечер добрый! может кто поделиться готовыми настройками какого нибудь донора, ну что бы быстрее разобраться в принципе работы парсера?

Share this post


Link to post
Share on other sites

Перед этим лучше всего почитать wiki и заметки потому, что всё самое интересное начинается поле задания границ парсинга. Также для ознакомления можете посмотреть

 

  • +1 1

Share this post


Link to post
Share on other sites
13 часов назад, Kiyoshi сказал:

Перед этим лучше всего почитать wiki и заметки потому, что всё самое интересное начинается поле задания границ парсинга. Также для ознакомления можете посмотреть

 

В моем случае даже альтернативный не подходит, каждую категорию собираешь ссылки потом парсишь, почему нельзя сделать общий сбор ссылок и с задаными границами собрать ссылки к примеру именно на товары? ПРобовал но парсер не дал так сделать

Share this post


Link to post
Share on other sites
9 часов назад, Alexcctv сказал:

почему нельзя сделать общий сбор ссылок и с задаными границами собрать ссылки к примеру именно на товары? ПРобовал но парсер не дал так сделать

Предложите как и я сделаю.
Вот ссылки.
http://мойсайт.ru/ssilka1

http://мойсайт.ru/ssilka2

http://мойсайт.ru/ssilka3

http://мойсайт.ru/ssilka4

 

как определить модулю не заходя внутрь какая из ссылок на товар ?

Никак только анализировать саму ссылку и делай выводы по структуре ссылки.
Фильтры ссылок и созданы для указания параметров где ссылка на товар, а где на категорию.
Если ссылка на товар и категорию не имеют уникальных якорей, тогда для сбора ссылок применяется альтернативный метод.

И чисто технически по другому это сделать невозможно.
Если я не прав тогда поправьте меня и распишите ваше виденье как это можно реализовать. И я это реализую.

Вопрос в том, как определить гед ссылка на товар а где ссылка на категорию. Не открывая их ?

http://мойсайт.ru/ssilka1

http://мойсайт.ru/ssilka2

Буду рад услышать ваша решение этой задачи.

 

Share this post


Link to post
Share on other sites

Еше раз хотел бы сообщить.
Я сейчас не имею доступа в интернет. Временами есть на скорость edge и кому либо ответить довольно сложно.
Как только я вернуть в современный мир я обязательно отпишусь.

 

Share this post


Link to post
Share on other sites
В 08.10.2019 в 09:52, Rassol2 сказал:

В парсинге в csv никак.
поскольку модуль берет одну ссылку и раскладывает все по колонкам. Затем берет следующие. И когда модуль раскладывает первую он не знает сколько будет фото во второй третей и так далее.

немного смекалки и всё будет ОК. 

для решения такой проблем в таблицу в колонки, которые идут первыми вносятся статические данные, т.е. те, которые имеют одно значение, а после них в конце вставляем динамические с разделителями - те же картинки. тогда сдвигов не будет для статических данных. 

еще как решение - при создании таблицы заранее зарезервировать 5-15 колонок под те же фото, а статические данные вносить после. в этом случае тоже сдвига не будет.

однако, если с фото как-то понятно - их чаще всего более 15 не размещают, то вот с атрибутами сложнее - их не вычислить изначально на товарах с больших количеством характеристик. тогда, как писал выше, решение такое - создаем сначала колонки со статическими данными, затем в таблице резервируем колонок 15 под картинки, затем добавляем в конце атрибуты. получится опять таблица, в которой всё в порядке с месторасположением данных.

  • +1 1

Share this post


Link to post
Share on other sites

Кто то смог сам разобраться в настройке данного парсера? есть задача спарсить каталог товаров около 5000.
Периодически обновлять цены и добавлять новые товары, у старых только новую цену обновлять.
Как со структурой каталога, как у донора точно такую же можем создать?
Можем ли парсить только определенные категории, не все?
 

Share this post


Link to post
Share on other sites
В 08.10.2019 в 12:42, Rassol2 сказал:

нет резервирования колонок нету.

 

для границы ничего не выделяем. :)
По сути процесс парсинга и записи в эксель файл не звисимы.
В момент парсинга модуль не занает для чего он парсить, для магазина или для csv он просто парсить границы преобразует по вашим правилам поиск замена и отдает тому кто попросил. Затем данные приходят в csv.
В настройках csv тоже по сути нету привязки к данным что парсятся. Можно и вручную указать все, без единой границы.
или загнать в одну колонку все границы.


В форматировании csv есть только два понятия.
{csvnc} - модуль встретил это слово, передвинулся на одну колонку вправо.
{csvnl} - модуль встретил это слово, передвинулся на одну строку вниз.

Ну и по умолчанию новая ссылка передвигает каретку на одну строку ниже.

Ограничить модуль на определенное количество колонок можно, но с оговорками.
1. Только в повторяющихся границах парсинга.
2. Ограничить по верхнему числу.

То есть сейчас вы можете указать не больше 10 вхождений. Но не можете контролировать минимальное, потому что если нету совпадения на странице значит его нету.


Ограничить обычную границу парсинга на количество колонок невозможно. Потому что в поиск замене можно подсунуть любое количество {csvnc}

Сейчас все работает примерно так как я описал.

 

Я всё же смею предложить Вам некое решение для расширения (как мне кажется) возможностей парсера.

Вот сейчас имеем одну вкладку "Настройки парсинга", но при этом две вкладки "CSV/Парсинг" и "Парсинг в ИМ". Так почему же не сделать и две вкладки: "Настройки парсинга для прайса" и "Настройки парсинга для ИМ" соответственно ? Пусть границы которые попадают в одну из этих вкладок отображаются сразу же и во второй, но... но пусть во вкладке "Настройки парсинга для прайса" будут те полезные дополнения, которые, например, не нужны для ИМ, но весьма необходимы для создания готового прайса (где уже не нужно будет прайс дорабатывать драчевым напильником в Excel и пр.) и наоборот... Всего одна вкладка, но она позволит и сохранить "универсальность" парсера и будет намного удобнее и для тех, кому необходимо вносить данные в ИМ и для тех, кто занимается парсингом для других и кому интереснее получать готовые прайсы...

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? )))

Edited by Axelenz

Share this post


Link to post
Share on other sites

@Axelenz
 

Цитата

Я всё же смею предложить Вам некое решение для расширения (как мне кажется) возможностей парсера.

Вот сейчас имеем одну вкладку "Настройки парсинга", но при этом две вкладки "CSV/Парсинг" и "Парсинг в ИМ". Так почему же не сделать и две вкладки: "Настройки парсинга для прайса" и "Настройки парсинга для ИМ" соответственно ? Пусть границы которые попадают в одну из этих вкладок отображаются сразу же и во второй, но... но пусть во вкладке "Настройки парсинга для прайса" будут те полезные дополнения, которые, например, не нужны для ИМ, но весьма необходимы для создания готового прайса (где уже не нужно будет прайс дорабатывать драчевым напильником в Excel и пр.) и наоборот... Всего одна вкладка, но она позволит и сохранить "универсальность" парсера и будет намного удобнее и для тех, кому необходимо вносить данные в ИМ и для тех, кто занимается парсингом для других и кому интереснее получать готовые прайсы...

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? )))

Я согласен.
Но давайте разберемся. Что вы хотите видеть в этих вкладках ? Для чего они нужны ?


Сейчас система такая одна вкладка где парсим. И две вкладки для применения того что парсим.


Если считаете нужно создавать две отдельные вкладки тогда нужно определить что в данной системе не так. И что нельзя реализовать в данной системе. И уже тогда нужно искать ращения.

Вопрос с сдвигом колонок ни как не касается вкладок и настроек. По сути.
Сам вопрос в том что при парсинге 1000 ссылок мы же не не можем сразу узнать сколько максимальное количество атрибутов будет. Что бы зарезервировать под них колонки.
Сколько будет доп фото и других элементов.

После парсинга все записывается в файл. Можно подойти по другому. Сделать парсинг в файл с предварительной записью в базу данных. После окончания парсинга что бы была кнопка записать в файл. И вот тогда можно будет модулем дернуть с базу данных все что спарсили посчитать максимальное количество колонок и построить парсильный прайс.


Наверное в данном случаи это единственное решение. После возвращение к работе буду думать и реализовывать.

 

Цитата

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? ))) 

А кто сейчас на этом троне ? Хочу знать своего соперника в лицо ! :-D

 

@mrmonak

Цитата

Кто то смог сам разобраться в настройке данного парсера? есть задача спарсить каталог товаров около 5000.
Периодически обновлять цены и добавлять новые товары, у старых только новую цену обновлять.
Как со структурой каталога, как у донора точно такую же можем создать?
Можем ли парсить только определенные категории, не все?


Я ориентировочна вернуть с глуши в Субботу :(
А пока что можете обратится к https://opencartforum.com/profile/670863-kiyoshi/

Share this post


Link to post
Share on other sites
4 часа назад, Rassol2 сказал:

Сделать парсинг в файл с предварительной записью в базу данных. После окончания парсинга что бы была кнопка записать в файл. И вот тогда можно будет модулем дернуть с базу данных все что спарсили посчитать максимальное количество колонок и построить парсильный прайс. 

 

Можно и так, спарсить рандомную выборку указанного количества (или по умолчанию % от всех) ссылок и вывести рекомендуемое количество выделенных столбцов под данные. Но мне кажется, что это слишком избыточно будет... тот, кто реально парсит (и дружит с логикой и головой) уже предполагает заранее, чего и сколько ему необходимо для работы... Как правило, никому не нужны 15 категорий или 35 фотографий в карточке...

А с атрибутами и заморачиваться нет смысла... их конечно же на правый край... только на край... Да и в справке по модулю сразу об этом написать, хотя бы в виде рекомендации с упрощённым пояснением почему нужно так делать...

Edited by Axelenz
  • +1 1

Share this post


Link to post
Share on other sites

Добрый день. Стояла старая версия, пработала, обновил, и ссылки не собираются инфо о количестве не добавляется, пустой ползунок. Тему гуглил, переустанавливал, кэш чистилimage.thumb.png.5dc9bb371233ab76236255eaea18d01b.png

Edited by ilyer

Share this post


Link to post
Share on other sites

@ilyer
 

7 минут назад, ilyer сказал:

Добрый день. Стояла старая версия, пработала, обновил, и ссылки не собираются инфо о количестве не добавляется, пустой ползунок. Тему гуглил, переустанавливал, кэш чистил

а вы выполнили inst.php ?
Можете открыть f12 и в разделе консоль посмотреть есть ли сообщение про ошибку после нажатия на старт.
 

 

 

Share this post


Link to post
Share on other sites

Может ли данный модуль загружать характеристики из других сайтов?

Share this post


Link to post
Share on other sites
Может ли данный модуль загружать характеристики из других сайтов?
Здравствуйте.
Да может.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites
В 16.10.2019 в 10:02, Rassol2 сказал:

Здравствуйте.

 

приветствую. собирал ссылки, парсинг закончился, нажал обновить и сайт лег. что делать? 

 

Не удается получить доступ к сайту

Превышено время ожидания ответа от сайта

Share this post


Link to post
Share on other sites

Раздуплился. Походу нагрузку не выдержал

Share this post


Link to post
Share on other sites
4 часа назад, rozario888 сказал:

Раздуплился. Походу нагрузку не выдержал

Попробуйте с таймаутом в пять секунд, этого должно быть достаточно.

  • +1 1

Share this post


Link to post
Share on other sites
В 14.10.2019 в 23:30, Rassol2 сказал:

@ilyer
 

а вы выполнили inst.php ?
Можете открыть f12 и в разделе консоль посмотреть есть ли сообщение про ошибку после нажатия на старт.
 

 

 

/admin/index.php?route=catalog/simplepars/parsajax&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&who=grab&dn_id=1 500
send @ jquery-2.1.1.min.js:4
ajax @ jquery-2.1.1.min.js:4
ajaxpars @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:729
(anonymous) @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:724
dispatch @ jquery-2.1.1.min.js:3
r.handle @ jquery-2.1.1.min.js:3

 

да, ошибка 500

Share this post


Link to post
Share on other sites
6 часов назад, rozario888 сказал:

 

приветствую. собирал ссылки, парсинг закончился, нажал обновить и сайт лег. что делать? 

 

Не удается получить доступ к сайту

Превышено время ожидания ответа от сайта

 

5 часов назад, rozario888 сказал:

Раздуплился. Походу нагрузку не выдержал

похоже на то что у вас собралось очень много ссылок. И сайт не смог отдать весь список ссылок.
В таком случаи стоит поставить ограничение на количество выводимых ссылок примерно в 1000.
Это как правило может обработать любой хостинг.

Share this post


Link to post
Share on other sites
1 час назад, ilyer сказал:

/admin/index.php?route=catalog/simplepars/parsajax&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&who=grab&dn_id=1 500
send @ jquery-2.1.1.min.js:4
ajax @ jquery-2.1.1.min.js:4
ajaxpars @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:729
(anonymous) @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:724
dispatch @ jquery-2.1.1.min.js:3
r.handle @ jquery-2.1.1.min.js:3

 

да, ошибка 500

если есть возможность напишите в личку логин и пароль от админки. И фтп доступ.
как появится возможность я попробую все проверить и помочь.

Share this post


Link to post
Share on other sites

Есть вопрос.

Как я понял, модуль собирает все ссылки с определенной страницы, а у донора стоит модуль "Аналоги" или "Похожие товары". Как отсечь их, и заставить собирать ссылки на товары только в категориях? Что то я затупился.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      1 299.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By GeorgyM
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
       
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.