Jump to content

Recommended Posts

17 минут назад, Rassol2 сказал:

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

Share this post


Link to post
Share on other sites
4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Значит отпишусь только получилось или нет. 

Edited by Rassol2
  • +1 1

Share this post


Link to post
Share on other sites
26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

В личке:geek:

Share this post


Link to post
Share on other sites

Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исключить))))

Там в целом то домен не важен, просто логику что не нравилось модулю и как правильно в этой ситуации надо было сделать.

Edited by rozario888

Share this post


Link to post
Share on other sites
54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да получилось собрать. 
Есть тонкий момент с url у донора идет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не сработает тогда здесь человек напишет. 

  • +1 2

Share this post


Link to post
Share on other sites
10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

Edited by rozario888
  • +1 1

Share this post


Link to post
Share on other sites
3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что останется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не будет сообщения о том что вы забанены. Вот это я еше не сделал. 

  • +1 1

Share this post


Link to post
Share on other sites

прикольная тема )))) 

  • +1 1

Share this post


Link to post
Share on other sites
В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимита на количество запросов?

Share this post


Link to post
Share on other sites
1 минуту назад, SiteMix сказал:

А не планируется добавление лимита на количество запросов?

подробнее напишите что да как может запилю. 

Share this post


Link to post
Share on other sites

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Share this post


Link to post
Share on other sites
3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Edited by Rassol2
  • +1 1

Share this post


Link to post
Share on other sites

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

Share this post


Link to post
Share on other sites
1 минуту назад, SiteMix сказал:

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

этот модуль я начал писать что бы набить свои шишки на будущее. 
Я его не продвигаю и не говорю что он идеален. С ним возможны проблемы. Так что ставьте только если есть желание поиграться )

  • +1 1

Share this post


Link to post
Share on other sites

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

Share this post


Link to post
Share on other sites

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

Share this post


Link to post
Share on other sites
7 часов назад, Vorodisa сказал:

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Share this post


Link to post
Share on other sites
4 часа назад, Eretik сказал:

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

если вы имеете в виду сбор ссылок. То если их нету на сайте то и модуль их не может собрать.

Share this post


Link to post
Share on other sites
4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Хорошо )) Ну работает, вроде сбоев нет. 

Share this post


Link to post
Share on other sites

Появилось немного свободного времени прикрутил еше счетчик сканирования в реальном времени. 
То есть что бы после нажатия старт видеть прогресс сбора ссылок. 
А то получается после нажатия старт не понимаешь что происходит. 
Выглядеть это будет так.
1453572621__2018-11-30_00-26-07.thumb.png.968cafbafdbe2ff4a2c18bc6275af273.png

Единственный косяк. Я не могу сейчас вам выкатить это обновление. Пока не доделаю новую версию. :( 

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

  • +1 1

Share this post


Link to post
Share on other sites
7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть такие ))) Играюсь, вполне отличное дополнение к АОП

 

Share this post


Link to post
Share on other sites

Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.

 

 

  • +1 1

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By igyan
      1 000.00 руб
      Скачать/Купить дополнение


      Парсер-менеджер товаров с торговых площадок
      Модуль Парсер-менеджер товаров с торговых площадок
      Предназначен для обновления и добавления товаров с торговых площадок Яндекс-маркет(категории электроника, бытовая техника, компьютеры и некоторые дугие), Hotline.ua, Onliner.by .
      Для работы парсера необходим ionCube и версия PHP не ниже 5.3
      Работает на версиях 1.3.1.3- 2.3
      Модуль имеет привязку к домену, для каждого домена приобретается отдельная лицензия.
      Для покупки лицензии обращаться в личку
      Демо:
      http://www.oc-parser.ru/opencart/oc1541/admin/index.php?route=module/parsermanager
      User: demo
      Password: demo
      Видео как работает парсер:
      http://www.oc-parser.ru/index.php?r=site/page&view=demomanager
      Возможности:
      Добавление, обновление товаров . Автоматический поиск товара на сайте-доноре по названию товара или модели. Сохранение постоянных ссылок на товары с сайта донора, для дальнейшего использования ссылки. Гибкое использование фильтров для поиска редактируемых товаров, по отсутствию характеристик, описания, цены, изображения или целой категории товаров. Возможность выбора данных для обновления, данные указываются для каждого источника, с одного можно парсить атрибуты с другого, цену, описание и тд. Возможность дополнять или заменять данные в товарах. Использование прокси-сервера или указание целого листа с прокси-серверами. С последующей проверкой доступности сайта –донора (Яндекс.Маркет ). После проверки прокси сортируются по времени доступа. Контроль при парсинге нескольких товаров, если произошло прерывание парсинга из-за обрыва, таймаута, их можно допарсить позже. Подробный лог парсинга. Внимание! Перед парсингом сделайте бэкап БД магазина.
      Необходима библиотека CURL в PHP.
       
      Установка:
      Копирование в корень магазина файлов из архива для 1 или 2 версии. После запуска модуля создастся две таблицы в БД, одна для хранения ссылок на товары, другая для хранения ссылок при парсинге нескольких товаров. Настройка парсера согласно скрина, пустых значений не должно быть. Обновить таблицы парсера. Для торг.маил.ру и яндекса обязательно подкинуть куки, после посещения донора.  
      Принцип работы модуля:
      После установки модуля необходимо сделать первоначальные настройки для парсера и для сайтов-доноров, указывается сайт источник.
      Обязательно нажать «Сохранить». После настроек модуль готов к работе. Будут показаны товары, указанные в фильтре, или все если фильтр не используется.
      Обновление товаров.
      Для поиска товара необходимо нажать «Поиск» и будет произведен поиск товара по названию или модели. В появившемся списке товаров выбирается нужный, после чего ссылка на товар постоянно запомнится в парсере. Если поиск не дал результатов, можно ввести прямую ссылку на товар, скопировав ее с сайта источника. Для этого нужно нажать «+». Также есть возможность поиска товара по произвольному запросу(не по названию товара или модели). Для это нужно нажать «Ввести запрос» и ввести в поле, что необходимо найти.
      После появления ссылки с строке товара, товар можно парсить, есть возможность указать новую цену для товара, предварительно убрав галочку «Заменять цену» в настройках .
      Также возможен парсинг нескольких товаров, для этого нужно выбрать товары и нажать «Парсить все». Будут спарсены товары у которых есть ссылки.
      ВАЖНО! Парсинг нескольких товаров может быстро привести к бану, в особенности Яндексом, поэтому используйте эту функцию, если имеете прокси-сервера.
      При использовании фильтров по пустым атрибутам, изображениям и тд., после парсинга данных значений они не будут отображаться в парсере.
      Добавление новых товаров.
      Товары будут добавляться с выбранного сайта-источника. Для поиска товара надо нажать «Найти товар», можно сразу ввести прямую ссылку, нажав «+». После появления ссылки, можно парсить товар, нажав «Добавить товар». Для новых товаров можно указать категорию для отображения.
      Модуль адаптирован под версию 2.3. Проверено на версии 2.0, 2.1, 2.2, 2.3.
      В связи с тем что, с парсером постоянно возникают проблемы по независящим от автора и кода причинам: смена верстки донарами, отсутствие изображений, характеристик на некоторых страницах и капча тд. Постоянных просьб настроить парсер и напарсить товаров.
      С января 2018 продление  лицензией на год будет 600 р.
      На второй и последующие скидка при покупке нового парсера
       
       
      Добавил igyan Добавлено 20.02.2014 Категория Парсеры Системные требования Ioncube PHP>5.3 Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика Старая цена  
    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By legioner26
      1 299.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By Chigan
      1. Что надо? 
      - Наполнить сайт ассортиментом поставщика;
      - Возможность выгружать остатки, тем самым скрывать карточки, которых нет в наличии и отображать, которые есть;
      - Автоматически создать категории и подкатегории, атрибуты по характеристикам, производители, бренды и т.д., что необходимо;
      - Определять позиции из прайса, где нет карточек;
      - Сделать так, чтобы сайт не ложился и выдерживал нагрузку. Работал нормально.
      * Возможно рассмотрение предложений, как решить эти задачи Вашим методом.
       
      2. Что есть от поставщика? 
      Для начала возьмем 1 поставщика. От него есть: 
      - Excel остатков на 188 тысяч строк со столбцами Бренд - Каталожный номер - Описание - Остаток - Кратность отгрузки - Валюта - Цена - странный Штрихкод, скорее это артикул (конечно будет постепенная загрузка, по мере этого и место будет увеличиваться);
      - Личный кабинет, где оформляться будут заказы, с каталогом и картинками для парсинга.
       
      3. Что еще есть?
      - Виртуальный хостинг пока что с 2 Гб. Естественно этого мало и по мере загрузки будем увеличивать;
      - Модуль Автоматической обработки прайс-листов.
       
       
      ** также на очереди еще 3 поставщика с ассортиментом до 10 000.

    • By GeorgyM
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.