Jump to content

Recommended Posts

7 часов назад, dvk18 сказал:

зачем вообще выключать комп

даже не смотря на то что комп потребляет какие то ресурсы. Он еше имеет свойство гудеть. :)
А если комп находится в одной комнате с вашим местом сна, то оставлять его включенным еше то удовольствие.

По этому предпочитаю ноутбуки.

Share this post


Link to post
Share on other sites
5 часов назад, kikaridza123 сказал:

Подскажите пожалуйста у меня есть 2 границы парсинга.
{Главная категория} и {Дочерняя категория}
Как правильно мне прописать тут http://prntscr.com/oqh2ig чтобы при запуске парсинга в ИМ
Создавались категории типа {Главная категория} и в ней уже {Дочерняя категория} ?
В инструкции не нашел данной информации
Пробовал и так писать 
{gran_18}{gran_17}
и так
{gran_18} | {gran_17}
В итоге создает в магазине одну категорию {gran_18gran_17} из 2 слов.

{gran_18}{csvnc}{gran_17}
 

5 часов назад, kikaridza123 сказал:

И подскажите по поводу парсинга, если будет 230 -250 тысяч "товаров" нужно ли включать "Auto reload page" или как оно работает? также как и на AОП ? 

Ничего не нужно ставить, ни авто релоал, ни перезагружать страницу. Я учел недостатки работы с аоп, я у себя сделал алгоритм который обходит эти проблемы.
После нажатия старт нельзя закрывать страницу на которой идет парсинг.

И так же в отличии от аоп в момент парсинга можно работать с сайтом и браузер не блокирует работу.

Share this post


Link to post
Share on other sites
15 часов назад, Rassol2 сказал:

Я думаю вам @Axelenz  понравится этот вариант.
EMzJ9jN.png

А вот Вам и спасибо большое )))

Про "Выключить комп после парсинга" я уже молчу... жду следующих бет с интересными решениями )

Пока для выключения использую программу "Таймер выключения", парсинг то происходит, как правило, ночью...

 

Edited by Axelenz

Share this post


Link to post
Share on other sites
1 минуту назад, Axelenz сказал:

А вот Вам и спасибо большое )))

Если осилю сегодня парсинг акционных цен тогда под утро выложу новую версию где будет подсчет времени.

Share this post


Link to post
Share on other sites

@Rassol2
Привет, тут после обновления со старой версии на новую 2.6 стабильную у меня появился глюк 
при добавлении изображения (картинки) юрл картинки парситься в ряд, а не с новой строки, как сплошной, когда их больше двух ,а когда одну парсю, тогда все норм, что может быть ? пробовал 2.6 версию и последнюю, всегда одинаково

 

 

Screenshot_1.jpg

Screenshot_2.jpg

Как я понимаю, что бы все работало норм, он должен каждую картинку переносить на новую строку, а у меня чет все идут в сплошную и из за этого картинки не парсятся (

Edited by Fimo

Share this post


Link to post
Share on other sites
9 часов назад, Fimo сказал:

Как я понимаю, что бы все работало норм, он должен каждую картинку переносить на новую строку, а у меня чет все идут в сплошную и из за этого картинки не парсятся (

Использовать повторяющуюся границу парсинга.
Либо между границами нужно указать {csvnc}

  • +1 1

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

Использовать повторяющуюся границу парсинга.
Либо между границами нужно указать {csvnc}

вот спасибо очередное =)

Share this post


Link to post
Share on other sites

Обновление 2.7-2_beta

 

Добавлено вывод времени окончания парсинга.

На вкладки парсинга в CSV и парсинга в ИМ добавлен расчет времени окончания парсинга.
MCSTowG.png
 

Довольно интересная фишка получилась. :)
Поскольку в модуле можно использовать не только статичные паузы парсинга, а и динамические, к примеру рандомная пауза парсинга от 0-5
Что значит модуль будет делать рандомно паузу в диапазоне от нуля до пяти секунд. В таком случаи сложно посчитать время окончания парсинга. Но все же получилось.
Суть такова после запуска парсинга модуль считает время и количество спаренных ссылок, вычисляет средние время потраченное на парсинг. Грубо говоря вам нужно знать только две вещи связанных с расчетом времени.

1. Чем дольше идет парсинг тем более точно указывается время окончания. То есть после старта парсинга время может колебаться. Но чем больше ссылок спарсено тем точнее показывается время окончания. На сколько это возможно.
2. модуль считает время от начала парсинга, и если нажать стоп, то модуль сбрасывает показания. И когда вы опять нажмете старт он сначала начнет высчитывать время.

 

Для вас сделал обновляетесь @Axelenz  ;-)

 

Добавлена возможность парсить акционные цены для группы покупателей.
oDXqBDx.png

 

Тут куда больше нововведений.

1. Теперь можно для цены указывать несколько границ разделенными условным оператором {|} что обозначает ИЛИ
2. Можно задавать акционную цену для товара.
3. Можно выбирать для какой группы покупателей будет работать акция. По умолчанию для всех групп.
4. Можно указывать с какой даты будет начинаться акция, и когда она будет отключена. По умолчанию указана начало с текшей даты, когда вы нажали старт парсинга. И конец 2050г 01м 01д Но вы можете выбрать любой диапазон.
5. Для акционной цены работает также условный оператор ИЛИ в виде {|}

Как работает условный оператор {|}

Допусти вы указали в поле цены {gran_1}{|}{gran_2}
Если в границе парсинга {gran_1} ничего нет, или она равна нулю, тогда отработает условие ИЛИ и модуль возьмет то значение которое лежит в {gran_2}
Если в границе парсинга {gran_1} будет число и это число не равно 0 тогда модуль возьмет это значение и проигнорирует {gran_2}

 

На наш человеческий это просто если слева от {|} есть цена, и она не равна 0 тогда модуль ее возьмет, если нет тогда взмет то что лежит справа от {|}

 

И кстати таких условий может быть сколько угодно. И они не обязательно должны содержать границу парсинга
То есть вот так тоже можно {gran_1}{|}{gran_2}{|}{gran_3}{|}{gran_4}{|}{gran_5}{|}{gran_6}{|}{gran_7}
Или вот так {gran_1}{|}{gran_2}{|}9999

то есть можно прописывать самому любые цены на случай если ничего не будет в основных границах парсинга.

 

Так же немного про акционную цену.
Аукционная цена добавляется если в поле аукционной цены есть любая цифра не равная ную, и не равная основной цене товара.
Так сделано что бы вы могли парсить сайты где мигающая основная цена.

Допустим.
{gran_1} - основная цена, у товара когда в товаре есть и акционная.
{gran_2} - ационная цена в товаре, но когда нет акции в этой границе будет основная цена товара.


Теперь вы можете настроить цену товара как {gran_1}{|}{gran_2}
А акцию как {gran_2}

И теперь если у товара есть ационная цены и обычная, то у вас в магазине будет так же записана и обычная и акционная.
Но когда у товара есть только цена в {gran_2} то модуль запишет ее в основную цену. А в акционной у вас ничего не будет так же как у донора.


Не знаю кого и добавить в список кто просил акционные цены. Вас было много и давно. По этому для всех кто подписан на модуль :oops:

 

В данном обновлении необходимо выполнить /inst.php

 

PS. Это только первая реализация работы модуля с ационными ценами, и группами покупателей. Я понимаю что возможно схема не идеальна, и буду ее допиливать когда соберу основные отзывы по этой функции, чего не хватает или сайты которые нельзя спарсить имея такие инструменты.
Так что жду ваших рецензий, предложений.

  • +1 5

Share this post


Link to post
Share on other sites

Доброго дня всем, возникла мысль, или может подскажет кто, хочу спарсить сайт, но он на английском, можно ли на лету, как-нибудь переводить? или толкните в нужную сторону, всем спасибо. Может через API яндекс переводчика....

Edited by payn

Share this post


Link to post
Share on other sites
1 минуту назад, payn сказал:

Доброго дня всем, возникла мысль, или может подскажет кто, хочу спарсить сайт, но он на английском, можно ли на лету, как-нибудь переводить? или толкните в нужную сторону, всем спасибо.

нет на лету переводчика нету ))
Но кстати этот вопрос мне уже много кто задавал. Так что я серьезно задумываюсь по поводу гугл апи, что бы реализовать перевод на лету. Но это не в ближайших планах.

Share this post


Link to post
Share on other sites
3 часа назад, Rassol2 сказал:

задумываюсь по поводу гугл апи

как бы денюжку гугл не захотел, как и за карты

Share this post


Link to post
Share on other sites
32 минуты назад, stas2010 сказал:

как бы денюжку гугл не захотел, как и за карты

Там как и у карт есть количество трафика считающегося бесплатным. А если в промышленных масштабах тогда нужно платить.
если я сделаю на себя и все будут через один ключ апи рабоать, то все может быть. А если в модуле сделать настройки что человек сможете вводить свой ключ, тогда бес проблем.

Share this post


Link to post
Share on other sites
On 8/13/2019 at 8:01 PM, Rassol2 said:

Там как и у карт есть количество трафика считающегося бесплатным. А если в промышленных масштабах тогда нужно платить.
если я сделаю на себя и все будут через один ключ апи рабоать, то все может быть. А если в модуле сделать настройки что человек сможете вводить свой ключ, тогда бес проблем.

Здравствуйте, надо делать так чтобы пользователи смогли добавить свои API ключи. Google переводчик бесплатный до какого-то количество слов, потом уже платный, но и не дорогой. Если парсинг будет работать только с вашего ключа, вам придется либо платить за переводы, либо Google переводчик скажет что вы уже превысили лимит. 

Share this post


Link to post
Share on other sites
Здравствуйте, надо делать так чтобы пользователи смогли добавить свои API ключи. Google переводчик бесплатный до какого-то количество слов, потом уже платный, но и не дорогой. Если парсинг будет работать только с вашего ключа, вам придется либо платить за переводы, либо Google переводчик скажет что вы уже превысили лимит. 
Да, я знаю. Я про это написал выше. Спасибо.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites

Добрый день! Такой вопрос - имею 2 имага, для того чтобы поставить этот инструмент себе на сайты, мне нужно 2-ды оплатить по 1600 рублей?
И еще вопрос - парс настраивается на крон? Чтобы он автоматом обновлял цены и остатки товару, а также добавлял новинки.

Edited by bezpalkoukrnet1981

Share this post


Link to post
Share on other sites
51 минуту назад, bezpalkoukrnet1981 сказал:

Добрый день! Такой вопрос - имею 2 имага, для того чтобы поставить этот инструмент себе на сайты, мне нужно 2-ды оплатить по 1600 рублей?
И еще вопрос - парс настраивается на крон? Чтобы он автоматом обновлял цены и остатки товару, а также добавлял новинки.

Здравствуйте.
Лицензия распространяется на один домен.
На данный момент я не веду учет, так что вы можете купить одну версию и установить на два домена.
Но в дальнейшем если вы будете использовать модуль на двух доменах придется докупить лицензию.

Share this post


Link to post
Share on other sites
9 минут назад, Rassol2 сказал:

Здравствуйте.
Лицензия распространяется на один домен.
На данный момент я не веду учет, так что вы можете купить одну версию и установить на два домена.
Но в дальнейшем если вы будете использовать модуль на двух доменах придется докупить лицензию.

ясно, а что касаемо крона?

Share this post


Link to post
Share on other sites
4 минуты назад, Rassol2 сказал:

на данный момент его нету в модуле.
Пока еше в планах.

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

Share this post


Link to post
Share on other sites
Только что, bezpalkoukrnet1981 сказал:

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

Нужно что бы у вас была открыта страница с модулем и нажата кнопка парсинг.
Вкладку на момент парсинга закрывать нельзя.

 

Share this post


Link to post
Share on other sites
11 минут назад, bezpalkoukrnet1981 сказал:

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

Ну или можно нажать стар с телефона. И держать его включенным )))

 

Забавно. Я не тестировал до конца но такой вариант тоже работает )))

 

Спойлер

Screenshot_20190815-134544.thumb.png.f8316ee1b8c52959239cd8010591a600.png

 

Share this post


Link to post
Share on other sites
4 минуты назад, Rassol2 сказал:

Ну или можно нажать стар с телефона. И держать его включенным )))

 

Забавно. Я не тестировал до конца но такой вариант тоже работает )))

 

  Скрыть контент

 

 

вот как бы хочется купить ваш парсер, очень все его хвалят, но очень надеюсь на реализацию парса через крон :)  иначе, чтобы регулярно обновлять товары, для магаза на 50 000 товаров, да и еще с 10 донорами, просто сутками нужно будет комп держать включенным и менять доноров )))

Share this post


Link to post
Share on other sites
Только что, bezpalkoukrnet1981 сказал:

вот как бы хочется купить ваш парсер, очень все его хвалят, но очень надеюсь на реализацию парса через крон :)  иначе, чтобы регулярно обновлять товары, для магаза на 50 000 товаров, да и еще с 10 донорами, просто сутками нужно будет комп держать включенным и менять доноров )))

крон это неизбежность, он будет 100500% потому что это как ни как вторая ступень эволюции в автоматизации.
Но, сейчас в приоритете сделать опции. И тогда нужно рботать уже над кроном.

Share this post


Link to post
Share on other sites
20 минут назад, Rassol2 сказал:

крон это неизбежность, он будет 100500% потому что это как ни как вторая ступень эволюции в автоматизации.
Но, сейчас в приоритете сделать опции. И тогда нужно рботать уже над кроном.

хорошо, верю вам! только что купила парсер ;)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By legioner26
      1 299.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By GeorgyM
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
       
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.