[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

7 часов назад, dvk18 сказал:

зачем вообще выключать комп

даже не смотря на то что комп потребляет какие то ресурсы. Он еше имеет свойство гудеть.
А если комп находится в одной комнате с вашим местом сна, то оставлять его включенным еше то удовольствие.

По этому предпочитаю ноутбуки.

[Rassol2]

5 часов назад, kikaridza123 сказал:

Подскажите пожалуйста у меня есть 2 границы парсинга.
{Главная категория} и {Дочерняя категория}
Как правильно мне прописать тут http://prntscr.com/oqh2ig чтобы при запуске парсинга в ИМ
Создавались категории типа {Главная категория} и в ней уже {Дочерняя категория} ?
В инструкции не нашел данной информации
Пробовал и так писать 
{gran_18}{gran_17}
и так
{gran_18} | {gran_17}
В итоге создает в магазине одну категорию {gran_18gran_17} из 2 слов.

{gran_18}{csvnc}{gran_17}
 

5 часов назад, kikaridza123 сказал:

И подскажите по поводу парсинга, если будет 230 -250 тысяч "товаров" нужно ли включать "Auto reload page" или как оно работает? также как и на AОП ? 

Ничего не нужно ставить, ни авто релоал, ни перезагружать страницу. Я учел недостатки работы с аоп, я у себя сделал алгоритм который обходит эти проблемы.
После нажатия старт нельзя закрывать страницу на которой идет парсинг.

И так же в отличии от аоп в момент парсинга можно работать с сайтом и браузер не блокирует работу.

[Axelenz]

15 часов назад, Rassol2 сказал:

Я думаю вам @Axelenz  понравится этот вариант.

А вот Вам и спасибо большое )))

Про "Выключить комп после парсинга" я уже молчу... жду следующих бет с интересными решениями )

Пока для выключения использую программу "Таймер выключения", парсинг то происходит, как правило, ночью...

 

Змінено 9 серпня 2019 користувачем Axelenz

[Rassol2]

1 минуту назад, Axelenz сказал:

А вот Вам и спасибо большое )))

Если осилю сегодня парсинг акционных цен тогда под утро выложу новую версию где будет подсчет времени.

[Fimo]

@Rassol2
Привет, тут после обновления со старой версии на новую 2.6 стабильную у меня появился глюк 
при добавлении изображения (картинки) юрл картинки парситься в ряд, а не с новой строки, как сплошной, когда их больше двух ,а когда одну парсю, тогда все норм, что может быть ? пробовал 2.6 версию и последнюю, всегда одинаково

 

 

Как я понимаю, что бы все работало норм, он должен каждую картинку переносить на новую строку, а у меня чет все идут в сплошную и из за этого картинки не парсятся (

Змінено 10 серпня 2019 користувачем Fimo

[Rassol2]

9 часов назад, Fimo сказал:

Как я понимаю, что бы все работало норм, он должен каждую картинку переносить на новую строку, а у меня чет все идут в сплошную и из за этого картинки не парсятся (

Использовать повторяющуюся границу парсинга.
Либо между границами нужно указать {csvnc}

[Fimo]

2 часа назад, Rassol2 сказал:

Использовать повторяющуюся границу парсинга.
Либо между границами нужно указать {csvnc}

вот спасибо очередное =)

[Rassol2]

1 минуту назад, Fimo сказал:

вот спасибо очередное =)

не за что.
рад был помочь.

[Rassol2]

Обновление 2.7-2_beta

 

Добавлено вывод времени окончания парсинга.

На вкладки парсинга в CSV и парсинга в ИМ добавлен расчет времени окончания парсинга.

 

Довольно интересная фишка получилась.
Поскольку в модуле можно использовать не только статичные паузы парсинга, а и динамические, к примеру рандомная пауза парсинга от 0-5
Что значит модуль будет делать рандомно паузу в диапазоне от нуля до пяти секунд. В таком случаи сложно посчитать время окончания парсинга. Но все же получилось.
Суть такова после запуска парсинга модуль считает время и количество спаренных ссылок, вычисляет средние время потраченное на парсинг. Грубо говоря вам нужно знать только две вещи связанных с расчетом времени.

1. Чем дольше идет парсинг тем более точно указывается время окончания. То есть после старта парсинга время может колебаться. Но чем больше ссылок спарсено тем точнее показывается время окончания. На сколько это возможно.
2. модуль считает время от начала парсинга, и если нажать стоп, то модуль сбрасывает показания. И когда вы опять нажмете старт он сначала начнет высчитывать время.

 

Для вас сделал обновляетесь @Axelenz 

 

Добавлена возможность парсить акционные цены для группы покупателей.

 

Тут куда больше нововведений.

1. Теперь можно для цены указывать несколько границ разделенными условным оператором {|} что обозначает ИЛИ
2. Можно задавать акционную цену для товара.
3. Можно выбирать для какой группы покупателей будет работать акция. По умолчанию для всех групп.
4. Можно указывать с какой даты будет начинаться акция, и когда она будет отключена. По умолчанию указана начало с текшей даты, когда вы нажали старт парсинга. И конец 2050г 01м 01д Но вы можете выбрать любой диапазон.
5. Для акционной цены работает также условный оператор ИЛИ в виде {|}

Как работает условный оператор {|}

Допусти вы указали в поле цены {gran_1}{|}{gran_2}
Если в границе парсинга {gran_1} ничего нет, или она равна нулю, тогда отработает условие ИЛИ и модуль возьмет то значение которое лежит в {gran_2}
Если в границе парсинга {gran_1} будет число и это число не равно 0 тогда модуль возьмет это значение и проигнорирует {gran_2}

 

На наш человеческий это просто если слева от {|} есть цена, и она не равна 0 тогда модуль ее возьмет, если нет тогда взмет то что лежит справа от {|}

 

И кстати таких условий может быть сколько угодно. И они не обязательно должны содержать границу парсинга
То есть вот так тоже можно {gran_1}{|}{gran_2}{|}{gran_3}{|}{gran_4}{|}{gran_5}{|}{gran_6}{|}{gran_7}
Или вот так {gran_1}{|}{gran_2}{|}9999

то есть можно прописывать самому любые цены на случай если ничего не будет в основных границах парсинга.

 

Так же немного про акционную цену.
Аукционная цена добавляется если в поле аукционной цены есть любая цифра не равная ную, и не равная основной цене товара.
Так сделано что бы вы могли парсить сайты где мигающая основная цена.

Допустим.
{gran_1} - основная цена, у товара когда в товаре есть и акционная.
{gran_2} - ационная цена в товаре, но когда нет акции в этой границе будет основная цена товара.

Теперь вы можете настроить цену товара как {gran_1}{|}{gran_2}
А акцию как {gran_2}

И теперь если у товара есть ационная цены и обычная, то у вас в магазине будет так же записана и обычная и акционная.
Но когда у товара есть только цена в {gran_2} то модуль запишет ее в основную цену. А в акционной у вас ничего не будет так же как у донора.

Не знаю кого и добавить в список кто просил акционные цены. Вас было много и давно. По этому для всех кто подписан на модуль

 

В данном обновлении необходимо выполнить /inst.php

 

PS. Это только первая реализация работы модуля с ационными ценами, и группами покупателей. Я понимаю что возможно схема не идеальна, и буду ее допиливать когда соберу основные отзывы по этой функции, чего не хватает или сайты которые нельзя спарсить имея такие инструменты.
Так что жду ваших рецензий, предложений.

[payn]

Доброго дня всем, возникла мысль, или может подскажет кто, хочу спарсить сайт, но он на английском, можно ли на лету, как-нибудь переводить? или толкните в нужную сторону, всем спасибо. Может через API яндекс переводчика....

Змінено 13 серпня 2019 користувачем payn

[Rassol2]

1 минуту назад, payn сказал:

Доброго дня всем, возникла мысль, или может подскажет кто, хочу спарсить сайт, но он на английском, можно ли на лету, как-нибудь переводить? или толкните в нужную сторону, всем спасибо.

нет на лету переводчика нету ))
Но кстати этот вопрос мне уже много кто задавал. Так что я серьезно задумываюсь по поводу гугл апи, что бы реализовать перевод на лету. Но это не в ближайших планах.

[stas2010]

3 часа назад, Rassol2 сказал:

задумываюсь по поводу гугл апи

как бы денюжку гугл не захотел, как и за карты

[Rassol2]

32 минуты назад, stas2010 сказал:

как бы денюжку гугл не захотел, как и за карты

Там как и у карт есть количество трафика считающегося бесплатным. А если в промышленных масштабах тогда нужно платить.
если я сделаю на себя и все будут через один ключ апи рабоать, то все может быть. А если в модуле сделать настройки что человек сможете вводить свой ключ, тогда бес проблем.

[ackmatoff]

On 8/13/2019 at 8:01 PM, Rassol2 said:

Там как и у карт есть количество трафика считающегося бесплатным. А если в промышленных масштабах тогда нужно платить.
если я сделаю на себя и все будут через один ключ апи рабоать, то все может быть. А если в модуле сделать настройки что человек сможете вводить свой ключ, тогда бес проблем.

Здравствуйте, надо делать так чтобы пользователи смогли добавить свои API ключи. Google переводчик бесплатный до какого-то количество слов, потом уже платный, но и не дорогой. Если парсинг будет работать только с вашего ключа, вам придется либо платить за переводы, либо Google переводчик скажет что вы уже превысили лимит. 

[Rassol2]

Здравствуйте, надо делать так чтобы пользователи смогли добавить свои API ключи. Google переводчик бесплатный до какого-то количество слов, потом уже платный, но и не дорогой. Если парсинг будет работать только с вашего ключа, вам придется либо платить за переводы, либо Google переводчик скажет что вы уже превысили лимит. 

Да, я знаю. Я про это написал выше. Спасибо.

Отправлено с моего Pixel через Tapatalk

[bezpalkoukrnet1981]

Добрый день! Такой вопрос - имею 2 имага, для того чтобы поставить этот инструмент себе на сайты, мне нужно 2-ды оплатить по 1600 рублей?
И еще вопрос - парс настраивается на крон? Чтобы он автоматом обновлял цены и остатки товару, а также добавлял новинки.

Змінено 15 серпня 2019 користувачем bezpalkoukrnet1981

[Rassol2]

51 минуту назад, bezpalkoukrnet1981 сказал:

Добрый день! Такой вопрос - имею 2 имага, для того чтобы поставить этот инструмент себе на сайты, мне нужно 2-ды оплатить по 1600 рублей?
И еще вопрос - парс настраивается на крон? Чтобы он автоматом обновлял цены и остатки товару, а также добавлял новинки.

Здравствуйте.
Лицензия распространяется на один домен.
На данный момент я не веду учет, так что вы можете купить одну версию и установить на два домена.
Но в дальнейшем если вы будете использовать модуль на двух доменах придется докупить лицензию.

[bezpalkoukrnet1981]

9 минут назад, Rassol2 сказал:

Здравствуйте.
Лицензия распространяется на один домен.
На данный момент я не веду учет, так что вы можете купить одну версию и установить на два домена.
Но в дальнейшем если вы будете использовать модуль на двух доменах придется докупить лицензию.

ясно, а что касаемо крона?

[Rassol2]

Только что, bezpalkoukrnet1981 сказал:

ясно, а что касаемо крона?

на данный момент его нету в модуле.
Пока еше в планах.

[bezpalkoukrnet1981]

4 минуты назад, Rassol2 сказал:

на данный момент его нету в модуле.
Пока еше в планах.

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

[Rassol2]

Только что, bezpalkoukrnet1981 сказал:

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

Нужно что бы у вас была открыта страница с модулем и нажата кнопка парсинг.
Вкладку на момент парсинга закрывать нельзя.

 

[Rassol2]

11 минут назад, bezpalkoukrnet1981 сказал:

если я допустим буду парсить и обновлять товар от донора у которого 30 000 товаров, надо так понимать, что сутки нужно будет держать включенным компьютер?

Ну или можно нажать стар с телефона. И держать его включенным )))

 

Забавно. Я не тестировал до конца но такой вариант тоже работает )))

 

Спойлер

 

[bezpalkoukrnet1981]

4 минуты назад, Rassol2 сказал:

Ну или можно нажать стар с телефона. И держать его включенным )))

 

Забавно. Я не тестировал до конца но такой вариант тоже работает )))

 

  Скрыть контент

 

 

вот как бы хочется купить ваш парсер, очень все его хвалят, но очень надеюсь на реализацию парса через крон   иначе, чтобы регулярно обновлять товары, для магаза на 50 000 товаров, да и еще с 10 донорами, просто сутками нужно будет комп держать включенным и менять доноров )))

[Rassol2]

Только что, bezpalkoukrnet1981 сказал:

вот как бы хочется купить ваш парсер, очень все его хвалят, но очень надеюсь на реализацию парса через крон   иначе, чтобы регулярно обновлять товары, для магаза на 50 000 товаров, да и еще с 10 донорами, просто сутками нужно будет комп держать включенным и менять доноров )))

крон это неизбежность, он будет 100500% потому что это как ни как вторая ступень эволюции в автоматизации.
Но, сейчас в приоритете сделать опции. И тогда нужно рботать уже над кроном.

[bezpalkoukrnet1981]

20 минут назад, Rassol2 сказал:

крон это неизбежность, он будет 100500% потому что это как ни как вторая ступень эволюции в автоматизации.
Но, сейчас в приоритете сделать опции. И тогда нужно рботать уже над кроном.

хорошо, верю вам! только что купила парсер