[Поддержка] SimplePars - Універсальний парсер для ІМ

[Kiyoshi]

52 минуты назад, etoprawda сказал:

да ладно тебе заливать , единственное в чем разница в Content Downloader X1 это количество потоков при обработке

Разница в потоках, ты им точно пользовался?

 

52 минуты назад, etoprawda сказал:

он даже бесплатной лицензии работает на одном потоке и функционал у него шире чем у этой погремушки что толкают здесь

Бесплатная лицензия а нука пруфы в студию ток не предлагай мне пробник урезанный который годится только на потыкать.

 

52 минуты назад, etoprawda сказал:

в Content Downloader популярно описавается куда надо тыкнуть что бы что то спарсить , она не сложнее калькулятора для меня .

Не поверш знаю. На шёл с чем сравнить с калькулятором и ребенок справится, его можно скорее сравнить с станком ЧПУ доки к ним тоже предлагаются.

 

48 минут назад, etoprawda сказал:

да и вот еще у него Количество скачек: 33663 в отличии от данного модуля 200  раз его скачали и то пока бесплатно раздовали )))

Тебя не смущает что CD уже не один год существует это раз и то что его берут не совсем простые пользователи а те кто реально что то умеет, простые пользователи которым удосужилось купить нарадуются до того что им проще заказать настройку данного продукта чем разберется во всем функционале не зряж автор в пилил там соответствующий раздел на форуме и даже добавил возможность заказать настройку в сам продукт, не от того что он такой простой как калькулятор оно там.

 

37 минут назад, xxasdsad сказал:

Кстати мой акаунт тоже заблокировали по просьбе Автора Rassol2  когда я начал с ним разбератся насчет данного модуля , быстро он на меня жалобы накидал а после вся переписка с ним пропала !

Открою вам большую тайну на форуме есть правила будте добры соблюдать их а за несоблюдение администрация наказывает согласно тяжести нарушения, кто же вам виноват что вы их нарушили на вас пожаловались и результат не заставил себя долго ждать.

Змінено 17 листопада 2019 користувачем Kiyoshi

[xxasdsad]

13 минут назад, Alexcctv сказал:

для каждого сайта все настраивается индивидуально, особых знаний html не требуется освоил его за пол часа.
есть границы парсинга которые нужно задавать и парсер парсит все как вы выстраиваете.

ну как работает парсер я знаю , у него же даже нету краткого описания что куда . Мне просто пример увидить а что от куда берется я знаю , а вот вставить что куда уже в парсере совершенно не понятно , если не трудно не могли бы вы несколько скринов сделать настроек на любой сайт . Дальше я без проблем могу разобратся

[xxasdsad]

15 минут назад, Kiyoshi сказал:

Разница в потоках, ты им точно пользовался?

 

Бесплатная лицензия а нука пруфы в студию ток не предлагай мне пробник урезанный который годится только на потыкать.

 

Не поверш знаю. На шёл с чем сравнить с калькулятором и ребенок справится, его можно скорее сравнить с станком ЧПУ доки к ним тоже предлагаются.

 

Тебя не смущает что CD уже не один год существует это раз и то что его берут не совсем простые пользователи а те кто реально что то умеет, простые пользователи которым удосужилось купить нарадуются до того что им проще заказать настройку данного продукта чем разберется во всем функционале не зряж автор в пилил там соответствующий раздел на форуме и даже добавил возможность заказать настройку в сам продукт, не от того что он такой простой как калькулятор оно там.

 

Открою вам большую тайну на форуме есть правила будте добры соблюдать их а за несоблюдение администрация наказывает согласно тяжести нарушения, кто же вам виноват что вы их нарушили на вас пожаловались и результат не заставил себя долго ждать.

ой да хватит вам его подначивать он вам щас такое напишет , уже с самого утра строчит , вы что не видете что только разодориваете пол часа игнора и ему самому не интересно станет

[Alexcctv]

6 минут назад, xxasdsad сказал:

ну как работает парсер я знаю , у него же даже нету краткого описания что куда . Мне просто пример увидить а что от куда берется я знаю , а вот вставить что куда уже в парсере совершенно не понятно , если не трудно не могли бы вы несколько скринов сделать настроек на любой сайт . Дальше я без проблем могу разобратся

ну так поля если умеете собирать переходите во вкладку Парсинг в ИМ, и указываете название берете с поля название, цена - цена , далее сохраняете и парсите)Все же доступно пару видео посмотрите если мало информации

[Kiyoshi]

9 минут назад, xxasdsad сказал:

ну как работает парсер я знаю , у него же даже нету краткого описания что куда . Мне просто пример увидить а что от куда берется я знаю , а вот вставить что куда уже в парсере совершенно не понятно , если не трудно не могли бы вы несколько скринов сделать настроек на любой сайт . Дальше я без проблем могу разобратся

https://prnt.sc/py2ye7

 

4 минуты назад, Alexcctv сказал:

ну так поля если умеете собирать переходите во вкладку Парсинг в ИМ, и указываете название берете с поля название, цена - цена , далее сохраняете и парсите)Все же доступно пару видео посмотрите если мало информации

+, ток добавлю.

https://prnt.sc/py2zup

[xxasdsad]

5 минут назад, Alexcctv сказал:

ну так поля если умеете собирать переходите во вкладку Парсинг в ИМ, и указываете название берете с поля название, цена - цена , далее сохраняете и парсите)Все же доступно пару видео посмотрите если мало информации

Что так просто ?) Пойду попробую если что отпишусь , если не отпишусь значит получилось !))) Помогите разработчику написать инструкцию а то он не умеет так обяснять ! Все про какие то ссылки , спасибо .

[Alexcctv]

5 минут назад, xxasdsad сказал:

Что так просто ?) Пойду попробую если что отпишусь , если не отпишусь значит получилось !))) Помогите разработчику написать инструкцию а то он не умеет так обяснять ! Все про какие то ссылки , спасибо .

ну так сбор ссылок и идет и так, просто отсекается лишний мусор к примеру фото, статические страницы, телефоны и прочая мура, вы получаете чистый список товаров для парсинга

[xxasdsad]

20 минут назад, Alexcctv сказал:

ну так сбор ссылок и идет и так, просто отсекается лишний мусор к примеру фото, статические страницы, телефоны и прочая мура, вы получаете чистый список товаров для парсинга

Бля, я столько понять не мог не фига-  я думал там может ссылки надо вставлять а там же вот {gran_1}{gran_2} меняем на граници и все ! Я правда еще не чего не парсил но теперь я понял , что от куда . Честное слово спасибо вам огромное ! Пойду все настраивать ))))

[Alexcctv]

1 минуту назад, xxasdsad сказал:

Бля, я столько понять не мог не фига-  я думал там может ссылки надо вставлять а там же вот {gran_1}{gran_2} меняем на граници и все ! Я правда еще не чего не парсил но теперь я понял , что от куда . Честное слово спасибо вам огромное ! Пойду все настраивать ))))

Ну прозрели)0Это радует)

[hippvik]

Подскажите! В предпросмотре "Парсинг в ИМ" акционная цена не выводиться? 

[Kiyoshi]

14 минут назад, hippvik сказал:

Подскажите! В предпросмотре "Парсинг в ИМ" акционная цена не выводиться? 

Не выводится. Но добавят ее в следующих релизах.

 

Змінено 17 листопада 2019 користувачем Kiyoshi

[Rassol2]

36 минут назад, hippvik сказал:

Подскажите! В предпросмотре "Парсинг в ИМ" акционная цена не выводиться? 

Это уже сделано в версии 2.9-8_beta
Если сильно нужно напишите в лс я вам скину.
Так же реализован вывод отладочной информации по опциям.
 

Спойлер

 

Так же опции.
 

Спойлер

Сейчас еше доделываю всякие веши которые повлияют на удобство работы. И выкачу релиз.
но если вам уже нужно видеть аукционную цену тогда напишите в лс я кину файлы.

[Rassol2]

3 часа назад, xxasdsad сказал:

ну как работает парсер я знаю , у него же даже нету краткого описания что куда . Мне просто пример увидить а что от куда берется я знаю , а вот вставить что куда уже в парсере совершенно не понятно , если не трудно не могли бы вы несколько скринов сделать настроек на любой сайт . Дальше я без проблем могу разобратся

я знаю что у вас нету модуля, что он не куплен. Я знаю что вы зарегистрировались 4 часа назад.
И пишите это все просто что бы создать негативный вакум.

Но все же инструкция есть, и вы знаете про нее.
https://simplepars.top/index.php?page=doc
 

Там все написано.

[hippvik]

А описание по акционной цене было уже или ещё нигде нет? А не посмотрите,  что я сделала не так.Посмотрите парсинг в ИМ акционная цена . Настройки парсинга прилагаю.

 

Спойлер

 

SPsetting-4.json

Змінено 17 листопада 2019 користувачем hippvik
Спрятала изображение под споллер

[Rassol2]

5 минут назад, hippvik сказал:

А описание по акционной цене было уже или ещё нигде нет? А не посмотрите,  что я сделала не так.Посмотрите парсинг в ИМ акционная цена . Настройки парсинга прилагаю.

смешно получилось. )
Сейчас скину инструкцию по акциям и вы все поймете.

[Rassol2]

@hippvik
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

Вот описание. С акциями не все так просто.

потому что как правила в одном товаре внутри тега цены будет обычная цена а в другом уже акционная.
Что бы это решить нужно использовать {|} подробно по ссылке выше.

И все что вам по сути нужно сделать это поправить правило вот так.
 

Спойлер

 

[hippvik]

1 минуту назад, Rassol2 сказал:

@hippvik
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

Вот описание. С акциями не все так просто.

потому что как правила в одном товаре внутри тега цены будет обычная цена а в другом уже акционная.
Что бы это решить нужно использовать {|} подробно по ссылке выше.

И все что вам по сути нужно сделать это поправить правило вот так.
 

  Показать контент

 

Спасибо! Всё понятно.

[Rassol2]

5 минут назад, Alexcctv сказал:

Ужас не могу спарсить сайт 3 день.

 

2019-11-17 16:47:30| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Connection timed out after 25001 milliseconds | Ссылка - https://www.aroma-butik.ru/cosmetics-product/constant-delight-olio-colorante/
2019-11-17 16:47:30| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке https://www.aroma-butik.ru/cosmetics-product/constant-delight-olio-colorante/

2019-11-17 16:47:55| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Connection timed out after 25000 milliseconds | Ссылка - https://www.aroma-butik.ru/cosmetics-product/kapous-magic-keratin-non-ammonia/
2019-11-17 16:47:55| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке https://www.aroma-butik.ru/cosmetics-product/kapous-magic-keratin-non-ammonia/

2019-11-17 16:48:20| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Connection timed out after 25001 milliseconds | Ссылка - https://www.aroma-butik.ru/cosmetics-product/kaaral-aaa-hair-color-cream/
2019-11-17 16:48:20| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке https://www.aroma-butik.ru/cosmetics-product/kaaral-aaa-hair-color-cream/

2019-11-17 16:48:45| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Connection timed out after 25001 milliseconds | Ссылка - https://www.aroma-butik.ru/cosmetics-product/matrix-krem-kraska-dlja-tochnogo-okrashivanija-volos-socolorbeauty/
2019-11-17 16:48:45| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке https://www.aroma-butik.ru/cosmetics-product/matrix-krem-kraska-dlja-tochnogo-okrashivanija-volos-socolorbeauty/


Прокси добавил Киоши но скорость парсить 18 к товаров 90 часов. Без прокси ошибка 

 

2019-11-17 15:41:23| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Connection timed out after 10000 milliseconds | Ссылка - https://www.aroma-butik.ru/product/escentric-molecules-molecule-02/

Скорее всего ваш ip добавляется в блек хол. То есть сайт донор банит вас за анамальную активность.
И эта ошибка как раз сообщает о том что за 25 сек модуль так и не смог соединится с сайтом донором.

Прокси решают этот вопрос. Но использование публичных прокси не очень хорошее решение, они медленные.
Можно использовать покупны. Но перед тем как использовать покупные прокси поиграйтесь с публичными, что бы понять как это работает.

ОБ прокси.
https://simplepars.top/index.php?page=note&note_id=13

[Rassol2]

3 минуты назад, hippvik сказал:

Спасибо! Всё понятно.

не за что.

[Alexcctv]

26 минут назад, Rassol2 сказал:

Скорее всего ваш ip добавляется в блек хол. То есть сайт донор банит вас за анамальную активность.
И эта ошибка как раз сообщает о том что за 25 сек модуль так и не смог соединится с сайтом донором.

Прокси решают этот вопрос. Но использование публичных прокси не очень хорошее решение, они медленные.
Можно использовать покупны. Но перед тем как использовать покупные прокси поиграйтесь с публичными, что бы понять как это работает.

ОБ прокси.
https://simplepars.top/index.php?page=note&note_id=13

А если я использую вдс? Есть какой то вариант обхода к примеру проксирование самого сервера

[Alexcctv]

9 минут назад, Alexcctv сказал:

А если я использую вдс? Есть какой то вариант обхода к примеру проксирование самого сервера

И подскажите какие прокси покупать нужно если не затруднит 18 000 товаров примерно сколько нужно проксей?

[Rassol2]

21 минуту назад, Alexcctv сказал:

А если я использую вдс? Есть какой то вариант обхода к примеру проксирование самого сервера

а разница ? что прокси вбить в модуль, что вашеть весь вдс на прокси. Это даже сложнее.
Но если парсить к примеру с локалки можете пустить весь трафик компа через Тор сеть, и тогда модуль будет через неё идти. Своего рада бесплатные прокси.
 

13 минут назад, Alexcctv сказал:

И подскажите какие прокси покупать нужно если не затруднит 18 000 товаров примерно сколько нужно проксей?

я затрудняюсь ответить. Все зависит от того как активно блокирует донор.
 

Начните с бесплатных соберите хороший пул проксей. Уберите паузу и попробуйте.

[Alexcctv]

9 минут назад, Rassol2 сказал:

а разница ? что прокси вбить в модуль, что вашеть весь вдс на прокси. Это даже сложнее.
Но если парсить к примеру с локалки можете пустить весь трафик компа через Тор сеть, и тогда модуль будет через неё идти. Своего рада бесплатные прокси.
 

я затрудняюсь ответить. Все зависит от того как активно блокирует донор.
 

Начните с бесплатных соберите хороший пул проксей. Уберите паузу и попробуйте.

А если попробовать прогнать домен черер облачный днс? Будет толь или у меня кисель в голове уже)Если мой хостер в блек листе.

[Rassol2]

10 минут назад, Alexcctv сказал:

А если попробовать прогнать домен черер облачный днс? Будет толь или у меня кисель в голове уже)Если мой хостер в блек листе.

Вам нужно что бы запросы на сайт донор приходили не от вашего имени. А от имени кого то там. Но результат возвращался вам.

Это как будто бы вам 15 лет, вы хотите пивка выпить, но кассир вам не продаст. В берет старшего знакомого, посылаете, он покупает и отдает вам.
Это называется пивное прокси
Так вот вам подойдет любой метод который работает по этой же схеме.

PS.
Публичные прокси плохи тем что среди них есть тоже 15 летние которым кассир не продаст пивасик

Или такие которые купят пивасик но вам не отдадут.
А еше часто бывают такие которых посылаешь за пивом а они приносят тебе молоко.
Или такие которые приходят на кассу и говорят дайте мне бутылочку крепкого вон для того подростка он попросил. 
Или еше такие которых пошлеш в магазин а вернутся они завтра, или вообше не вернутся

Для решения этих задач есть прокси чекер, это своего рода кастинг

[Alexcctv]

7 минут назад, Rassol2 сказал:

Вам нужно что бы запросы на сайт донор приходили не от вашего имени. А от имени кого то там. Но результат возвращался вам.

Это как будто бы вам 15 лет, вы хотите пивка выпить, но кассир вам не продаст. В берет старшего знакомого, посылаете, он покупает и отдает вам.
Это называется пивное прокси
Так вот вам подойдет любой метод который работает по этой же схеме.

PS.
Публичные прокси плохи тем что среди них есть тоже 15 летние которым кассир не продаст пивасик

Или такие которые купят пивасик но вам не отдадут.
А еше часто бывают такие которых посылаешь за пивом а они приносят тебе молоко.
Или такие которые приходят на кассу и говорят дайте мне бутылочку крепкого вон для того подростка он попросил. 

Так пиво взял уже, вот прокси на закуску думаю прикупить, просто не особо пойму нашел прокся аренда 3 прокси пишется 90 подстетей, вот вопрос намечается если 1 проксю забанят то остальные будут работать из этой подсети?)) Да и хотел уточнить может в будущем если парсинг не прошел к примеру умер прокси то чтобы парсинг уведомлял , а не показывал имитацию парсинга))А то с моим количеством невыгодно перепарсивать все заново)