[Поддержка] SimplePars - Универсальный парсер для ИМ

[yurok79]

28.04.2022 в 19:39, partshez сказал:

Возможность есть. Модуль группировки товаров HPM.

Прячьте длинный текст в теме под спойлер

Он как-то работает с парсером или потом руками групировать? Не совсем Вас понял.

[partshez]

28.04.2022 в 22:04, yurok79 сказал:

Он как-то работает с парсером или потом руками групировать? Не совсем Вас понял.

https://simplepars.top/index.php?page=note&n=46

Все работает на автомате при корректной настройке Симплпарс и HPM

Советую хотя бы иногда читать инструкции по работе с модулем Симплпарс. Узнаете много интересного

https://simplepars.top/index.php?page=notes&tag_id=8

https://simplepars.top/index.php?page=notes

https://simplepars.top/index.php?page=note&n=25

Змінено 29 квітня 2022 користувачем partshez

[Aspirinnka1]

28.04.2022 в 19:29, partshez сказал:

 Это два абсолютно разных функционала модуля.

Читайте еще...

Спасибо, пошел читать дальше. Наверное, я неправильно понимаю терминологию. У меня ссылка - это выгрузка донора в формате XML. Значит инструкция отсюда, верно?

https://simplepars.top/index.php?page=note&n=35

[partshez]

29.04.2022 в 10:02, Aspirinnka1 сказал:

Спасибо, пошел читать дальше. Наверное, я неправильно понимаю терминологию. У меня ссылка - это выгрузка донора в формате XML. Значит инструкция отсюда, верно?

https://simplepars.top/index.php?page=note&n=35

Верно

[3DO]

@Rassol2 , Участники, Здравствуйте!

Хочется побольше узнать о работе модуля с кеш.
Сбор ссылок,

Парсинг в магазин,

Менеджер заданий (CRON).

В документации вроде нет.

 

p.s. @partshez не отвечайте на данное сообщение, не засоряйте эфир.

[Rassol2]

29.04.2022 в 07:18, 3DO сказал:

@Rassol2 , Участники, Здравствуйте!

Хочется побольше узнать о работе модуля с кеш.
Сбор ссылок,

Парсинг в магазин,

Менеджер заданий (CRON).

В документации вроде нет.

 

p.s. @partshez не отвечайте на данное сообщение, не засоряйте эфир.

Все это есть в документации.

А еше там есть видео. Пожалуйста приложите больше усилий.

Вот документация.
https://simplepars.top/index.php?page=notes
Вот видео.

https://simplepars.top/index.php?page=note&n=25

[Rassol2]

@3DO У модуля нет документации под названием "А сейчас я вам покажу как спарсить в ИМ"
Такого быть не может, потому что сайтов тысячи и все разное. Но есть документация которая описывает работу того или иного функционала.
Вы изучаете функционал затем смотрите на свою задачу и решаете при помоши какого функционала вы можете решить ту или иную задачу.

Это как перфоратор, в инструкции описано какие есть режимы и как они работают. А вы уже как мастер сами решаете какая функция в какой задаче вам нужна.

К примеру на сайте перфоратора может быть демонстративное видео как используя какой то режим решают какую то задачу. Так же и у меня.
Но четкой инструкции что нужно сделать что бы спарсить любой сайт нет и не будет. Это не возможно. Везде свой подход.

[3DO]

29.04.2022 в 15:25, Rassol2 сказал:

@3DO У модуля нет документации под названием "А сейчас я вам покажу как спарсить в ИМ"
Такого быть не может, потому что сайтов тысячи и все разное. Но есть документация которая описывает работу того или иного функционала.
Вы изучаете функционал затем смотрите на свою задачу и решаете при помоши какого функционала вы можете решить ту или иную задачу.

Это как перфоратор, в инструкции описано какие есть режимы и как они работают. А вы уже как мастер сами решаете какая функция в какой задаче вам нужна.

К примеру на сайте перфоратора может быть демонстративное видео как используя какой то режим решают какую то задачу. Так же и у меня.
Но четкой инструкции что нужно сделать что бы спарсить любой сайт нет и не будет. Это не возможно. Везде свой подход.

 

Я без без каких то либо претензий.
Просто для такого глобального пункта (функционала), можно было как то отдельный пост оформить, настройка то не мелочевая по сути.

Смотрю видео по мере необходимости, но пересматривать все каждый раз из-за необходимого пункта, не знаю как вам, по мне занятие полезное, но не всегда.
Тайм коды не помешали бы для удобства пользователей).

Спасибо за ответ.

[Rassol2]

29.04.2022 в 07:38, 3DO сказал:

 

Я без без каких то либо претензий.
Просто для такого глобального пункта (функционала), можно было как то отдельный пост оформить, настройка то не мелочевая по сути.

Смотрю видео по мере необходимости, но пересматривать все каждый раз из-за необходимого пункта, не знаю как вам, по мне занятие полезное, но не всегда.
Тайм коды не помешали бы для удобства пользователей).

Спасибо за ответ.

Я могу сделать такую инструкцию но она вам не поможет так как она будет не про ваш сайт. И у вас будет все другое даже другой метод. Я не могу сделать инструкцию которая покажет всем пошагово что делать. Но я могу описать доступный фунционал и каждый сам определит шаги которые нужны конкретно в его случаи. 

Да изучать нужно и нужно тестировать и на это прийдется потратить время. Кто то меньше тратит кто то больше но этого не избежать. Так всегда и во всем. К сожалению. 

[3DO]

29.04.2022 в 15:43, Rassol2 сказал:

Я могу сделать такую инструкцию но она вам не поможет так как она будет не про ваш сайт. И у вас будет все другое даже другой метод. Я не могу сделать инструкцию которая покажет всем пошагово что делать. Но я могу описать доступный фунционал и каждый сам определит шаги которые нужны конкретно в его случаи. 

Да изучать нужно и нужно тестировать и на это прийдется потратить время. Кто то меньше тратит кто то больше но этого не избежать. Так всегда и во всем. К сожалению. 

 

@Rassol2 для Вас не секрет, что существует некая востребованность услуги настройки парсинга/импорта с помощью вашего модуля.
Почему ?

Вот мое мнение, ни на что не претендующее.

- Не в отсутствии документации, а в ее способе подачи, количестве и доступности для понимания средне статистическим человеком, с АОП от @usergio по мне такая же ситуация, вроде как бы она есть, но живет своей жизнью.

- Вы несомненно талантливые люди и программисты, которые делают востребованный продукт и продолжают работу над ним.

НО!

- Вы уделяете больше внимания технической стороне (новым плюшкам и т.п) и это логично, но и остальные инструменты должны обновляться, добавляться по мере роста, а не хромать в догонку, когда я смотрю видео в 2022г. записанные например еще в 2014г. (обобщаю), только улыбка.

Многие эволюционировали в плане функционала, а подход (поддержка и документация) как был, так и ныне там.

- Эта тема поддержки, для некоторых паразитирующих организмов здесь и за пределами она превратилась в источник своего заработка, а не для чего она создавалась.

[Axelenz]

29.04.2022 в 16:50, 3DO сказал:

Эта тема поддержки, для некоторых паразитирующих организмов здесь и за пределами она превратилась в источник своего заработка, а не для чего она создавалась.

Я постоянно занимаюсь парсингом, парсингом и ещё раз парсингом... и ничем более... утром, днём, вечером и ночью...

Использую в своей деятельности модули SimplePars и АОП. Иногда один из них, а иногда и в связке два сразу, если проект того требует...

Так вот для понятной аналогии хочу Вам сказать, когда человек покупает в хозяйственном магазине болты, шайбы, гайки, то только от него зависит, что он сможет скрутить с помощью этих метизов... Никакой документации априори не может быть на их использование. Подразумевается по умолчанию, что человек осознанно и спланировано покупает себе именно то, что ему необходимо в осуществлении задуманного...

Парсинг - это не модуль... модуль - это гайки и болты. А парсинг - это схема в Вашей голове, как с помощью какого-то модуля возможно его осуществить...

Вот кто-то может построить эту схему и реализовать на практике задуманное, а кому-то может лучше пойти, например, в музыканты или танцоры...

 

P.S. Музыканты так же паразиты... используя всего 7 нот, придуманные не ими, используют их и получают за это огромные деньги... просто за определённую последовательность извлекаемых звуков...

А если Вы хотите создать свой интернет-магазин, не являясь производителем, спарсить с чужого сайта всю информацию и получать с этого денежные знаки, то Вы кто ? 

Змінено 29 квітня 2022 користувачем Axelenz

[Rassol2]

29.04.2022 в 08:50, 3DO сказал:

 

@Rassol2 для Вас не секрет, что существует некая востребованность услуги настройки парсинга/импорта с помощью вашего модуля.
Почему ?

Вот мое мнение, ни на что не претендующее.

- Не в отсутствии документации, а в ее способе подачи, количестве и доступности для понимания средне статистическим человеком, с АОП от @usergio по мне такая же ситуация, вроде как бы она есть, но живет своей жизнью.

- Вы несомненно талантливые люди и программисты, которые делают востребованный продукт и продолжают работу над ним.

НО!

- Вы уделяете больше внимания технической стороне (новым плюшкам и т.п) и это логично, но и остальные инструменты должны обновляться, добавляться по мере роста, а не хромать в догонку, когда я смотрю видео в 2022г. записанные например еще в 2014г. (обобщаю), только улыбка.

Многие эволюционировали в плане функционала, а подход (поддержка и документация) как был, так и ныне там.

- Эта тема поддержки, для некоторых паразитирующих организмов здесь и за пределами она превратилась в источник своего заработка, а не для чего она создавалась.

Вы от части правы. Есть сфера услуг по настройке модуля потому что люди познают документацию и делают а потом они могут свои знания продать.
А есть другие люди которые оценивают затраты своего времени и цены выполнения заказа и приходят к выводу что экономически выгоднее делегировать такую задачу кому то.

Но проблема здесь не столько в документации как в функционале модулей. Вы хотите иметь возможность спарсить любой сайт с разными структурами разметками, с разными типами страни и привести их к единому значению и загрузить на свой сайт.
Вы хотите привести тысячи сайтов к одному типу данных который сопадает с типами данных Opencart и наши модули решают эту задачу.
Но для решения этой задачи нужно хотя бы сотню фунций, а исполнителю нужно понять как работает эта сотня функций. Я описываю этот фунционла но документация росстет, затем приходят люди и говорят что видео более понятно и я пишу видео.

Но когда фунционла достигает таких обьемов приходят люди к примеру как вы которые говорят.

29.04.2022 в 07:38, 3DO сказал:

Смотрю видео по мере необходимости, но пересматривать все каждый раз из-за необходимого пункта, не знаю как вам, по мне занятие полезное, но не всегда.

То есть люди которые признают что есть информация но употреблять ее у них нет времени. И вот отсюда уже растет сфера услуг.
На данный момент вы еше не спросили чего то чего нет в документации.

Так же я признаю что последний 5 месяцев я слабо занимаюсь модулем, но я знал что у меня будут проблемы и подогнал все по максимуму, но до этих месяцев я очень внимательно относился к фитбеками и проводил свои внутренние тесты и по документации и по функционалу.

Вот мой самый интересный тест.

 

Вот видео где я записал парсинг сайта с нуля.

Скрытый текст

 

Интересно это тем что видео было записано в начале создания видео документации и оно собрало больше всего просмотров но вот не задача. Люди идут смотреть его но после этого они не знают что им делать с своим сайтом, то есть люди сразу бегут его смотреть потому что там показано все от начала и до конца но не объяснено что и как работает. В итоге самое просматриваемое видео не помогает и обратите внимание его никто не предлагает посмотреть.

После этого было принято решение записывать видео о конкретном функционале. И теперь можно посылать людей на конкретное видео где будет раскрыта тема какого то функционала. А по поводу тайм кодов, первое видео было записано еше 3 года назад я не помню были ли они тогда или нет но признаться я не видео мейкер и сделать видео документацию на уровне репортажей Дудя я не способен, по крайне мери не сейчас и не по цене модуля в 26$ 

 

По поводу обновление, да оно отстает но большинство функционала я пишу говорящими ну или стараюсь по крайне мере.
То есть если вам нужно базовое понимание то и документация не нужна. Это не идеально сделано но довольно сильно заморочился по этому пункту.
Вы наводили мышку хотя бы на знаки вопросов в модуле ?
 

Скрытый текст

Я понимаю что мой модуль нельзя сравнивать с фотошопом, потому что рядом с ним мой модуль кусок отходов.
Но если закрыть глаза на такое кощунство то выглядит так что вы берете в руки фотошоп а потом удивлены что его нужно изучать. Да такие инструменты будут забирать ваше время если вы хотите познать все.

[3DO]

29.04.2022 в 17:07, Axelenz сказал:

P.S. Музыканты так же паразиты... используя всего 7 нот, придуманные не ими, используют их и получают за это огромные деньги... просто за определённую последовательность извлекаемых звуков...

А если Вы хотите создать свой интернет-магазин, не являясь производителем, спарсить с чужого сайта всю информацию и получать с этого денежные знаки, то Вы кто ? 

 

Не надо с ног на голову все переворачивать.

Каждый все понимает в силу своего опыта или испорченности.

[partshez]

29.04.2022 в 15:18, 3DO сказал:

p.s. @partshez не отвечайте на данное сообщение, не засоряйте эфир.

А вот это к чему? 

Первое. Вы, наверное, не понимаете значения слова *эфир*. Это распространение радиоволн в воздухе...

Второе. Если не нравятся мои сообщения, просто их не читайте.

Третье. Я работаю с модулем с марта 2019 года практически ежедневно. Начинал с бесплатной версии модуля 1.3.  https://prnt.sc/dI9gburOcZzC   Поверьте, на многие вопросы я уже знаю ответ. 

Четвертое. Присоединяюсь к комментариям выше. Один человек читает документацию, смотрит видео, изучает функционал модуля. Другому проще не забивать себе голову, а попросить помощи (я помогаю не только за деньги, между прочим...). 

Так что если хотите нормально работать с модулем, обращайтесь с вопросами. А затыкать мне рот не стоит. Я не паразит, как и другие участники

Змінено 29 квітня 2022 користувачем partshez

[Rassol2]

Да действительно мы куда-то не туда пошли. 
Истина все равно где-то посередине 😉

[fortoonas]

@Rassol2 Простите что прерываю такую интересную тему)
Может я пропустил.....как Вы устроились в Америке?
Есть смысл туда переезжать сейчас?

[Rassol2]

02.05.2022 в 13:34, fortoonas сказал:

@Rassol2 Простите что прерываю такую интересную тему)
Может я пропустил.....как Вы устроились в Америке?
Есть смысл туда переезжать сейчас?

Это сугубо дело каждого, я знал куда я еду и хотел этого давно, я не разочаровался. Даже приятно шокирован.
Если вопрос в исходя из войны то я не рекомендую США как страну куда бежать от войны.
Тут моя рекомендация падает на Канаду, как по мне лучший выбор из доступных украинцам, по совокупности факторов.

[AntonVN]

27.04.2022 в 14:30, Aspirinnka1 сказал:

Добрый. Вы уверены, что Simplepars именно так работает? На первой вкладке "Сбор ссылок " Я закгрузил xml (см. картинку ниже) и получил список товаров. А дальше стандартная работа Парсинг в ИМ. Как-то так.

Т.е. из плюшек я получил список товаров с одного фида, а дальше опять долбить 12к ссылок на товары донора

 

  Показать содержимое

 

Добрый день.

Прошу прощение, возможно ввел в заблуждение и не правильно понял вопрос, у меня xml грузится по Крону, настроил в Обработчик XML нарезку на товары.

в сборе ссылок С sirtemap [xml] 

Скрытый текст

 

По итогу у меня на хосту в каждом проекте 0-temp.xml (полный объём) и нарезанные файлы, за минусом исключений настроенных в Обработчик XML.

Скрытый текст

 

В следствии чего я и полагаю, что предварительно xml загружается на сервер и обрабатывается уже на месте...

[egortide]

Подскажите пожалуйста, где в файлах парсера можно изменить айпи, с которого он отправляет запросы. У меня есть дополнительный айпи на сервере. Как сделать так, чтобы с него отправлял запросы SimplePars?

[Axelenz]

04.05.2022 в 22:06, egortide сказал:

Подскажите пожалуйста, где в файлах парсера можно изменить айпи, с которого он отправляет запросы. У меня есть дополнительный айпи на сервере. Как сделать так, чтобы с него отправлял запросы SimplePars?

https://simplepars.top/index.php?page=note&n=13

[egortide]

04.05.2022 в 22:12, Axelenz сказал:

https://simplepars.top/index.php?page=note&n=13

Это я уже пробовал)
Сейчас к сожалению дурю голову разработчику Парсера в ЛС, прокси чекер выдает постоянно такое:
 

2022-05-04 22:14:14| !-> PROXY CHECKER | ОТВЕТ | Подменяет данные сайта к которому вы обращаетесь

хотя айпишники новые и не забанены.

Основной айпи сервера забанен 6 месяцев назад, т.к. случайно по незнанию очень агрессивно парсил. Я не знаю, как быть, прокси вообще не проходят проверку(

[partshez]

Разобрался. Вопрос снят

Змінено 4 травня 2022 користувачем partshez

[Rassol2]

04.05.2022 в 14:06, egortide сказал:

Подскажите пожалуйста, где в файлах парсера можно изменить айпи, с которого он отправляет запросы. У меня есть дополнительный айпи на сервере. Как сделать так, чтобы с него отправлял запросы SimplePars?

Если у вас несколько ip и вы хотите что бы модуль с конкртеного делал запросы, то это нужно менять в настройках сервера. Модуль просто отдает команду библиотеке cURL сделать запрос, а с какого ip будет запрос не в власти модуля.

[egortide]

подскажите, где находится вызов запроса curl_exec, хочу добавить вывод в лог результата запроса и ответ от донора при парсинге, а то есть проблемы, сайт парсится через раз:(
или быть может в плагине уже реализована отладка (дебаг)?

[SToRm1k]

В дополнение, как оказалось на некоторых страницах есть несколько файлов. Получилось реализовать вот так.

 

<?php
  setlocale(LC_ALL, 'ru_RU.UTF-8', 'Rus');

  //указываем границу парсинга где ссылка на pdf
  $grn_pdf = 8;
  
  //Указываем путь куда мы хотим сохранять PDF
 $dir = '/public_html/doc/';
  
 //Проверяем что бы граница парсинга с PDF не была пустой
  if(!empty($script_data['form']['script_gran'][$grn_pdf])){

	$file = $script_data['form']['script_gran'][$grn_pdf];
	$array = explode(';',$file);
	for ($i = 0; $i < count($array); $i++) {
	$name = basename($array[$i]);
	$pdf = file_get_contents($array[$i]);
	file_put_contents($dir.$name, $pdf);
}
  }
?>