[Поддержка] SimplePars - Универсальный парсер для ИМ

[olga79]

Не пойму. С сайта, который как пример в модуле, сбор ссылок идет. С моего донора не получается. Почему такое может быть?

Змінено 28 січня 2019 користувачем olga79

[Rassol2]

5 часов назад, olga79 сказал:

Не пойму. С сайта, который как пример в модуле, сбор ссылок идет. С моего донора не получается. Почему такое может быть?

Я вам в личку ответил. Так же приложил скриншот с парсингу ссылок вашего донора. 

[Rassol2]

Устранение ошибки кодировки. 
Устранил ошибку кодировок. Допустим у сайта не парсятся ссылки, а в форме настроек при попытке просмотреть код любой ссылки вы получаете одну пустую строку, и частенько сверху экрана красуется вот такая вот ошибка.
 

Цитата

Notice: iconv(): Detected an illegal character in input string in 

https://prnt.sc/me24fp

Теперь такие сайты должны нормально парсится. 
После обновление такие сайты должны нормально функционировать. 
https://prnt.sc/me25ks

Спасибо пользователю @olga79  за предоставленную возможность отловить этот баг. 

[olga79]

1 hour ago, Rassol2 said:

Спасибо пользователю @olga79  за предоставленную возможность отловить этот баг. 

Вам спасибо

[Eugeniyaya]

Здравствуйте! Подскажите, плиз. Собрала у донора чуть больше 15 тыс нужных ссылок. Настроила парсинг. Процесс идет, но парсит некоторое количество ссылок и останавливается, для продолжения нужно нажимать старт постоянно. За 2 суток собралось чуть более 4 тыс ссылок. А еще полдня все как описала выше, а потом строчка где виден процесс парсинга становится пустой. При многократном нажатии старт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обработал. Да, и на стоп не реагирует в эти моменты.

Через несколько часов восстановилась изначальная работа и строка. Полдня и снова пустая строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то обойти это?

 

Змінено 31 січня 2019 користувачем Eugeniyaya

[Rassol2]

11 минут назад, Eugeniyaya сказал:

Здравствуйте! Подскажите, плиз. Собрала у донора чуть больше 15 тыс нужных ссылок. Настроила парсинг. Процесс идет, но парсит некоторое количество ссылок и останавливается, для продолжения нужно нажимать старт постоянно. За 2 суток собралось чуть более 4 тыс ссылок. А еще полдня все как описала выше, а потом строчка где виден процесс парсинга становится пустой. При многократном нажатии старт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обработал. Да, и на стоп не реагирует в эти моменты.

Через несколько часов восстановилась изначальная работа и строка. Полдня и снова пустая строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то обойти это?

 

Нужно смотреть в чем причина. Конкретно у вас на сайте. 

Иногда прилетают ошибки от донора и модуль не продолжает парсить, такие ошибки легко исправить, или сделать что бы модуль пропускал такие страницы и не останавливался. Но я это го пока не делаю по причине желания отловить как можно больше разных ситуаций, и недочетов. 

Если будет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть причина. 
так же интересно что в логах в момент зависания модуля. 

[Rassol2]

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Такие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скачивание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Таким образом у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше неделю назад. 

Как то так.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. 

 

[Eugeniyaya]

25 минут назад, Rassol2 сказал:

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Такие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скачивание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Таким образом у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше неделю назад. 

Как то так.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. 

 

Спасибо! Теперь парсит стабильно, супер!

[Veetkam]

5 часов назад, Rassol2 сказал:

Нужно смотреть в чем причина. Конкретно у вас на сайте. 

Иногда прилетают ошибки от донора и модуль не продолжает парсить, такие ошибки легко исправить, или сделать что бы модуль пропускал такие страницы и не останавливался. Но я это го пока не делаю по причине желания отловить как можно больше разных ситуаций, и недочетов. 

Если будет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть причина. 
так же интересно что в логах в момент зависания модуля. 

Подтверждаю таже самая ситуация, постоянные остановки. Заметил остановки на битых ссылках.

[Rassol2]

1 час назад, Veetkam сказал:

Подтверждаю таже самая ситуация, постоянные остановки. Заметил остановки на битых ссылках.

Скачайте модуль сейчас и обновитесь. 
Если ошибка останется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

[Rassol2]

Обновление. 
Внесено несколько исправлений. В том числе много исправлений связанных с остановкой парсинга. 
 

[Veetkam]

В 31.01.2019 в 16:37, Rassol2 сказал:

Скачайте модуль сейчас и обновитесь. 
Если ошибка останется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

Да я пока на локалке тесты провожу, на рабочий хост рановато ставить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-остановки реже стали, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

[Rassol2]

17 часов назад, Veetkam сказал:

Да я пока на локалке тесты провожу, на рабочий хост рановато ставить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-остановки реже стали, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

Это после обновления до версии 1.3.2 ? 

[Veetkam]

53 минуты назад, Rassol2 сказал:

Это после обновления до версии 1.3.2 ? 

да, щас тестил, таже проблема. Использую php 7.2 ну не думаю, что это вызывает проблему.

[Rassol2]

1 минуту назад, Veetkam сказал:

да, щас тестил, таже проблема. Использую php 7.2 ну не думаю, что это вызывает проблему.

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

[Veetkam]

2 часа назад, Rassol2 сказал:

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

[Rassol2]

11 часов назад, Veetkam сказал:

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

странно данная ошибка исправлена в той версии модуля что сейчас загружена на форум. 
Перегрузите и обновте ошибки быть не должно.

Если будет тогда напишите мне в лс доступ к вашему магазину и я попробую найти причину и исправить. 

[Axelenz]

Спасибо за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Ну или хотя бы, как вариант, при выборе названия границы через "Выбор границы парсинга", автоматом пусть бы подхватывалась [0] ссылка с выключенным "Привью сайта".

 

"Предпросмотр" границы не должен работать, когда не указано явно "Название границ".

"Привью сайта" не должно работать, когда не указано явно "Название границ". Лучше ставить везде "защиту от дурака"...

 

Иногда бывают случаи, что необходимо посмотреть не любую страницу из спарсенных, а проверить конкретную страницу. Может не помешал бы поиск или явное указание страницы, чтобы дальше все проверки ("Пред просмотрт границы" и "Пред просмотр" на следующей вкладке "Запуск парсинга данных") производились именно на конкретно указанной (зафиксированной) странице ?

Змінено 3 лютого 2019 користувачем Axelenz

[Rassol2]

16 минут назад, Axelenz сказал:

Спасибо за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Здравствуйте. 
Да можно, но тогда страница будет дольше грузится. И что выводить когда пользователь еше не добавил ссылки для парсинга ? 
Так же и без пред просмотра можно добавлять границы парсинга. То есть можно в браузере делать просмотр кода а в модуль просто вставлять границы. 

Большой причины для добавления открытия страницы по умолчанию я не вижу. Тем более что иногда нужно посмотреть просто на границы парсинга и их значения без инспекции кода. А если добавить страницу по умолчанию, всегда нужно будет ждать загрузку страницы. 
Как то так. 

А на данный момент если хотите настраивать с пред просмотром, нажали на ссылку и получили результат. 

[Zetx]

Добрый вечер!

Как обстоят дела с парсингом сайтов на пром.юа? 

[Rassol2]

2 минуты назад, Zetx сказал:

Добрый вечер!

Как обстоят дела с парсингом сайтов на пром.юа? 

на быструю вскидку парсинг работает на проме.
http://joxi.ru/82QQRjoswyW4x2

[Zetx]

2 минуты назад, Rassol2 сказал:

на быструю вскидку парсинг работает на проме.
http://joxi.ru/82QQRjoswyW4x2

в стоке или с прокси клиентами?

[Rassol2]

22 минуты назад, Zetx сказал:

в стоке или с прокси клиентами?

в стоке. Модуль еше не поддерживает работа с прокси.
Не исключаю какие то действия со стороны пром юа что бы помешать парсингу.  

[olga79]

Все получилось. Теперь вопрос, куда сам прайс лег? Откуда его скачивать?))

[Axelenz]

57 минут назад, olga79 сказал:

Все получилось. Теперь вопрос, куда сам прайс лег? Откуда его скачивать?))

 

Всё находится в папке: /domains/Ваш_сайт/public_html/admin/uploads/