Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Не пойму. С сайта, который как пример в модуле, сбор ссылок идет. С моего донора не получается. Почему такое может быть?

Змінено користувачем olga79
Надіслати
Поділитися на інших сайтах


5 часов назад, olga79 сказал:

Не пойму. С сайта, который как пример в модуле, сбор ссылок идет. С моего донора не получается. Почему такое может быть?

Я вам в личку ответил. Так же приложил скриншот с парсингу ссылок вашего донора. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Устранение ошибки кодировки. 
Устранил ошибку кодировок. Допустим у сайта не парсятся ссылки, а в форме настроек при попытке просмотреть код любой ссылки вы получаете одну пустую строку, и частенько сверху экрана красуется вот такая вот ошибка.
 

Цитата

Notice: iconv(): Detected an illegal character in input string in 


https://prnt.sc/me24fp

Теперь такие сайты должны нормально парсится. 
После обновление такие сайты должны нормально функционировать. 
https://prnt.sc/me25ks

Спасибо пользователю @olga79  за предоставленную возможность отловить этот баг. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Здравствуйте! Подскажите, плиз. Собрала у донора чуть больше 15 тыс нужных ссылок. Настроила парсинг. Процесс идет, но парсит некоторое количество ссылок и останавливается, для продолжения нужно нажимать старт постоянно. За 2 суток собралось чуть более 4 тыс ссылок. А еще полдня все как описала выше, а потом строчка где виден процесс парсинга становится пустой. При многократном нажатии старт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обработал. Да, и на стоп не реагирует в эти моменты.

Через несколько часов восстановилась изначальная работа и строка. Полдня и снова пустая строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то обойти это?

 

Screenshot_4.jpg

Змінено користувачем Eugeniyaya
Надіслати
Поділитися на інших сайтах


11 минут назад, Eugeniyaya сказал:

Здравствуйте! Подскажите, плиз. Собрала у донора чуть больше 15 тыс нужных ссылок. Настроила парсинг. Процесс идет, но парсит некоторое количество ссылок и останавливается, для продолжения нужно нажимать старт постоянно. За 2 суток собралось чуть более 4 тыс ссылок. А еще полдня все как описала выше, а потом строчка где виден процесс парсинга становится пустой. При многократном нажатии старт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обработал. Да, и на стоп не реагирует в эти моменты.

Через несколько часов восстановилась изначальная работа и строка. Полдня и снова пустая строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то обойти это?

 

Screenshot_4.jpg

Нужно смотреть в чем причина. Конкретно у вас на сайте. 

Иногда прилетают ошибки от донора и модуль не продолжает парсить, такие ошибки легко исправить, или сделать что бы модуль пропускал такие страницы и не останавливался. Но я это го пока не делаю по причине желания отловить как можно больше разных ситуаций, и недочетов. 

Если будет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть причина. 
так же интересно что в логах в момент зависания модуля. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Такие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скачивание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Таким образом у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше неделю назад. 

Как то так.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. :rolleyes:

 

  • +1 3
Надіслати
Поділитися на інших сайтах

25 минут назад, Rassol2 сказал:

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Такие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скачивание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Таким образом у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше неделю назад. 

Как то так.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. :rolleyes:

 

Спасибо! Теперь парсит стабильно, супер!

Надіслати
Поділитися на інших сайтах


5 часов назад, Rassol2 сказал:

Нужно смотреть в чем причина. Конкретно у вас на сайте. 

Иногда прилетают ошибки от донора и модуль не продолжает парсить, такие ошибки легко исправить, или сделать что бы модуль пропускал такие страницы и не останавливался. Но я это го пока не делаю по причине желания отловить как можно больше разных ситуаций, и недочетов. 

Если будет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть причина. 
так же интересно что в логах в момент зависания модуля. 

Подтверждаю таже самая ситуация, постоянные остановки. Заметил остановки на битых ссылках.

Надіслати
Поділитися на інших сайтах


1 час назад, Veetkam сказал:

Подтверждаю таже самая ситуация, постоянные остановки. Заметил остановки на битых ссылках.

Скачайте модуль сейчас и обновитесь. 
Если ошибка останется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Обновление. 
Внесено несколько исправлений. В том числе много исправлений связанных с остановкой парсинга. 
 

  • +1 2
Надіслати
Поділитися на інших сайтах

В 31.01.2019 в 16:37, Rassol2 сказал:

Скачайте модуль сейчас и обновитесь. 
Если ошибка останется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

Да я пока на локалке тесты провожу, на рабочий хост рановато ставить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-остановки реже стали, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

Надіслати
Поділитися на інших сайтах


17 часов назад, Veetkam сказал:

Да я пока на локалке тесты провожу, на рабочий хост рановато ставить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-остановки реже стали, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

Это после обновления до версии 1.3.2

  • +1 1
Надіслати
Поділитися на інших сайтах

1 минуту назад, Veetkam сказал:

да, щас тестил, таже проблема. Использую php 7.2 ну не думаю, что это вызывает проблему.

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

  • +1 1
Надіслати
Поділитися на інших сайтах

2 часа назад, Rassol2 сказал:

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

Надіслати
Поділитися на інших сайтах


11 часов назад, Veetkam сказал:

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

странно данная ошибка исправлена в той версии модуля что сейчас загружена на форум. 
Перегрузите и обновте ошибки быть не должно.

Если будет тогда напишите мне в лс доступ к вашему магазину и я попробую найти причину и исправить. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Спасибо за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Ну или хотя бы, как вариант, при выборе названия границы через "Выбор границы парсинга", автоматом пусть бы подхватывалась [0] ссылка с выключенным "Привью сайта".

 

"Предпросмотр" границы не должен работать, когда не указано явно "Название границ".

"Привью сайта" не должно работать, когда не указано явно "Название границ". Лучше ставить везде "защиту от дурака"...

 

Иногда бывают случаи, что необходимо посмотреть не любую страницу из спарсенных, а проверить конкретную страницу. Может не помешал бы поиск или явное указание страницы, чтобы дальше все проверки ("Пред просмотрт границы" и "Пред просмотр" на следующей вкладке "Запуск парсинга данных") производились именно на конкретно указанной (зафиксированной) странице ?

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


16 минут назад, Axelenz сказал:

Спасибо за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Здравствуйте. 
Да можно, но тогда страница будет дольше грузится. И что выводить когда пользователь еше не добавил ссылки для парсинга ? 
Так же и без пред просмотра можно добавлять границы парсинга. То есть можно в браузере делать просмотр кода а в модуль просто вставлять границы. 

Большой причины для добавления открытия страницы по умолчанию я не вижу. Тем более что иногда нужно посмотреть просто на границы парсинга и их значения без инспекции кода. А если добавить страницу по умолчанию, всегда нужно будет ждать загрузку страницы. 
Как то так. 

А на данный момент если хотите настраивать с пред просмотром, нажали на ссылку и получили результат. 

  • +1 1
Надіслати
Поділитися на інших сайтах

2 минуты назад, Zetx сказал:

Добрый вечер!

Как обстоят дела с парсингом сайтов на пром.юа? 

на быструю вскидку парсинг работает на проме.
http://joxi.ru/82QQRjoswyW4x2

  • +1 1
Надіслати
Поділитися на інших сайтах

22 минуты назад, Zetx сказал:

в стоке или с прокси клиентами?

в стоке. Модуль еше не поддерживает работа с прокси.
Не исключаю какие то действия со стороны пром юа что бы помешать парсингу.  

  • +1 1
Надіслати
Поділитися на інших сайтах

57 минут назад, olga79 сказал:

Все получилось. Теперь вопрос, куда сам прайс лег? Откуда его скачивать?))

 

Всё находится в папке: /domains/Ваш_сайт/public_html/admin/uploads/

 

  • +1 1
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.