[Поддержка] SimplePars - Універсальний парсер для ІМ

[mirek]

  В 23.08.2023 в 23:01, Rassol2 сказав:

записать ссылку в список на парсинг

Expand  

Спасибо. Очевидное ведь. Как можно было не понять самому

 

Но вот интересный вопрос. А если код для сравнения находится на сайте-приемнике в названии? Парсер может такое обработать? То есть в этом случае код надо разобрать не только с донора но  и на приемнике, что-б их можно было сравнить

[partshez]

  В 01.09.2023 в 04:04, mirek сказав:

Спасибо. Очевидное ведь. Как можно было не понять самому

 

Но вот интересный вопрос. А если код для сравнения находится на сайте-приемнике в названии? Парсер может такое обработать? То есть в этом случае код надо разобрать не только с донора но  и на приемнике, что-б их можно было сравнить

Expand  

Или идентификатором выбрать Название, если сопадает. Или на нашем сайте записать код в отдельное поле и сравнивать по этому полю. 

https://simplepars.top/index.php?page=note&n=40

Или, как пишет автор, использовать свой скрипт

[mirek]

@partshez Спасибо  Я знал о такой возможности как использовать свой скрипт. Но думал может есть какой-то штатный способ разобрать строку. В данном случае не надо разбирать HTML

[partshez]

В проекте более 1 миллиона ссылок на товар. Запустил парсинг. По крон работает Парсинг в ИМ, товары загружаются нормально. При попытке открыть данный проект вижу ошибку, проект не открывается. 

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 180075520 bytes) in /var/www/www-root/data/www/xxxxxxxx/system/library/db/mysqli.php on line 19

 

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

 

 

Змінено 1 вересня 2023 користувачем partshez

[Vetlucky777]

  В 01.09.2023 в 07:19, partshez сказав:

В проекте более 1 миллиона ссылок на товар. Запустил парсинг. По крон работает Парсинг в ИМ, товары загружаются нормально. При попытке открыть данный проект вижу ошибку, проект не открывается. 

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 180075520 bytes) in /var/www/www-root/data/www/xxxxxxxx/system/library/db/mysqli.php on line 19

 

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

 

 

Expand  

на хостинге попробуйте увеличить memory_limit в настройках php возможно в этом проблема 

[partshez]

  В 01.09.2023 в 08:22, Vetlucky777 сказав:

на хостинге попробуйте увеличить memory_limit в настройках php возможно в этом проблема 

Expand  

По крон задание работает без проблем. Товар загружается в 5 потоков.  Значит, памяти для обработки хостингом хватает, насколько я понимаю. 

Не хватает памяти для работы данного проекта в Симплпарс. Не открывается проект.

Ждем, что автор скажет

[Axelenz]

  В 01.09.2023 в 07:19, partshez сказав:

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

Expand  

По ссылке можно найти такой ответ и что следует дальше делать. Но без информации c php.ini трудно что-то предполагать... и что за тарифный план, насколько он позволяет разогнаться ?

 

PHP ошибка Fatal Error. Как решить проблему?

 

  Показати вміст

 

Я себе на локалке поставил, например...

Змінено 1 вересня 2023 користувачем Axelenz

[partshez]

  В 01.09.2023 в 09:52, Axelenz сказав:

По ссылке можно найти такой ответ и что следует дальше делать. Но без информации c php.ini трудно что-то предполагать... и что за тарифный план, насколько он позволяет разогнаться ?

 

PHP ошибка Fatal Error. Как решить проблему?

 

  Показати вміст

 

Я себе на локалке поставил, например...

Expand  

Всем спасибо! Решают вопрос спецы, работающие с этим сайтом. Там вопрос не только в memory_limit, наверное. Посоветовал я увеличить все возможные лимиты. Показал, где они находятся. Мое дело - парсинг. Товар загружается, остальное со своим хостингом решает хозяин. Не хочу трогать настройки чужого хостинга

[Rassol2]

  В 01.09.2023 в 10:08, partshez сказав:

Всем спасибо! Решают вопрос спецы, работающие с этим сайтом. Там вопрос не только в memory_limit, наверное. Посоветовал я увеличить все возможные лимиты. Показал, где они находятся. Мое дело - парсинг. Товар загружается, остальное со своим хостингом решает хозяин. Не хочу трогать настройки чужого хостинга

Expand  

@Vetlucky777 Он вам дал правильный ответ. Недостаток оперативной памяти. Причем не на сервере а под выполнение php
И на это могут быть разные причины.
Чаше всего это две причины.
1) Парсинг xml большого размера, да еше и с настройкой границы парсинга, где будет пару миллионов в значений повторяющейся границы.
2) Часто пользователи у которых 200 000 - 500 000 ссылок, желают увидеть все ссылки сразу и выбирают у себя показать 1 000 000 ссылок в проекте. И если озу мало то модуль запросит эти ссылки но получив их от базы данных уже не проглотит. Нужно повышать лимит.

[nikoshot]

Подскажите что может быть или я что то пропустил..

На сайте настроено 6 проектов парсинга.. все работает четко..

Несколько дней назад добавил еще один проект, а сегодня захожу и там пишет что ожидает первый запуск.. т.е он несколько дней не работает

Проверяю настройки вроде все норм.. подскажите куда смотреть?

При том что 7 проект это точно такой же как и 2..
я просто решил сделать два раза обновление первый раз ночью а второй днем.. но вот то  что днем он почему то не запускается..

[partshez]

Ответ ниже

Змінено 3 вересня 2023 користувачем partshez

[partshez]

  В 03.09.2023 в 09:41, nikoshot сказав:

Подскажите что может быть или я что то пропустил..

На сайте настроено 6 проектов парсинга.. все работает четко..

Несколько дней назад добавил еще один проект, а сегодня захожу и там пишет что ожидает первый запуск.. т.е он несколько дней не работает

Проверяю настройки вроде все норм.. подскажите куда смотреть?

При том что 7 проект это точно такой же как и 2..
я просто решил сделать два раза обновление первый раз ночью а второй днем.. но вот то  что днем он почему то не запускается..

Expand  

Первое. Ваши проекты последний раз отработали 28 августа, а сейчас сентябрь. Скорее всего крон отключен или некорректно настроен на хостинге. Второе. Для этих заданий проверьте таймаут. Можно выставить 4

[nikoshot]

  В 03.09.2023 в 10:31, partshez сказав:

Первое. Ваши проекты последний раз отработали 28 августа, а сейчас сентябрь. Скорее всего крон отключен или некорректно настроен на хостинге. Второе. Для этих заданий проверьте таймаут. Можно выставить 4

Expand  

Проверил на хосте все норм.. оказалось все проще.. я когда настраивал новый крон то перед этим выключил все кроны кнопкой. сейчас включил и все должно быть норм....

Наблюдаю, всем спасибо!

[caest16]

приветствую.
У меня вопрос, есть 4 xml ссылки , в одной категории, в одной товар, в одной опции товара, в одной картинки. 
подойдет ли мне ваш модуль?

Змінено 5 вересня 2023 користувачем caest16

[Rassol2]

  В 05.09.2023 в 15:42, caest16 сказав:

приветствую.
У меня вопрос, есть 4 xml ссылки , в одной категории, в одной товар, в одной опции товара, в одной картинки. 
подойдет ли мне ваш модуль?

Expand  

Здравствуйте.
Суть вопроса не раскрыта от слова вообще.
Отвечаю в лоб.

Модуль подойдет любому у кого есть опенкар версии моложе 2. Модуль прекрасно установится и будет работать.

Все остальное можете проверить на демо сайте.

https://simplepars.top/index.php?page=note&n=23

[btaurus]

Добрый день!
Парсер не видит ссылки так как они имеют такой вид (скрин приложил). Подскажите, как правильно настроить?

[Rassol2]

  В 07.09.2023 в 08:19, btaurus сказав:

Добрый день!
Парсер не видит ссылки так как они имеют такой вид (скрин приложил). Подскажите, как правильно настроить?

Expand  

Ну уверен что парсер не видит ссылку.
по скришотам не понятно какая страница скармливалась модулю и какой код был в этой странице.
Откройте ту страницу что вы показали на первом скришоте в разделе настройки границы парсинга и посмотрите какой там код. Что донор отдал модулю.

[btaurus]

  В 07.09.2023 в 08:25, Rassol2 сказав:

Ну уверен что парсер не видит ссылку.
по скришотам не понятно какая страница скармливалась модулю и какой код был в этой странице.
Откройте ту страницу что вы показали на первом скришоте в разделе настройки границы парсинга и посмотрите какой там код. Что донор отдал модулю.

Expand  

Спасибо, разобрался. Хорошего дня!

[Rassol2]

  В 07.09.2023 в 08:29, btaurus сказав:

Спасибо, разобрался. Хорошего дня!

Expand  

не за что.
Всего наилучшего.

[btaurus]

Доброго дня еще раз!
Столкнулся на другом сайте с такой проблемой: в браузере открываю страницу- получаю 30 товаров. Загружаю парсером - только 20 товаров. Как будто в браузере пагинация срабатывает. 

Как с этим бороться?

[VladStel]

подскажите, в парсинг  в CSV  не добавляются колонки  по кнопке "+", в  чем может быть причина ? в других настройках добавляет.

[Rassol2]

  В 10.09.2023 в 10:03, VladStel сказав:

подскажите, в парсинг  в CSV  не добавляются колонки  по кнопке "+", в  чем может быть причина ? в других настройках добавляет.

Expand  

Это загадка даже для меня.
А к примеру в разделе допуски париснга добавляются колонки ?

[Rassol2]

  В 08.09.2023 в 13:47, btaurus сказав:

Доброго дня еще раз!
Столкнулся на другом сайте с такой проблемой: в браузере открываю страницу- получаю 30 товаров. Загружаю парсером - только 20 товаров. Как будто в браузере пагинация срабатывает. 

Как с этим бороться?

Expand  

Попробовать найти в коде страницы ссылку которая содержит слово page
и попробовать прогрузить такую ссылку через модуль. Если page=2 даст вам другие товары, тогда собрать или генерировать все страницы пагинации.
Если пагинация работает исключительно через js тогда собирать все ссылки через карту сайта. Так как модуль не может обработать js код.

[VladStel]

это тоже перестало быть активным

[VladStel]

  В 10.09.2023 в 10:29, VladStel сказав:

это тоже перестало быть активным

Expand  

создал новую настройку , добавил сразу полей в парсинг в CSV, потом заполнил настройки парсинга и снова нет возможности добавить поле