[Поддержка] SimplePars - Универсальный парсер для ИМ

[mirek]

24.08.2023 в 02:01, Rassol2 сказал:

записать ссылку в список на парсинг

Спасибо. Очевидное ведь. Как можно было не понять самому

 

Но вот интересный вопрос. А если код для сравнения находится на сайте-приемнике в названии? Парсер может такое обработать? То есть в этом случае код надо разобрать не только с донора но  и на приемнике, что-б их можно было сравнить

[partshez]

01.09.2023 в 07:04, mirek сказал:

Спасибо. Очевидное ведь. Как можно было не понять самому

 

Но вот интересный вопрос. А если код для сравнения находится на сайте-приемнике в названии? Парсер может такое обработать? То есть в этом случае код надо разобрать не только с донора но  и на приемнике, что-б их можно было сравнить

Или идентификатором выбрать Название, если сопадает. Или на нашем сайте записать код в отдельное поле и сравнивать по этому полю. 

https://simplepars.top/index.php?page=note&n=40

Или, как пишет автор, использовать свой скрипт

[mirek]

@partshez Спасибо  Я знал о такой возможности как использовать свой скрипт. Но думал может есть какой-то штатный способ разобрать строку. В данном случае не надо разбирать HTML

[partshez]

В проекте более 1 миллиона ссылок на товар. Запустил парсинг. По крон работает Парсинг в ИМ, товары загружаются нормально. При попытке открыть данный проект вижу ошибку, проект не открывается. 

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 180075520 bytes) in /var/www/www-root/data/www/xxxxxxxx/system/library/db/mysqli.php on line 19

 

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

 

 

Змінено 1 вересня 2023 користувачем partshez

[Vetlucky777]

01.09.2023 в 10:19, partshez сказал:

В проекте более 1 миллиона ссылок на товар. Запустил парсинг. По крон работает Парсинг в ИМ, товары загружаются нормально. При попытке открыть данный проект вижу ошибку, проект не открывается. 

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 180075520 bytes) in /var/www/www-root/data/www/xxxxxxxx/system/library/db/mysqli.php on line 19

 

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

 

 

на хостинге попробуйте увеличить memory_limit в настройках php возможно в этом проблема 

[partshez]

01.09.2023 в 11:22, Vetlucky777 сказал:

на хостинге попробуйте увеличить memory_limit в настройках php возможно в этом проблема 

По крон задание работает без проблем. Товар загружается в 5 потоков.  Значит, памяти для обработки хостингом хватает, насколько я понимаю. 

Не хватает памяти для работы данного проекта в Симплпарс. Не открывается проект.

Ждем, что автор скажет

[Axelenz]

01.09.2023 в 10:19, partshez сказал:

Что и где нужно изменить? Про какую память идет речь? Изменить в файлах Симплпарс или в базе данных Опенкарт?

По ссылке можно найти такой ответ и что следует дальше делать. Но без информации c php.ini трудно что-то предполагать... и что за тарифный план, насколько он позволяет разогнаться ?

 

PHP ошибка Fatal Error. Как решить проблему?

 

Скрытый текст

 

Я себе на локалке поставил, например...

Змінено 1 вересня 2023 користувачем Axelenz

[partshez]

01.09.2023 в 12:52, Axelenz сказал:

По ссылке можно найти такой ответ и что следует дальше делать. Но без информации c php.ini трудно что-то предполагать... и что за тарифный план, насколько он позволяет разогнаться ?

 

PHP ошибка Fatal Error. Как решить проблему?

 

  Показать содержимое

 

Я себе на локалке поставил, например...

Всем спасибо! Решают вопрос спецы, работающие с этим сайтом. Там вопрос не только в memory_limit, наверное. Посоветовал я увеличить все возможные лимиты. Показал, где они находятся. Мое дело - парсинг. Товар загружается, остальное со своим хостингом решает хозяин. Не хочу трогать настройки чужого хостинга

[Rassol2]

01.09.2023 в 05:08, partshez сказал:

Всем спасибо! Решают вопрос спецы, работающие с этим сайтом. Там вопрос не только в memory_limit, наверное. Посоветовал я увеличить все возможные лимиты. Показал, где они находятся. Мое дело - парсинг. Товар загружается, остальное со своим хостингом решает хозяин. Не хочу трогать настройки чужого хостинга

@Vetlucky777 Он вам дал правильный ответ. Недостаток оперативной памяти. Причем не на сервере а под выполнение php
И на это могут быть разные причины.
Чаше всего это две причины.
1) Парсинг xml большого размера, да еше и с настройкой границы парсинга, где будет пару миллионов в значений повторяющейся границы.
2) Часто пользователи у которых 200 000 - 500 000 ссылок, желают увидеть все ссылки сразу и выбирают у себя показать 1 000 000 ссылок в проекте. И если озу мало то модуль запросит эти ссылки но получив их от базы данных уже не проглотит. Нужно повышать лимит.

[nikoshot]

Подскажите что может быть или я что то пропустил..

На сайте настроено 6 проектов парсинга.. все работает четко..

Несколько дней назад добавил еще один проект, а сегодня захожу и там пишет что ожидает первый запуск.. т.е он несколько дней не работает

Проверяю настройки вроде все норм.. подскажите куда смотреть?

При том что 7 проект это точно такой же как и 2..
я просто решил сделать два раза обновление первый раз ночью а второй днем.. но вот то  что днем он почему то не запускается..

[partshez]

Ответ ниже

Змінено 3 вересня 2023 користувачем partshez

[partshez]

03.09.2023 в 12:41, nikoshot сказал:

Подскажите что может быть или я что то пропустил..

На сайте настроено 6 проектов парсинга.. все работает четко..

Несколько дней назад добавил еще один проект, а сегодня захожу и там пишет что ожидает первый запуск.. т.е он несколько дней не работает

Проверяю настройки вроде все норм.. подскажите куда смотреть?

При том что 7 проект это точно такой же как и 2..
я просто решил сделать два раза обновление первый раз ночью а второй днем.. но вот то  что днем он почему то не запускается..

Первое. Ваши проекты последний раз отработали 28 августа, а сейчас сентябрь. Скорее всего крон отключен или некорректно настроен на хостинге. Второе. Для этих заданий проверьте таймаут. Можно выставить 4

[nikoshot]

03.09.2023 в 12:31, partshez сказал:

Первое. Ваши проекты последний раз отработали 28 августа, а сейчас сентябрь. Скорее всего крон отключен или некорректно настроен на хостинге. Второе. Для этих заданий проверьте таймаут. Можно выставить 4

Проверил на хосте все норм.. оказалось все проще.. я когда настраивал новый крон то перед этим выключил все кроны кнопкой. сейчас включил и все должно быть норм....

Наблюдаю, всем спасибо!

[caest16]

приветствую.
У меня вопрос, есть 4 xml ссылки , в одной категории, в одной товар, в одной опции товара, в одной картинки. 
подойдет ли мне ваш модуль?

Змінено 5 вересня 2023 користувачем caest16

[Rassol2]

05.09.2023 в 10:42, caest16 сказал:

приветствую.
У меня вопрос, есть 4 xml ссылки , в одной категории, в одной товар, в одной опции товара, в одной картинки. 
подойдет ли мне ваш модуль?

Здравствуйте.
Суть вопроса не раскрыта от слова вообще.
Отвечаю в лоб.

Модуль подойдет любому у кого есть опенкар версии моложе 2. Модуль прекрасно установится и будет работать.

Все остальное можете проверить на демо сайте.

https://simplepars.top/index.php?page=note&n=23

[btaurus]

Добрый день!
Парсер не видит ссылки так как они имеют такой вид (скрин приложил). Подскажите, как правильно настроить?

[Rassol2]

07.09.2023 в 03:19, btaurus сказал:

Добрый день!
Парсер не видит ссылки так как они имеют такой вид (скрин приложил). Подскажите, как правильно настроить?

Ну уверен что парсер не видит ссылку.
по скришотам не понятно какая страница скармливалась модулю и какой код был в этой странице.
Откройте ту страницу что вы показали на первом скришоте в разделе настройки границы парсинга и посмотрите какой там код. Что донор отдал модулю.

[btaurus]

07.09.2023 в 11:25, Rassol2 сказал:

Ну уверен что парсер не видит ссылку.
по скришотам не понятно какая страница скармливалась модулю и какой код был в этой странице.
Откройте ту страницу что вы показали на первом скришоте в разделе настройки границы парсинга и посмотрите какой там код. Что донор отдал модулю.

Спасибо, разобрался. Хорошего дня!

[Rassol2]

07.09.2023 в 03:29, btaurus сказал:

Спасибо, разобрался. Хорошего дня!

не за что.
Всего наилучшего.

[btaurus]

Доброго дня еще раз!
Столкнулся на другом сайте с такой проблемой: в браузере открываю страницу- получаю 30 товаров. Загружаю парсером - только 20 товаров. Как будто в браузере пагинация срабатывает. 

Как с этим бороться?

[VladStel]

подскажите, в парсинг  в CSV  не добавляются колонки  по кнопке "+", в  чем может быть причина ? в других настройках добавляет.

[Rassol2]

10.09.2023 в 05:03, VladStel сказал:

подскажите, в парсинг  в CSV  не добавляются колонки  по кнопке "+", в  чем может быть причина ? в других настройках добавляет.

Это загадка даже для меня.
А к примеру в разделе допуски париснга добавляются колонки ?

[Rassol2]

08.09.2023 в 08:47, btaurus сказал:

Доброго дня еще раз!
Столкнулся на другом сайте с такой проблемой: в браузере открываю страницу- получаю 30 товаров. Загружаю парсером - только 20 товаров. Как будто в браузере пагинация срабатывает. 

Как с этим бороться?

Попробовать найти в коде страницы ссылку которая содержит слово page
и попробовать прогрузить такую ссылку через модуль. Если page=2 даст вам другие товары, тогда собрать или генерировать все страницы пагинации.
Если пагинация работает исключительно через js тогда собирать все ссылки через карту сайта. Так как модуль не может обработать js код.

[VladStel]

это тоже перестало быть активным

[VladStel]

10.09.2023 в 13:29, VladStel сказал:

это тоже перестало быть активным

создал новую настройку , добавил сразу полей в парсинг в CSV, потом заполнил настройки парсинга и снова нет возможности добавить поле