[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Я сейчас подыму неприятную тему, давно назревает но как то не хотелось в это лесть.

Ребята, просьба.
Ну если вы знаете как помочь подскажите пользователю, дайте ответ.

Не давайте полумеры.

Вот куки, а точнее пишите в лс договоримся. Ну не работает это так, и выглядит так себе.

PS. Я не конкретно про пост выше, я вообще в общем. у нас такого больше чем хотелось бы.

Вы же когда пишите мне, в личку или тут, что бы я вам помог я же не пишу "читай инструкцию а если нет давай договариваться".

Кто пришел за помощью ему нужна помощь, кто пришел за заказом он закаже на платной основе.
Но если вы будете помогать друг другу будет видно кто шарит и в случаи чего кому писать за заказом.

Если есть потребность всегда можно подписаться на эту ветку
https://opencartforum.com/forum/53-napolnenie-magazina/

И отвечать там на запросы.

И что бы не быть многословным я лично так работал год 4 на модуле АОП.
 

[Rassol2]

Если у кого то есть эксенль документ которым вы заполняете интернет магазин, желательно со всеми данными по типу
Название
Цена
Артикул
Фото (не важно в как они записаны)
Может ссылка на донора быть.
Атрибуты (было бы здорово)
Категории (не важно в как они записаны)

Скиньте такие прайсы сюда в ветку модуля. Только не в лс, я там потеряю 100% интересно для изучения нынешних трендов.
Подумываю прикрутить наполнение магазина с csv файлов.

[yurok79]

  В 29.02.2024 в 10:07, Rassol2 сказав:

Вот добавьте куку.

Expand  

Дякую)

[Stackand]

Може хтось стикався, і може дати пораду. При натиснені на кнопки "Парсинг в ИМ" , "редактор товара", "Менеджер УРЛ" сайт зависає і видає 503 помилку. 

Такий же модуль є на іншому сайті, скопіював налаштування сервера і php 1в1, але резульату не дало, так само як і оновлення до версії 4-9 -9.

 

 

 

[vikvol]

Доброго дня. в мене не працює оператор {date}

 

Вирішив зробити налаштування по інструкції https://simplepars.top/index.php?page=note&n=41 але на виході отримую таку картинку хоча сьогодні оновлення товарів були

  Цитата

 

  Цитата

Expand  

 

Expand  

 

 

версія SimplePars v4.9-9_beta

Змінено 4 березня 2024 користувачем vikvol

[Axelenz]

  В 04.03.2024 в 15:22, vikvol сказав:

Доброго дня. в мене не працює оператор {date}

Expand  

В Вашей версии уже оператор {sdate} используйте именно его.

https://simplepars.top/index.php?page=note&n=54

[Rassol2]

  В 04.03.2024 в 14:22, Stackand сказав:

Може хтось стикався, і може дати пораду. При натиснені на кнопки "Парсинг в ИМ" , "редактор товара", "Менеджер УРЛ" сайт зависає і видає 503 помилку. 

Такий же модуль є на іншому сайті, скопіював налаштування сервера і php 1в1, але резульату не дало, так само як і оновлення до версії 4-9 -9.

 

 

 

Expand  

Здравствуйте.
1) Зайди в логи движка опенкарт и посмотреть что написано в логах ошибок, в строках где есть слово simplepars
2) Либо выполнить inst.php и убедится что все отработало без ошибки.
 

[heagar]

Подскажите пожалуйста у меня Обработчик XML почему-то зависает обработав только 15 ссылок. Из-за чего такое может происходить?

 

  Показати вміст

 

 

 

Обнаружил что там один файл весит аж 96 мегабайт. Похоже это проблема? Парсер не сможет обработать такой файл? Можно что-то сделать чтобы он смог?

Змінено 5 березня 2024 користувачем heagar

[partshez]

  В 29.02.2024 в 13:46, Rassol2 сказав:

Если у кого то есть эксенль документ которым вы заполняете интернет магазин, желательно со всеми данными по типу
Название
Цена
Артикул
Фото (не важно в как они записаны)
Может ссылка на донора быть.
Атрибуты (было бы здорово)
Категории (не важно в как они записаны)

Скиньте такие прайсы сюда в ветку модуля. Только не в лс, я там потеряю 100% интересно для изучения нынешних трендов.
Подумываю прикрутить наполнение магазина с csv файлов.

Expand  

Ловите два прайса

аскания прайс100124.xlsFetching info... export-products-19-02-24_14-35-39.xlsxFetching info...

[partshez]

  В 05.03.2024 в 01:51, heagar сказав:

Подскажите пожалуйста у меня Обработчик XML почему-то зависает обработав только 15 ссылок. Из-за чего такое может происходить?

 

  Показати вміст

 

 

 

Обнаружил что там один файл весит аж 96 мегабайт. Похоже это проблема? Парсер не сможет обработать такой файл? Можно что-то сделать чтобы он смог?

Expand  

Попробуйте увеличить время запроса. https://prnt.sc/Z75rGjfsukK7  Вкладка Настройки запросов. Максимальное время выполнения запроса. 

Посмотрите, что написано в Логах. 

Как увеличить время выполнения скрипта больше чем доступно в стандарте модуля.

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=227

[vikvol]

  В 04.03.2024 в 15:29, Axelenz сказав:

В Вашей версии уже оператор {sdate} используйте именно его.

https://simplepars.top/index.php?page=note&n=54

Expand  

 

не працює (

 

 

  Цитата

Expand  

 

[Axelenz]

  В 05.03.2024 в 08:05, vikvol сказав:

не працює (

Expand  

 

Мабуть тому, що Ви не уважно дивилися на зображення від автора, де в нього відмітка №2 стоїть:

Отрицание (не равно)

 

А нижче розписано по пунктам:

  Цитата

В редакторе товаров в фильтрах выбираем.

1. Отфильтровать товары по дате.
2. Где значение не будет равно. Отрицание (не равно)

Expand  

 

Змінено 5 березня 2024 користувачем Axelenz

[vikvol]

  В 05.03.2024 в 08:38, Axelenz сказав:

 

Мабуть тому, що Ви не уважно дивилися на зображення від автора, де в нього відмітка №2 стоїть:

Отрицание (не равно)

 

А нижче розписано по пунктам:

 

Expand  

 

Чому ж не уважно. В мене потреба якраз вивести товари які були оновлені сьогодні. тому даний набір напевно правильний.

Проблема також в тому, що коли я ставлю вибір на Отрицание (не равно)  то отримую відображення всіх товарів які були оновлені сьогодні і які не були оновлені сьогодні 

 

UPD.

 

Питання знято.

Не працювала змінна коли копіпастив її з сайту автора і вставляв в поле (певно попадали в копіювання ще якісь скриті символи)

Коли прописав ручками змінну - все запрацювало.

Всім дякую за допомогу

Змінено 5 березня 2024 користувачем vikvol

[Vetlucky777]

подскажите, делаю парсинг в CSV. как узнать прямую ссылку к CSV ? чтоб не заходить постоянно в админку, нужно по прямой ссылке скачивать файл. 

так понимаю CSV сохранятся в папках на хостинге, искал не нашел. 

[partshez]

  В 06.03.2024 в 09:20, Vetlucky777 сказав:

подскажите, делаю парсинг в CSV. как узнать прямую ссылку к CSV ? чтоб не заходить постоянно в админку, нужно по прямой ссылке скачивать файл. 

так понимаю CSV сохранятся в папках на хостинге, искал не нашел. 

Expand  

https://prnt.sc/qVT-EhvTe9qT  Корень сайта. Админ - аплоудс...     https://prnt.sc/l1zBcmPfS8n1

https://домен/admin/uploads/название_файла.csv

Змінено 6 березня 2024 користувачем partshez

[Vetlucky777]

  В 06.03.2024 в 10:09, partshez сказав:

https://prnt.sc/qVT-EhvTe9qT  Корень сайта. Админ - аплоудс...     https://prnt.sc/l1zBcmPfS8n1

https://домен/admin/uploads/название_файла.csv

Expand  

спасибо большое! как я сам не догадался глянуть в эту папку 

[partshez]

Вопрос от обратного. Посоветуйте варианты ЗАЩИТЫ сайта от парсинга. Например, автоматическая блокировка большого количества запросов с одного ip. Т.е. мы часто сталкиваемся с обходом такой защиты на сайтах доноров. Как защитить свой сайт от парсинга?

[Vetlucky777]

  В 07.03.2024 в 08:50, partshez сказав:

Вопрос от обратного. Посоветуйте варианты ЗАЩИТЫ сайта от парсинга. Например, автоматическая блокировка большого количества запросов с одного ip. Т.е. мы часто сталкиваемся с обходом такой защиты на сайтах доноров. Как защитить свой сайт от парсинга?

Expand  

сам с таким не сталкивался, но можно на хостинге посмотреть с какого айпи идет много запросов и заблокировать доступ. можно подключить к сайту cloudflare и блочить через него.  в  cloudflare есть разные режимы защиты в беспл тарифе и если много запросов с одного айпи то он должен блочить 

[heahar]

Здравствуйте, 

У меня Скрипт закачивает xml файлы на хостинг, а SimplePars распарсивает товары с этих файлов по крону на сайт.

 

В настройках крона у меня стоит два действия

1. На Обработчик XML

2. На Парсинг и ИМ

 

Если в ТаймАУТ поставить 0 или * то как только Обработчик XML заканчивает свою работу, то начинает с себя же по-новой не дав начаться второму процессу "Парсинг и ИМ". 

Если я укажу в поле тайминга 1 час, то второй процесс выполнится только 1 час, а потом первый цикл всё сбросит и начнёт нарезать ссылки по-новой. 

 

Как сделать, чтобы первый процесс начинался только после окончания второго при условии, что нет возможности рассчитать время второго процесса? (мне нужно чтобы обновление шло нон-стопом как можно чаще)

 

  Показати вміст

 

Заранее спасибо за ответ🙏

[partshez]

  В 16.03.2024 в 05:25, heahar сказав:

Здравствуйте, 

У меня Скрипт закачивает xml файлы на хостинг, а SimplePars распарсивает товары с этих файлов по крону на сайт.

 

В настройках крона у меня стоит два действия

1. На Обработчик XML

2. На Парсинг и ИМ

 

Если в ТаймАУТ поставить 0 или * то как только Обработчик XML заканчивает свою работу, то начинает с себя же по-новой не дав начаться второму процессу "Парсинг и ИМ". 

Если я укажу в поле тайминга 1 час, то второй процесс выполнится только 1 час, а потом первый цикл всё сбросит и начнёт нарезать ссылки по-новой. 

 

Как сделать, чтобы первый процесс начинался только после окончания второго при условии, что нет возможности рассчитать время второго процесса? (мне нужно чтобы обновление шло нон-стопом как можно чаще)

 

  Показати вміст

 

Заранее спасибо за ответ🙏

Expand  

Для Обработчика. 1 поток. Часы 0-2. Таймаут 2

Для Парсинг в ИМ. 5 потоков. Часы 0-12. Таймаут 12

Если Парсинг в ИМ не успеет отработать сегодня, увеличить для него Часы и Таймаут. Это настройки, чтобы задания отрабатывали  только один раз в сутки.

[yurok79]

Вопрос к автору!

Не срабатывает кнопка "Добавить проверочное поле" просто ничего не происходит. В чем может быть проблема?

[Rassol2]

  В 18.03.2024 в 18:57, yurok79 сказав:

Вопрос к автору!

Не срабатывает кнопка "Добавить проверочное поле" просто ничего не происходит. В чем может быть проблема?

Expand  

Апостроф в имени категорий или бренда. Перепроверьте все на наличие спец символов. 

[yurok79]

  В 18.03.2024 в 19:04, Rassol2 сказав:

Апостроф в имени категорий или бренда. Перепроверьте все на наличие спец символов. 

Expand  

А где именно проверять? В списке категорий и брендов магазина или в настройках модуля?

Змінено 18 березня 2024 користувачем yurok79

[yurok79]

Апостроф был в названии 1 категории убрал не помогло. Или не там смотрю?

[Rassol2]

  В 18.03.2024 в 19:19, yurok79 сказав:

Апостроф был в названии 1 категории убрал не помогло. Или не там смотрю?

Expand  

там смотрите, в категориях и в ппроизводителях. А и еше можете глянуть в названиях границы парсинга.
В категориях и призводителях это было пофикшнно (но на некоторых вериях php еше всплывает)
Так же имена границ парсинга проверьте.