[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Я сейчас подыму неприятную тему, давно назревает но как то не хотелось в это лесть.

Ребята, просьба.
Ну если вы знаете как помочь подскажите пользователю, дайте ответ.

Не давайте полумеры.

Вот куки, а точнее пишите в лс договоримся. Ну не работает это так, и выглядит так себе.

PS. Я не конкретно про пост выше, я вообще в общем. у нас такого больше чем хотелось бы.

Вы же когда пишите мне, в личку или тут, что бы я вам помог я же не пишу "читай инструкцию а если нет давай договариваться".

Кто пришел за помощью ему нужна помощь, кто пришел за заказом он закаже на платной основе.
Но если вы будете помогать друг другу будет видно кто шарит и в случаи чего кому писать за заказом.

Если есть потребность всегда можно подписаться на эту ветку
https://opencartforum.com/forum/53-napolnenie-magazina/

И отвечать там на запросы.

И что бы не быть многословным я лично так работал год 4 на модуле АОП.
 

[Rassol2]

Если у кого то есть эксенль документ которым вы заполняете интернет магазин, желательно со всеми данными по типу
Название
Цена
Артикул
Фото (не важно в как они записаны)
Может ссылка на донора быть.
Атрибуты (было бы здорово)
Категории (не важно в как они записаны)

Скиньте такие прайсы сюда в ветку модуля. Только не в лс, я там потеряю 100% интересно для изучения нынешних трендов.
Подумываю прикрутить наполнение магазина с csv файлов.

[yurok79]

29.02.2024 в 12:07, Rassol2 сказал:

Вот добавьте куку.

Дякую)

[Stackand]

Може хтось стикався, і може дати пораду. При натиснені на кнопки "Парсинг в ИМ" , "редактор товара", "Менеджер УРЛ" сайт зависає і видає 503 помилку. 

Такий же модуль є на іншому сайті, скопіював налаштування сервера і php 1в1, але резульату не дало, так само як і оновлення до версії 4-9 -9.

 

 

 

[vikvol]

Доброго дня. в мене не працює оператор {date}

 

Вирішив зробити налаштування по інструкції https://simplepars.top/index.php?page=note&n=41 але на виході отримую таку картинку хоча сьогодні оновлення товарів були

Цитата

 

Цитата

 

 

 

версія SimplePars v4.9-9_beta

Змінено 4 березня користувачем vikvol

[Axelenz]

04.03.2024 в 17:22, vikvol сказал:

Доброго дня. в мене не працює оператор {date}

В Вашей версии уже оператор {sdate} используйте именно его.

https://simplepars.top/index.php?page=note&n=54

[Rassol2]

04.03.2024 в 08:22, Stackand сказал:

Може хтось стикався, і може дати пораду. При натиснені на кнопки "Парсинг в ИМ" , "редактор товара", "Менеджер УРЛ" сайт зависає і видає 503 помилку. 

Такий же модуль є на іншому сайті, скопіював налаштування сервера і php 1в1, але резульату не дало, так само як і оновлення до версії 4-9 -9.

 

 

 

Здравствуйте.
1) Зайди в логи движка опенкарт и посмотреть что написано в логах ошибок, в строках где есть слово simplepars
2) Либо выполнить inst.php и убедится что все отработало без ошибки.
 

[heagar]

Подскажите пожалуйста у меня Обработчик XML почему-то зависает обработав только 15 ссылок. Из-за чего такое может происходить?

 

Скрытый текст

 

 

 

Обнаружил что там один файл весит аж 96 мегабайт. Похоже это проблема? Парсер не сможет обработать такой файл? Можно что-то сделать чтобы он смог?

Змінено 5 березня користувачем heagar

[partshez]

29.02.2024 в 15:46, Rassol2 сказал:

Если у кого то есть эксенль документ которым вы заполняете интернет магазин, желательно со всеми данными по типу
Название
Цена
Артикул
Фото (не важно в как они записаны)
Может ссылка на донора быть.
Атрибуты (было бы здорово)
Категории (не важно в как они записаны)

Скиньте такие прайсы сюда в ветку модуля. Только не в лс, я там потеряю 100% интересно для изучения нынешних трендов.
Подумываю прикрутить наполнение магазина с csv файлов.

Ловите два прайса

аскания прайс100124.xls export-products-19-02-24_14-35-39.xlsx

[partshez]

05.03.2024 в 03:51, heagar сказал:

Подскажите пожалуйста у меня Обработчик XML почему-то зависает обработав только 15 ссылок. Из-за чего такое может происходить?

 

  Показать содержимое

 

 

 

Обнаружил что там один файл весит аж 96 мегабайт. Похоже это проблема? Парсер не сможет обработать такой файл? Можно что-то сделать чтобы он смог?

Попробуйте увеличить время запроса. https://prnt.sc/Z75rGjfsukK7  Вкладка Настройки запросов. Максимальное время выполнения запроса. 

Посмотрите, что написано в Логах. 

Как увеличить время выполнения скрипта больше чем доступно в стандарте модуля.

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=227

[vikvol]

В 04.03.2024 в 17:29, Axelenz сказав:

В Вашей версии уже оператор {sdate} используйте именно его.

https://simplepars.top/index.php?page=note&n=54

 

не працює (

 

 

Цитата

 

[Axelenz]

05.03.2024 в 10:05, vikvol сказал:

не працює (

 

Мабуть тому, що Ви не уважно дивилися на зображення від автора, де в нього відмітка №2 стоїть:

Отрицание (не равно)

 

А нижче розписано по пунктам:

Цитата

В редакторе товаров в фильтрах выбираем.

1. Отфильтровать товары по дате.
2. Где значение не будет равно. Отрицание (не равно)

 

Змінено 5 березня користувачем Axelenz

[vikvol]

В 05.03.2024 в 10:38, Axelenz сказав:

 

Мабуть тому, що Ви не уважно дивилися на зображення від автора, де в нього відмітка №2 стоїть:

Отрицание (не равно)

 

А нижче розписано по пунктам:

 

 

Чому ж не уважно. В мене потреба якраз вивести товари які були оновлені сьогодні. тому даний набір напевно правильний.

Проблема також в тому, що коли я ставлю вибір на Отрицание (не равно)  то отримую відображення всіх товарів які були оновлені сьогодні і які не були оновлені сьогодні 

 

UPD.

 

Питання знято.

Не працювала змінна коли копіпастив її з сайту автора і вставляв в поле (певно попадали в копіювання ще якісь скриті символи)

Коли прописав ручками змінну - все запрацювало.

Всім дякую за допомогу

Змінено 5 березня користувачем vikvol

[Vetlucky777]

подскажите, делаю парсинг в CSV. как узнать прямую ссылку к CSV ? чтоб не заходить постоянно в админку, нужно по прямой ссылке скачивать файл. 

так понимаю CSV сохранятся в папках на хостинге, искал не нашел. 

[partshez]

06.03.2024 в 11:20, Vetlucky777 сказал:

подскажите, делаю парсинг в CSV. как узнать прямую ссылку к CSV ? чтоб не заходить постоянно в админку, нужно по прямой ссылке скачивать файл. 

так понимаю CSV сохранятся в папках на хостинге, искал не нашел. 

https://prnt.sc/qVT-EhvTe9qT  Корень сайта. Админ - аплоудс...     https://prnt.sc/l1zBcmPfS8n1

https://домен/admin/uploads/название_файла.csv

Змінено 6 березня користувачем partshez

[Vetlucky777]

06.03.2024 в 12:09, partshez сказал:

https://prnt.sc/qVT-EhvTe9qT  Корень сайта. Админ - аплоудс...     https://prnt.sc/l1zBcmPfS8n1

https://домен/admin/uploads/название_файла.csv

спасибо большое! как я сам не догадался глянуть в эту папку 

[partshez]

Вопрос от обратного. Посоветуйте варианты ЗАЩИТЫ сайта от парсинга. Например, автоматическая блокировка большого количества запросов с одного ip. Т.е. мы часто сталкиваемся с обходом такой защиты на сайтах доноров. Как защитить свой сайт от парсинга?

[Vetlucky777]

07.03.2024 в 10:50, partshez сказал:

Вопрос от обратного. Посоветуйте варианты ЗАЩИТЫ сайта от парсинга. Например, автоматическая блокировка большого количества запросов с одного ip. Т.е. мы часто сталкиваемся с обходом такой защиты на сайтах доноров. Как защитить свой сайт от парсинга?

сам с таким не сталкивался, но можно на хостинге посмотреть с какого айпи идет много запросов и заблокировать доступ. можно подключить к сайту cloudflare и блочить через него.  в  cloudflare есть разные режимы защиты в беспл тарифе и если много запросов с одного айпи то он должен блочить 

[heahar]

Здравствуйте, 

У меня Скрипт закачивает xml файлы на хостинг, а SimplePars распарсивает товары с этих файлов по крону на сайт.

 

В настройках крона у меня стоит два действия

1. На Обработчик XML

2. На Парсинг и ИМ

 

Если в ТаймАУТ поставить 0 или * то как только Обработчик XML заканчивает свою работу, то начинает с себя же по-новой не дав начаться второму процессу "Парсинг и ИМ". 

Если я укажу в поле тайминга 1 час, то второй процесс выполнится только 1 час, а потом первый цикл всё сбросит и начнёт нарезать ссылки по-новой. 

 

Как сделать, чтобы первый процесс начинался только после окончания второго при условии, что нет возможности рассчитать время второго процесса? (мне нужно чтобы обновление шло нон-стопом как можно чаще)

 

Скрытый текст

 

Заранее спасибо за ответ🙏

[partshez]

16.03.2024 в 07:25, heahar сказал:

Здравствуйте, 

У меня Скрипт закачивает xml файлы на хостинг, а SimplePars распарсивает товары с этих файлов по крону на сайт.

 

В настройках крона у меня стоит два действия

1. На Обработчик XML

2. На Парсинг и ИМ

 

Если в ТаймАУТ поставить 0 или * то как только Обработчик XML заканчивает свою работу, то начинает с себя же по-новой не дав начаться второму процессу "Парсинг и ИМ". 

Если я укажу в поле тайминга 1 час, то второй процесс выполнится только 1 час, а потом первый цикл всё сбросит и начнёт нарезать ссылки по-новой. 

 

Как сделать, чтобы первый процесс начинался только после окончания второго при условии, что нет возможности рассчитать время второго процесса? (мне нужно чтобы обновление шло нон-стопом как можно чаще)

 

  Скрыть содержимое

 

Заранее спасибо за ответ🙏

Для Обработчика. 1 поток. Часы 0-2. Таймаут 2

Для Парсинг в ИМ. 5 потоков. Часы 0-12. Таймаут 12

Если Парсинг в ИМ не успеет отработать сегодня, увеличить для него Часы и Таймаут. Это настройки, чтобы задания отрабатывали  только один раз в сутки.

[yurok79]

Вопрос к автору!

Не срабатывает кнопка "Добавить проверочное поле" просто ничего не происходит. В чем может быть проблема?

[Rassol2]

18.03.2024 в 13:57, yurok79 сказал:

Вопрос к автору!

Не срабатывает кнопка "Добавить проверочное поле" просто ничего не происходит. В чем может быть проблема?

Апостроф в имени категорий или бренда. Перепроверьте все на наличие спец символов. 

[yurok79]

18.03.2024 в 21:04, Rassol2 сказал:

Апостроф в имени категорий или бренда. Перепроверьте все на наличие спец символов. 

А где именно проверять? В списке категорий и брендов магазина или в настройках модуля?

Змінено 18 березня користувачем yurok79

[yurok79]

Апостроф был в названии 1 категории убрал не помогло. Или не там смотрю?

[Rassol2]

18.03.2024 в 14:19, yurok79 сказал:

Апостроф был в названии 1 категории убрал не помогло. Или не там смотрю?

там смотрите, в категориях и в ппроизводителях. А и еше можете глянуть в названиях границы парсинга.
В категориях и призводителях это было пофикшнно (но на некоторых вериях php еше всплывает)
Так же имена границ парсинга проверьте.