[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 час назад, SiteMix сказал:

Очевидно, пропущена двойка. На других страницах класс правильный "col-md-12".

Поправлю спасибо.
 

1 час назад, SiteMix сказал:

1.2. При заполнении данных и переходе на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

Это не получится. Поскольку у АОП это одна страница и разные вкладки. У меня же это разные страницы. А переход межу ними в виде вкладки. 
Это решает другие более важные проблемы. 
1. Скорость рендеринга страницы. Что не мало важно в проектах где должны выводится по несколько тысяч ссылок на страницу. 
2. Нет проблем с ограничением пост запроса. 
 

Цитата

1.3. Нет кнопки выхода из проекта. Только хлебные крошки. Предлагаю два варианта:
- добавить кнопку Применить, на которую перенести действие имеющейся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

Специально делаю что бы при сохранении не выходило с страницы что настраивается. Это экономит время. Чего тоже не хватет мне в АОП. 
но я подумаю над этим. 

 

1 час назад, SiteMix сказал:

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвета я бы переделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных алертах .
Как оказалось, надпись пока вбита прямо в контроллер, но, полагаю, это временно и она будет перенесена в локализацию.

Да с дизайном будем работать. 
Да я уже умудрился возненавидеть систему локализации Opencart как все печально сделано. К этому вопросу еше вернусь но делать  локализацию сейчас это дополнительные трудо часы. Изначально начал заполнять как нужно по феншую и понял что это сильно затормозит. Сейчас все прописываю сразу в файлы дизайна. Знаю что это неправильно нужно локализовать. Но это задача не первого эшелона. 

 

 

1 час назад, SiteMix сказал:

Запустил сканирование. Почему-то сканирование не запустилось, а в логе такая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайта запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент сбор ссылок прекратился.

За это писал частенько cURL Отдает ответ сервера 0 до конца не определил что это за ответ и почему он приходит. Это будет заполнятся по мере опыта ))

 

 

1 час назад, SiteMix сказал:

За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар посчитан 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

Собрано это действительное количество ссылок записанное в базу данных как собрана для обработки. Они же будут записаны в поле выдача ссылок. 
 

 

1 час назад, SiteMix сказал:

3. Если во время сканирования перейти на другую вкладку, то оно останавливается.
Если остановка не устранима, то надо будет упомянуть этот момент в инструкции, когда она будет.

Да эта цена которую мы платим во избежание ограничения выполнения скрипта. 
Подумаю над этим. 

[SiteMix]

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

[Rassol2]

4 минуты назад, SiteMix сказал:

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

да это физически 3 разные страницы. 
Подумаю как сделать луче. 
Может поменять стиль перехода - http://joxi.ru/RmzxRBpfY0n43A 
Что бы не выглядели как вкладки. А как разные страницы и не было не недоразумения. 

[SiteMix]

Вкладки - это удобно. Но предупреждение, если есть не сохранённые данные, или что запущенный процесс будет остановлен, не помешает...

[Rassol2]

13 минут назад, SiteMix сказал:

Вкладки - это удобно. Но предупреждение, если есть не сохранённые данные, или что запущенный процесс будет остановлен, не помешает...

да я подумаю над этим.

 

[kikaridza123]

33 минуты назад, Rassol2 сказал:

 

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

[Rassol2]

17 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

 

так по поводу остановки парсинга сейчас не отвечу, потому что нужно много осмыслить в плане работы работы сессии. 
Лайк, за парсинг с двух ссылок. )))

Вот сайт что не показывает код сейчас буду смотреть. 
 

[Rassol2]

40 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

Какая версия модуля. 
Я поп поводу остановки парсинга. 

[Rassol2]

@kikaridza123 Я походу у вас исправил проблему с кодировкой. А а релиз не добавил. 
Може быть с этим связано. 

[Rassol2]

1 час назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Причину нашел, она связанна с кодировкой. Нужно разобраться с этим вопросом по луче. Что бы закрыть этот вопрос. 

[kikaridza123]

46 минут назад, Rassol2 сказал:

Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

[Rassol2]

1 минуту назад, kikaridza123 сказал:

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 
если есть, тогда это вопрос в сессии. 

Змінено 18 грудня 2018 користувачем Rassol2

[kikaridza123]

17 минут назад, Rassol2 сказал:

нету пере захода в админку. 

Нет, в этот раз перезахода в админку нет.
Парсинг первой вкладки закончился,

сейчас запущу только одну вкладку на парсинг.
как остановиться отпишусь.
Пока размер файла http://prntscr.com/lwe940 44,1 Мб

 

[Rassol2]

@kikaridza123 Как остановится откройте консоль F12 и посмотрите будет ли у вас там ошибка. 

[thentru]

16 минут назад, Rassol2 сказал:

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 

 

В 14.12.2018 в 11:45, Rassol2 сказал:

Вообще не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

[Rassol2]

1 минуту назад, thentru сказал:

 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

Честно я пока что далек от этого всего. 
Я не разобрался как работает. Появится чуть больше времени углублюсь. 

Я изначально построил систему через фронт. 
Суть такая:

Браузер выступает демоном. Оно дергает скрипт который беред ссылку и отправляет на парсинг. После чего получаем ответ. Если все ок, повторяем действие. 
И так пока не произойдет одно из двух. 
1. Закончатся ссылки. 
2. Вы нажмете в браузере стоп. 
 

И походу третий случай. 
Когда что то происходит и браузер не получает ответ об успехе. (А вот тут все то что нужно тестировать и искать.)
И вариант с сессиями который пока не проверен. 

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 
Хотя не уверен нужно время на изучения. 

[Rassol2]

@kikaridza123 
Как исправить отображение кода на сайте 

https://www.sds-group.ru/

Отправил в ЛС. 

В следующих версиях внесу фикс. 

[thentru]

6 минут назад, Rassol2 сказал:

Я изначально построил систему через фронт. 

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

10 минут назад, Rassol2 сказал:

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

[Rassol2]

25 минут назад, thentru сказал:

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

 

Может быть если решу прикрутить крон.
Тогда сделаю.

Цитата

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

Может вы и правы.
Но обычно если я работаю в админке меня не вылогинивает.
Но если оставить админку открытой и уйти на часик, по возвращению придется логинится. 

Наверное это все относительно, и зависит от хостинга. 
Насколько я помню на жизнь сессии влияет еше жизнь куков. У меня куки задаются на год, я про печеньку сессии. 
 

В моем понимании если отдавать куки в запросах тогда продливается жизнь сессии. 
А аякс не отдает куки. 
Короче не знаю нужно разбираться. )))))))

Змінено 18 грудня 2018 користувачем Rassol2

[Olegikkk]

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

Змінено 18 грудня 2018 користувачем Olegikkk

[Rassol2]

41 минуту назад, Olegikkk сказал:

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

просто при открытии модуля ? 
или при определенных действиях ? 

[Olegikkk]

При открытии модуля

[Rassol2]

41 минуту назад, Olegikkk сказал:

При открытии модуля

если есть возможность дайте в ЛС доступ к фтп и адмике я посмотрю что это .
Поскольку строка что описана у вас ошибке не инициализируется при открытии модуля. 

[Rassol2]

Обновление 1.1.1 принесло обновление алгоритма парсинга.
А точнее вот это.
 

23 часа назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Немного переработал, потому что сложность была глубже чем в этом посте. Такие сайты не мог обработать модуль. 
теперь проблемы быть не должно. 

Так же внес исправления в разделители csv разделителем может быть один символ. 
Сразу прописал в шаблон что бы больше нельзя было в вести. 

[Axelenz]

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?