Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

1 час назад, SiteMix сказал:

Очевидно, пропущена двойка. На других страницах класс правильный "col-md-12".

Поправлю спасибо.
 

1 час назад, SiteMix сказал:

1.2. При заполнении данных и переходе на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

Это не получится. Поскольку у АОП это одна страница и разные вкладки. У меня же это разные страницы. А переход межу ними в виде вкладки. 
Это решает другие более важные проблемы. 
1. Скорость рендеринга страницы. Что не мало важно в проектах где должны выводится по несколько тысяч ссылок на страницу. 
2. Нет проблем с ограничением пост запроса. 
 

Цитата

1.3. Нет кнопки выхода из проекта. Только хлебные крошки. Предлагаю два варианта:
- добавить кнопку Применить, на которую перенести действие имеющейся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

Специально делаю что бы при сохранении не выходило с страницы что настраивается. Это экономит время. Чего тоже не хватет мне в АОП. 
но я подумаю над этим. 

 

1 час назад, SiteMix сказал:

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвета я бы переделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных алертах .
Как оказалось, надпись пока вбита прямо в контроллер, но, полагаю, это временно и она будет перенесена в локализацию.

Да с дизайном будем работать. 
Да я уже умудрился возненавидеть систему локализации Opencart как все печально сделано. К этому вопросу еше вернусь но делать  локализацию сейчас это дополнительные трудо часы. Изначально начал заполнять как нужно по феншую и понял что это сильно затормозит. Сейчас все прописываю сразу в файлы дизайна. Знаю что это неправильно нужно локализовать. Но это задача не первого эшелона. 

 

 

1 час назад, SiteMix сказал:

Запустил сканирование. Почему-то сканирование не запустилось, а в логе такая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайта запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент сбор ссылок прекратился.

За это писал частенько cURL Отдает ответ сервера 0 до конца не определил что это за ответ и почему он приходит. Это будет заполнятся по мере опыта ))

 

 

1 час назад, SiteMix сказал:

За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар посчитан 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

Собрано это действительное количество ссылок записанное в базу данных как собрана для обработки. Они же будут записаны в поле выдача ссылок. 
 

 

1 час назад, SiteMix сказал:

3. Если во время сканирования перейти на другую вкладку, то оно останавливается.
Если остановка не устранима, то надо будет упомянуть этот момент в инструкции, когда она будет.

Да эта цена которую мы платим во избежание ограничения выполнения скрипта. 
Подумаю над этим. 

Надіслати
Поділитися на інших сайтах

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

Надіслати
Поділитися на інших сайтах


4 минуты назад, SiteMix сказал:

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

да это физически 3 разные страницы. 
Подумаю как сделать луче. 
Может поменять стиль перехода - http://joxi.ru/RmzxRBpfY0n43A 
Что бы не выглядели как вкладки. А как разные страницы и не было не недоразумения. 

Надіслати
Поділитися на інших сайтах

13 минут назад, SiteMix сказал:

Вкладки - это удобно. Но предупреждение, если есть не сохранённые данные, или что запущенный процесс будет остановлен, не помешает...

да я подумаю над этим.

 

Надіслати
Поділитися на інших сайтах

33 минуты назад, Rassol2 сказал:

 

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

  • +1 1
Надіслати
Поділитися на інших сайтах


17 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m


https://www.sds-group.ru/

 

так по поводу остановки парсинга сейчас не отвечу, потому что нужно много осмыслить в плане работы работы сессии. 
Лайк, за парсинг с двух ссылок. )))

Вот сайт что не показывает код сейчас буду смотреть. 
 

Надіслати
Поділитися на інших сайтах

40 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

Какая версия модуля. 
Я поп поводу остановки парсинга. 

Надіслати
Поділитися на інших сайтах

@kikaridza123 Я походу у вас исправил проблему с кодировкой. А а релиз не добавил. 
Може быть с этим связано. 

Надіслати
Поділитися на інших сайтах

1 час назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Причину нашел, она связанна с кодировкой. Нужно разобраться с этим вопросом по луче. Что бы закрыть этот вопрос. 

Надіслати
Поділитися на інших сайтах

46 минут назад, Rassol2 сказал:

Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Надіслати
Поділитися на інших сайтах


1 минуту назад, kikaridza123 сказал:

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 
если есть, тогда это вопрос в сессии. 

Змінено користувачем Rassol2
Надіслати
Поділитися на інших сайтах

17 минут назад, Rassol2 сказал:

нету пере захода в админку. 

Нет, в этот раз перезахода в админку нет.
Парсинг первой вкладки закончился,

сейчас запущу только одну вкладку на парсинг.
как остановиться отпишусь.
Пока размер файла http://prntscr.com/lwe940 44,1 Мб

 

Надіслати
Поділитися на інших сайтах


@kikaridza123 Как остановится откройте консоль F12 и посмотрите будет ли у вас там ошибка. 

Надіслати
Поділитися на інших сайтах

16 минут назад, Rassol2 сказал:

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 

 

В 14.12.2018 в 11:45, Rassol2 сказал:

Вообще не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

Надіслати
Поділитися на інших сайтах


1 минуту назад, thentru сказал:

 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

Честно я пока что далек от этого всего. 
Я не разобрался как работает. Появится чуть больше времени углублюсь. 

Я изначально построил систему через фронт. 
Суть такая:

Браузер выступает демоном. Оно дергает скрипт который беред ссылку и отправляет на парсинг. После чего получаем ответ. Если все ок, повторяем действие. 
И так пока не произойдет одно из двух. 
1. Закончатся ссылки. 
2. Вы нажмете в браузере стоп. 
 

И походу третий случай. 
Когда что то происходит и браузер не получает ответ об успехе. (А вот тут все то что нужно тестировать и искать.)
И вариант с сессиями который пока не проверен. 

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 
Хотя не уверен нужно время на изучения. 

Надіслати
Поділитися на інших сайтах

@kikaridza123 
Как исправить отображение кода на сайте 

https://www.sds-group.ru/

Отправил в ЛС. 

В следующих версиях внесу фикс. 

Надіслати
Поділитися на інших сайтах

6 минут назад, Rassol2 сказал:

Я изначально построил систему через фронт. 

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

10 минут назад, Rassol2 сказал:

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

Надіслати
Поділитися на інших сайтах


25 минут назад, thentru сказал:

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

 

Может быть если решу прикрутить крон.
Тогда сделаю.

Цитата

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют


Может вы и правы.
Но обычно если я работаю в админке меня не вылогинивает.
Но если оставить админку открытой и уйти на часик, по возвращению придется логинится. 

Наверное это все относительно, и зависит от хостинга. 
Насколько я помню на жизнь сессии влияет еше жизнь куков. У меня куки задаются на год, я про печеньку сессии. 
 

В моем понимании если отдавать куки в запросах тогда продливается жизнь сессии. 
А аякс не отдает куки. 
Короче не знаю нужно разбираться. )))))))

Змінено користувачем Rassol2
Надіслати
Поділитися на інших сайтах

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

Змінено користувачем Olegikkk
Надіслати
Поділитися на інших сайтах


41 минуту назад, Olegikkk сказал:

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

просто при открытии модуля ? 
или при определенных действиях ? 

Надіслати
Поділитися на інших сайтах

41 минуту назад, Olegikkk сказал:

При открытии модуля

если есть возможность дайте в ЛС доступ к фтп и адмике я посмотрю что это .
Поскольку строка что описана у вас ошибке не инициализируется при открытии модуля. 

Надіслати
Поділитися на інших сайтах

Обновление 1.1.1 принесло обновление алгоритма парсинга.
А точнее вот это.
 

23 часа назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m


Немного переработал, потому что сложность была глубже чем в этом посте. Такие сайты не мог обработать модуль. 
теперь проблемы быть не должно. 

Так же внес исправления в разделители csv разделителем может быть один символ. 
Сразу прописал в шаблон что бы больше нельзя было в вести. 

Надіслати
Поділитися на інших сайтах

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.