Jump to content

Recommended Posts

1 час назад, SiteMix сказал:

Очевидно, пропущена двойка. На других страницах класс правильный "col-md-12".

Поправлю спасибо.
 

1 час назад, SiteMix сказал:

1.2. При заполнении данных и переходе на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

Это не получится. Поскольку у АОП это одна страница и разные вкладки. У меня же это разные страницы. А переход межу ними в виде вкладки. 
Это решает другие более важные проблемы. 
1. Скорость рендеринга страницы. Что не мало важно в проектах где должны выводится по несколько тысяч ссылок на страницу. 
2. Нет проблем с ограничением пост запроса. 
 

Цитата

1.3. Нет кнопки выхода из проекта. Только хлебные крошки. Предлагаю два варианта:
- добавить кнопку Применить, на которую перенести действие имеющейся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

Специально делаю что бы при сохранении не выходило с страницы что настраивается. Это экономит время. Чего тоже не хватет мне в АОП. 
но я подумаю над этим. 

 

1 час назад, SiteMix сказал:

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвета я бы переделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных алертах .
Как оказалось, надпись пока вбита прямо в контроллер, но, полагаю, это временно и она будет перенесена в локализацию.

Да с дизайном будем работать. 
Да я уже умудрился возненавидеть систему локализации Opencart как все печально сделано. К этому вопросу еше вернусь но делать  локализацию сейчас это дополнительные трудо часы. Изначально начал заполнять как нужно по феншую и понял что это сильно затормозит. Сейчас все прописываю сразу в файлы дизайна. Знаю что это неправильно нужно локализовать. Но это задача не первого эшелона. 

 

 

1 час назад, SiteMix сказал:

Запустил сканирование. Почему-то сканирование не запустилось, а в логе такая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайта запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент сбор ссылок прекратился.

За это писал частенько cURL Отдает ответ сервера 0 до конца не определил что это за ответ и почему он приходит. Это будет заполнятся по мере опыта ))

 

 

1 час назад, SiteMix сказал:

За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар посчитан 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

Собрано это действительное количество ссылок записанное в базу данных как собрана для обработки. Они же будут записаны в поле выдача ссылок. 
 

 

1 час назад, SiteMix сказал:

3. Если во время сканирования перейти на другую вкладку, то оно останавливается.
Если остановка не устранима, то надо будет упомянуть этот момент в инструкции, когда она будет.

Да эта цена которую мы платим во избежание ограничения выполнения скрипта. 
Подумаю над этим. 

Share this post


Link to post
Share on other sites

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

Share this post


Link to post
Share on other sites
4 минуты назад, SiteMix сказал:

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при переходе выводить предупреждение если изменения не сохранены или идёт сбор ссылок?

Тогда каждый сможет решить продолжить ли переход...

да это физически 3 разные страницы. 
Подумаю как сделать луче. 
Может поменять стиль перехода - http://joxi.ru/RmzxRBpfY0n43A 
Что бы не выглядели как вкладки. А как разные страницы и не было не недоразумения. 

Share this post


Link to post
Share on other sites

Вкладки - это удобно. Но предупреждение, если есть не сохранённые данные, или что запущенный процесс будет остановлен, не помешает...

Share this post


Link to post
Share on other sites
13 минут назад, SiteMix сказал:

Вкладки - это удобно. Но предупреждение, если есть не сохранённые данные, или что запущенный процесс будет остановлен, не помешает...

да я подумаю над этим.

 

Share this post


Link to post
Share on other sites
33 минуты назад, Rassol2 сказал:

 

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

  • +1 1

Share this post


Link to post
Share on other sites
17 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня работают 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m


https://www.sds-group.ru/

 

так по поводу остановки парсинга сейчас не отвечу, потому что нужно много осмыслить в плане работы работы сессии. 
Лайк, за парсинг с двух ссылок. )))

Вот сайт что не показывает код сейчас буду смотреть. 
 

Share this post


Link to post
Share on other sites
40 минут назад, kikaridza123 сказал:

У меня все еще модуль парсит.
Но, все-же запущенный вчера парсинг останавливается у меня. http://prntscr.com/lwd39h 
работает окло 3-4 часов может и останавливается, а если перезагрузить страницу просит залогиниться в админку.

Какая версия модуля. 
Я поп поводу остановки парсинга. 

Share this post


Link to post
Share on other sites
1 час назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Причину нашел, она связанна с кодировкой. Нужно разобраться с этим вопросом по луче. Что бы закрыть этот вопрос. 

Share this post


Link to post
Share on other sites
46 минут назад, Rassol2 сказал:

Запустил второй парсинг в 10:09, посмотрим сколько будет работать без остановки.

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Share this post


Link to post
Share on other sites
1 минуту назад, kikaridza123 сказал:

http://prntscr.com/lwdye4
Парсинг остановился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 
если есть, тогда это вопрос в сессии. 

Edited by Rassol2

Share this post


Link to post
Share on other sites
17 минут назад, Rassol2 сказал:

нету пере захода в админку. 

Нет, в этот раз перезахода в админку нет.
Парсинг первой вкладки закончился,

сейчас запущу только одну вкладку на парсинг.
как остановиться отпишусь.
Пока размер файла http://prntscr.com/lwe940 44,1 Мб

 

Share this post


Link to post
Share on other sites
16 минут назад, Rassol2 сказал:

Нужно опять смотреть в чем причина. Если нету пере захода в админку. 

 

В 14.12.2018 в 11:45, Rassol2 сказал:

Вообще не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

Share this post


Link to post
Share on other sites
1 минуту назад, thentru сказал:

 

 

так ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере сработал сборщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузчик, который будет грузить конфиг админки

Честно я пока что далек от этого всего. 
Я не разобрался как работает. Появится чуть больше времени углублюсь. 

Я изначально построил систему через фронт. 
Суть такая:

Браузер выступает демоном. Оно дергает скрипт который беред ссылку и отправляет на парсинг. После чего получаем ответ. Если все ок, повторяем действие. 
И так пока не произойдет одно из двух. 
1. Закончатся ссылки. 
2. Вы нажмете в браузере стоп. 
 

И походу третий случай. 
Когда что то происходит и браузер не получает ответ об успехе. (А вот тут все то что нужно тестировать и искать.)
И вариант с сессиями который пока не проверен. 

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 
Хотя не уверен нужно время на изучения. 

Share this post


Link to post
Share on other sites

@kikaridza123 
Как исправить отображение кода на сайте 

https://www.sds-group.ru/

Отправил в ЛС. 

В следующих версиях внесу фикс. 

Share this post


Link to post
Share on other sites
6 минут назад, Rassol2 сказал:

Я изначально построил систему через фронт. 

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

10 минут назад, Rassol2 сказал:

по поводу сборщик. Браузер отправляет POST запрос в админку. Значит сервер не должен вычистить сессию по причине длительного простоя. 

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

Share this post


Link to post
Share on other sites
25 минут назад, thentru сказал:

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (грубо, в обход использования токена и методов админки напрямую)

 

 

Может быть если решу прикрутить крон.
Тогда сделаю.

Цитата

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют


Может вы и правы.
Но обычно если я работаю в админке меня не вылогинивает.
Но если оставить админку открытой и уйти на часик, по возвращению придется логинится. 

Наверное это все относительно, и зависит от хостинга. 
Насколько я помню на жизнь сессии влияет еше жизнь куков. У меня куки задаются на год, я про печеньку сессии. 
 

В моем понимании если отдавать куки в запросах тогда продливается жизнь сессии. 
А аякс не отдает куки. 
Короче не знаю нужно разбираться. )))))))

Edited by Rassol2

Share this post


Link to post
Share on other sites

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

Edited by Olegikkk

Share this post


Link to post
Share on other sites
41 минуту назад, Olegikkk сказал:

Добрый день, спасибо за прекрасный скрипт!

Установил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

просто при открытии модуля ? 
или при определенных действиях ? 

Share this post


Link to post
Share on other sites
41 минуту назад, Olegikkk сказал:

При открытии модуля

если есть возможность дайте в ЛС доступ к фтп и адмике я посмотрю что это .
Поскольку строка что описана у вас ошибке не инициализируется при открытии модуля. 

Share this post


Link to post
Share on other sites

Обновление 1.1.1 принесло обновление алгоритма парсинга.
А точнее вот это.
 

23 часа назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m


Немного переработал, потому что сложность была глубже чем в этом посте. Такие сайты не мог обработать модуль. 
теперь проблемы быть не должно. 

Так же внес исправления в разделители csv разделителем может быть один символ. 
Сразу прописал в шаблон что бы больше нельзя было в вести. 

Share this post


Link to post
Share on other sites

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By GeorgyM
      500.00 руб
      Скачать/Купить дополнение


      Парсинг для Opencart : загрузка товаров / статей, для Опенкарт, OcStore, v.1.x, 2.x, 3.x
      Услуги по автоматизации наполнения Вашего сайта.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
       
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания 
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
       
      Идеально делаю парсинг и загрузку каталога под модуль CSV Price Pro import/export . Добавление товаров и наполнение каталога магазина, с данным модулем, элементарно даже для новичков!
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
      Добавил GeorgyM Добавлено 22.08.2017 Категория Услуги  
    • By GeorgyM
      Услуги по автоматизации наполнения Вашего сайта.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
       
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания 
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
       
      Идеально делаю парсинг и загрузку каталога под модуль CSV Price Pro import/export . Добавление товаров и наполнение каталога магазина, с данным модулем, элементарно даже для новичков!
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   1 member

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.