Jump to content

Recommended Posts

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

Share this post


Link to post
Share on other sites
2 часа назад, versstachi сказал:

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

в таком случаи товар будет виден только на эстонском языке.
А именно только если админка включена на эстонский язык.

Если есть проблемы с этим можете написать доступ к фтп и админке вашего магазина мне в ЛС и я посмотрю.

Share this post


Link to post
Share on other sites

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Share this post


Link to post
Share on other sites
2 минуты назад, xshader сказал:

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Здравствуйте.
Какая версия модуля ?

Share this post


Link to post
Share on other sites

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

Спойлер

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Share this post


Link to post
Share on other sites
5 часов назад, Rassol2 сказал:

Здравствуйте.
Какая версия модуля ?

SimplePars v2.9-11_beta

 

Рано ее использовать?

Edited by xshader

Share this post


Link to post
Share on other sites
36 минут назад, xshader сказал:

SimplePars v2.9-11_beta

 

Рано ее использовать?

нет не рано, и проблема походу не в модуле.
У вас ругается на стандартный запрос в базу данных. Такое впечатление что у вас что то изменено с базы данных.
Опять же если есть возможность скиньте в лс доступ к админке и фтп я проверю.

Либо попробуйте загрузить файлы модуля 11 версию по верх, с заменой.
Нет не рано потому что по факту это уже следующий стабильный релиз. Я так вообше все уже выгладил.

Share this post


Link to post
Share on other sites

Может быть кому-то будет интересно... Вчера окончательно разобрался, как парсить информацию с двух сайтов. С одного сайта нужно было брать фото и описание, с сайта производителя - характеристики и цены (цены иногда изменяются). Создал два проекта. Парсинг в ИМ. В первом проекте идентификатором выбрал артикул, во втором код товара. Первым проектом спарсил товар, артикул записал в *артикул*. Вручную проставил артикул производителя в *код товара* в каждой карточке. Далее можно производить парсинг сколько угодно раз каждым проектом! Автору еще раз огромное спасибо за модуль!!!

Edited by partshez
  • +1 2

Share this post


Link to post
Share on other sites
15 часов назад, Rassol2 сказал:

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

  Показать контент

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Лично для меня понятно. Работаю с модулем с версии SimplePars v1.3.2-2

  • +1 1

Share this post


Link to post
Share on other sites

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

Share this post


Link to post
Share on other sites
4 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

да можно.
 

Спойлер

GI1D6i7.png



Описания что это и с чем кушать есть здесь.
https://simplepars.top/index.php?page=note&note_id=14

  • +1 1

Share this post


Link to post
Share on other sites
22 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

и да тут есть один момент.

Интервал 2-5 говорит о том что модуль между парсингом ссылок будет ждать рандомное время. Это рандомное время будет больше двух секунд но меньше пяти секунд.
И кстати модуль может ждать между запросами 3.7893 секунды :) Но я не об этом
Так вот это время, это время паузы между выполнением работы.

 

А вот то что вы видите в логах, это конкретно время за которое сайт донор не вернул вам ответ.
то есть пауза никак не влияет на это. Пауза может стоять хоть 30 сек. Это не как не повлияет на сообщение в логах.

То время за которое донор должен вернуть ответ отсчитывается от момента отправки запроса. А не от паузы парсинга.

  • +1 1

Share this post


Link to post
Share on other sites

Я понимаю что много хотелок) Но подскажите, запуск по крону будет?

Share this post


Link to post
Share on other sites
3 минуты назад, Igorkud сказал:

Я понимаю что много хотелок) Но подскажите, запуск по крону будет?

Будет, но не сразу)

 

  • +1 2

Share this post


Link to post
Share on other sites

Обновление 2.9-12

Это уже обновление стабильное и рекомендуется к использованию.
Поправлены все недочеты о которых вы сообщали.

 

Для тех кто обновляется только от стабильной версии к стабильной

В этот релиз вошли все изменения о которых я писал в релизах бета версии.

 

 

А так же немного нового.


Поиск замена


Изменен подход к пред просмотру в поиск замене.
Теперь при настройки поиск замены в окно исходного текста нельзя вставить свой кусок кода. Данные в это поле могут попасть только через загрузку из границы парсинга.
 

Спойлер

cybrgNe.png


Переработано представление исходного кода в повторяющихся границах парсинга.
Часто пользователи допускал ошибки не понимая что это повторяющаяся граница, а не обычная.
Теперь думаю проблем будет меньше, а настройка границы парсинга будет более интуитивной.

Так же после выполнения всех правил поиск замены модуль в окне текст после обработки показывает выходные данные в формате строки, как раз тот форма с которым вы будете работать в парсинге в ИМ или CSV
Как мне кажется это должно быть максимально наглядно, и понятно.
 

Спойлер

C5yUOy4.png



Обычны границы парсинга остались нетронуты, так что там вы можете как и прежде вводить любой текст в поле Исходный текст, и тестировать ваши правила.

Эта уже последняя стабильная версия в этом году.
Ну не считая если найдутся ошибки и нужно будет поправить. :)

С 10 декабря по 26 я уезжаю и как будет с интернетом пока непонятно. В этот период времени возможно будут проблемы с предоставлением поддержки.

Если тех поддержка в модуле для вас край не важна, то рекомендую воздержатся от покупки модуля в это период, поскольку пока что я не знаю будет ли у меня время, а главное возможность предоставить тех поддержку.
 

  • +1 1

Share this post


Link to post
Share on other sites

================================================================================================================================

ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
В этот период тех поддержка модуля будет предоставляться по мере и возможности.

Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
Спасибо за понимание. :)

===============================================================================================================================

Share this post


Link to post
Share on other sites

Комфортный сбор ссылок с sitemap.xml

Я уже реализовал возможность комфортного парсинга сайт мапа, но в связи с тем что должен уехать на две недели не внес это в релиз. Из за того что функция не была обкатана как следует.
Но активность парсинга сайт мапа поднялась в связи с этим решил отписать здесь маленькую фичу которую можно сделать для удобного сбора ссылок через sitemap.xml

Допустим есть сайт мвидео. И сбор ссылок с категорий крайне неудобен, мы можем попробовать найти его сайт мап.
Открываем robots.txt сайта.
https://www.mvideo.ru/robots.txt

 

И ищем там ссылку на сайт мап.
 

Спойлер

f7Tq8hE.png

 

Поздравляю теперь у нас есть стартовая ссылка. Точка входа :)

Сейчас в версии 2.9-12 нету переключателя который мог бы перевести сбор ссылок в режим sitemap. Но сам функционал уже есть, и его можно запустить через код модуля.
Открываем файл /admin/model/catalog/simplepars.php
Ишим строку
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';
И заменяем ее на
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';

Что бы вышло вот так.
 

Спойлер

G3F4Cq1.png


Сохраняем, и считайте дело в кармане.

Далее вы как обычно настраиваете фильтры очереди сканирования, и фильтры товаров. Но учтите теперь вам нужно по другому настраивать очередь сканирования.
Ведь в сайт мапе типы ссылок на блоки с ссылками на товары выглядят по другому чем на сайте.
А вот ссылки на товар как и везде.

Вставляем стартовую ссылку, сохраняем и жмем старт.

Поскольку у меня блоки с фильтрами вообше не настроены, то почти мгновенно я получил 50т ссылок.
 

Спойлер

6vpSeOb.png


но вам так делать не рекомендую, луче все же очередь сканирования ограничивать :)


Внимание после этих манипуляций модуль будет собирать только сайт мапы.
Что бы сделать возможным сбор ссылок с обычных страниц сайт нужно обратно заменить строку

$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';
на
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';

Share this post


Link to post
Share on other sites
попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml
2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml
но ссылок нет.
Помогите пожалуйста    ?
Скриншот куска кода где вы правили модуль.
Если сделали как я написал то будет работать. Значит вы не поправили код.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites

@zigzagtut Тогда сдаюсь.
Пришлите мне доступ в админку. Я посмотрю настройки и можете скинуть фтп перепроверю.
Потому что может фильтр настроен не верно.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By darkdrg
      Добрый день ! Помогите с интересным вопросом !!!
      Как сделать фильтр по дате (по умолчанию ) в списке товаров в админке (Admin_product list)
       
    • By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      =====================================================================================================================
      ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
      В этот период тех поддержка модуля будет предоставляться по мере и возможности.

      Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
      Спасибо за понимание.
      =====================================================================================================================
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора.
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами.

      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей.
      Формировать URL товаров и заполнять SEO данные товара, категорий, производителей.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
      Инструкция к модулю доступна по ссылке (На данный момент разрабатывается обновленная версия инструкции)
      https://simplepars.top/index.php?page=doc
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Обзор возможностей модуля
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.