Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

Надіслати
Поділитися на інших сайтах


2 часа назад, versstachi сказал:

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

в таком случаи товар будет виден только на эстонском языке.
А именно только если админка включена на эстонский язык.

Если есть проблемы с этим можете написать доступ к фтп и админке вашего магазина мне в ЛС и я посмотрю.

Надіслати
Поділитися на інших сайтах

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Надіслати
Поділитися на інших сайтах


2 минуты назад, xshader сказал:

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Здравствуйте.
Какая версия модуля ?

Надіслати
Поділитися на інших сайтах

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

Спойлер

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Надіслати
Поділитися на інших сайтах

5 часов назад, Rassol2 сказал:

Здравствуйте.
Какая версия модуля ?

SimplePars v2.9-11_beta

 

Рано ее использовать?

Змінено користувачем xshader
Надіслати
Поділитися на інших сайтах


36 минут назад, xshader сказал:

SimplePars v2.9-11_beta

 

Рано ее использовать?

нет не рано, и проблема походу не в модуле.
У вас ругается на стандартный запрос в базу данных. Такое впечатление что у вас что то изменено с базы данных.
Опять же если есть возможность скиньте в лс доступ к админке и фтп я проверю.

Либо попробуйте загрузить файлы модуля 11 версию по верх, с заменой.
Нет не рано потому что по факту это уже следующий стабильный релиз. Я так вообше все уже выгладил.

Надіслати
Поділитися на інших сайтах

Может быть кому-то будет интересно... Вчера окончательно разобрался, как парсить информацию с двух сайтов. С одного сайта нужно было брать фото и описание, с сайта производителя - характеристики и цены (цены иногда изменяются). Создал два проекта. Парсинг в ИМ. В первом проекте идентификатором выбрал артикул, во втором код товара. Первым проектом спарсил товар, артикул записал в *артикул*. Вручную проставил артикул производителя в *код товара* в каждой карточке. Далее можно производить парсинг сколько угодно раз каждым проектом! Автору еще раз огромное спасибо за модуль!!!

Змінено користувачем partshez
  • +1 2
Надіслати
Поділитися на інших сайтах


15 часов назад, Rassol2 сказал:

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

  Показать контент

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Лично для меня понятно. Работаю с модулем с версии SimplePars v1.3.2-2

  • +1 1
Надіслати
Поділитися на інших сайтах


В 01.12.2019 в 04:36, Rassol2 сказал:

Описал как сделать парсинг опций так что бы цена опции меняла цену товара.
https://simplepars.top/index.php?page=note&note_id=18

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

  • +1 1
Надіслати
Поділитися на інших сайтах


13 минут назад, partshez сказал:

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

не за что ;-)

Надіслати
Поділитися на інших сайтах

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

Надіслати
Поділитися на інших сайтах


4 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

да можно.
 

Спойлер

GI1D6i7.png



Описания что это и с чем кушать есть здесь.
https://simplepars.top/index.php?page=note&note_id=14

  • +1 1
Надіслати
Поділитися на інших сайтах

22 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

и да тут есть один момент.

Интервал 2-5 говорит о том что модуль между парсингом ссылок будет ждать рандомное время. Это рандомное время будет больше двух секунд но меньше пяти секунд.
И кстати модуль может ждать между запросами 3.7893 секунды :) Но я не об этом
Так вот это время, это время паузы между выполнением работы.

 

А вот то что вы видите в логах, это конкретно время за которое сайт донор не вернул вам ответ.
то есть пауза никак не влияет на это. Пауза может стоять хоть 30 сек. Это не как не повлияет на сообщение в логах.

То время за которое донор должен вернуть ответ отсчитывается от момента отправки запроса. А не от паузы парсинга.

  • +1 1
Надіслати
Поділитися на інших сайтах

Настройка границ парсинга в модуле SimplePars

 

 

  • +1 1
Надіслати
Поділитися на інших сайтах

Обновление 2.9-12

Это уже обновление стабильное и рекомендуется к использованию.
Поправлены все недочеты о которых вы сообщали.

 

Для тех кто обновляется только от стабильной версии к стабильной

В этот релиз вошли все изменения о которых я писал в релизах бета версии.

 

 

А так же немного нового.


Поиск замена


Изменен подход к пред просмотру в поиск замене.
Теперь при настройки поиск замены в окно исходного текста нельзя вставить свой кусок кода. Данные в это поле могут попасть только через загрузку из границы парсинга.
 

Спойлер

cybrgNe.png


Переработано представление исходного кода в повторяющихся границах парсинга.
Часто пользователи допускал ошибки не понимая что это повторяющаяся граница, а не обычная.
Теперь думаю проблем будет меньше, а настройка границы парсинга будет более интуитивной.

Так же после выполнения всех правил поиск замены модуль в окне текст после обработки показывает выходные данные в формате строки, как раз тот форма с которым вы будете работать в парсинге в ИМ или CSV
Как мне кажется это должно быть максимально наглядно, и понятно.
 

Спойлер

C5yUOy4.png



Обычны границы парсинга остались нетронуты, так что там вы можете как и прежде вводить любой текст в поле Исходный текст, и тестировать ваши правила.

Эта уже последняя стабильная версия в этом году.
Ну не считая если найдутся ошибки и нужно будет поправить. :)

С 10 декабря по 26 я уезжаю и как будет с интернетом пока непонятно. В этот период времени возможно будут проблемы с предоставлением поддержки.

Если тех поддержка в модуле для вас край не важна, то рекомендую воздержатся от покупки модуля в это период, поскольку пока что я не знаю будет ли у меня время, а главное возможность предоставить тех поддержку.
 

  • +1 1
Надіслати
Поділитися на інших сайтах

================================================================================================================================

ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
В этот период тех поддержка модуля будет предоставляться по мере и возможности.

Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
Спасибо за понимание. :)

===============================================================================================================================

Надіслати
Поділитися на інших сайтах

Комфортный сбор ссылок с sitemap.xml

Я уже реализовал возможность комфортного парсинга сайт мапа, но в связи с тем что должен уехать на две недели не внес это в релиз. Из за того что функция не была обкатана как следует.
Но активность парсинга сайт мапа поднялась в связи с этим решил отписать здесь маленькую фичу которую можно сделать для удобного сбора ссылок через sitemap.xml

Допустим есть сайт мвидео. И сбор ссылок с категорий крайне неудобен, мы можем попробовать найти его сайт мап.
Открываем robots.txt сайта.
https://www.mvideo.ru/robots.txt

 

И ищем там ссылку на сайт мап.
 

Спойлер

f7Tq8hE.png

 

Поздравляю теперь у нас есть стартовая ссылка. Точка входа :)

Сейчас в версии 2.9-12 нету переключателя который мог бы перевести сбор ссылок в режим sitemap. Но сам функционал уже есть, и его можно запустить через код модуля.
Открываем файл /admin/model/catalog/simplepars.php
Ишим строку
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';
И заменяем ее на
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';

Что бы вышло вот так.
 

Спойлер

G3F4Cq1.png


Сохраняем, и считайте дело в кармане.

Далее вы как обычно настраиваете фильтры очереди сканирования, и фильтры товаров. Но учтите теперь вам нужно по другому настраивать очередь сканирования.
Ведь в сайт мапе типы ссылок на блоки с ссылками на товары выглядят по другому чем на сайте.
А вот ссылки на товар как и везде.

Вставляем стартовую ссылку, сохраняем и жмем старт.

Поскольку у меня блоки с фильтрами вообше не настроены, то почти мгновенно я получил 50т ссылок.
 

Спойлер

6vpSeOb.png


но вам так делать не рекомендую, луче все же очередь сканирования ограничивать :)


Внимание после этих манипуляций модуль будет собирать только сайт мапы.
Что бы сделать возможным сбор ссылок с обычных страниц сайт нужно обратно заменить строку

$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';
на
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';

Надіслати
Поділитися на інших сайтах

попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml

2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml

но ссылок нет.

Помогите пожалуйста    ?

Надіслати
Поділитися на інших сайтах


попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml
2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml
но ссылок нет.
Помогите пожалуйста    ?
Скриншот куска кода где вы правили модуль.
Если сделали как я написал то будет работать. Значит вы не поправили код.

Отправлено с моего Pixel через Tapatalk

Надіслати
Поділитися на інших сайтах

@zigzagtut Тогда сдаюсь.
Пришлите мне доступ в админку. Я посмотрю настройки и можете скинуть фтп перепроверю.
Потому что может фильтр настроен не верно.

Надіслати
Поділитися на інших сайтах

Здравствуйте!

Есть возможность спарсить https://happygifts.ru/catalog_new/1362/70410899/?color=синий этот товаров, т.е все цвета по-отдельности ?(каждый цвет, отдельный товар)

 

Спасибо.

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.