Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

Ссылка на комментарий
Поделиться на других сайтах


2 часа назад, versstachi сказал:

Здравствуйте. Парсю товары на эстонском языке, админка сайта на русском. Товаров в админке не видно, даже при переключении сайта и админки на эсконский.

в таком случаи товар будет виден только на эстонском языке.
А именно только если админка включена на эстонский язык.

Если есть проблемы с этим можете написать доступ к фтп и админке вашего магазина мне в ЛС и я посмотрю.

Ссылка на комментарий
Поделиться на других сайтах

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Ссылка на комментарий
Поделиться на других сайтах


2 минуты назад, xshader сказал:

При переходе на вкладку "Парсинг в ИМ" выдает ошибку:

 

Fatal error: Uncaught Exception: Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.la' at line 1<br />Error No: 1064<br />SELECT o.option_id, d.name FROM option o INNER JOIN option_description d ON o.option_id = d.option_id WHERE d.language_id =1 ORDER BY o.option_id in /home/u357422/skud-system.ru/www/system/library/db/mysqli.php:40 Stack trace: #0 /home/..../www/system/library/db.php(45): DB\MySQLi->query('SELECT o.option...') #1 /home/..../www/admin/model/catalog/simplepars.php(2870): DB->query('SELECT o.option...') #2 /home/..../www/storage/modification/system/engine/loader.php(248): ModelCatalogSimplePars->getAllOpts() #3 /home/..../www/system/engine/proxy.php(47): Loader->{closure}(Array, Array) #4 /home/..../www/admin/controller/catalog/simplepars.php(597): Pr in /home/..../www/system/library/db/mysqli.php on line 40

 

OcStore 3.0.2.0

Здравствуйте.
Какая версия модуля ?

Ссылка на комментарий
Поделиться на других сайтах

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

Спойлер

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Ссылка на комментарий
Поделиться на других сайтах

5 часов назад, Rassol2 сказал:

Здравствуйте.
Какая версия модуля ?

SimplePars v2.9-11_beta

 

Рано ее использовать?

Изменено пользователем xshader
Ссылка на комментарий
Поделиться на других сайтах


36 минут назад, xshader сказал:

SimplePars v2.9-11_beta

 

Рано ее использовать?

нет не рано, и проблема походу не в модуле.
У вас ругается на стандартный запрос в базу данных. Такое впечатление что у вас что то изменено с базы данных.
Опять же если есть возможность скиньте в лс доступ к админке и фтп я проверю.

Либо попробуйте загрузить файлы модуля 11 версию по верх, с заменой.
Нет не рано потому что по факту это уже следующий стабильный релиз. Я так вообше все уже выгладил.

Ссылка на комментарий
Поделиться на других сайтах

Может быть кому-то будет интересно... Вчера окончательно разобрался, как парсить информацию с двух сайтов. С одного сайта нужно было брать фото и описание, с сайта производителя - характеристики и цены (цены иногда изменяются). Создал два проекта. Парсинг в ИМ. В первом проекте идентификатором выбрал артикул, во втором код товара. Первым проектом спарсил товар, артикул записал в *артикул*. Вручную проставил артикул производителя в *код товара* в каждой карточке. Далее можно производить парсинг сколько угодно раз каждым проектом! Автору еще раз огромное спасибо за модуль!!!

Изменено пользователем partshez
  • +1 2
Ссылка на комментарий
Поделиться на других сайтах


15 часов назад, Rassol2 сказал:

ВНИМАНИЕ!

Господа, у многих есть проблемы с пониманием пред просмотра в повторяющихся границах парсинга. С пред просмотром на вкладке Поиск/Замена
Я хочу решить этот вопрос раз и на всегда, и мне нужно мнения простого обывателя. Правда должен понимать что такое повторяющиеся границы парсинга.

Из за проблем в показе исходного текста в повторяющихся граница парсинга люди делают ошибки.
1. Составляют правила которые работают только в пред просмотре.
2. Не понимаю что разделитель не участвует в поиск замене.
3. не могут понять как работает текст в начале и в конце для ПВ границ.

В итоге правила выглядят и работают на странице поиск замена верно а в других местах нет.

Для решения этой задачи сделал прототип.
CfB9nKY.png

 

 

И вот это для вас логично и понятно ?
 

  Показать контент

YUyzN8b.png

Все понимают почему исходный текст и текст после обработки так выглядят ?

Для вас это интуитивно понятно ?

Лично для меня понятно. Работаю с модулем с версии SimplePars v1.3.2-2

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


В 01.12.2019 в 04:36, Rassol2 сказал:

Описал как сделать парсинг опций так что бы цена опции меняла цену товара.
https://simplepars.top/index.php?page=note&note_id=18

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


13 минут назад, partshez сказал:

Вот за это отдельное ОГРОМНЕЙШЕЕ спасибо!

не за что ;-)

Ссылка на комментарий
Поделиться на других сайтах

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

да можно.
 

Спойлер

GI1D6i7.png



Описания что это и с чем кушать есть здесь.
https://simplepars.top/index.php?page=note&note_id=14

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

22 минуты назад, BOBAH18 сказал:

@Rassol2 А что делать с тормозными сайтами? Интервал у меня установлен 2-5 сек. Довольно часто вижу в логах: Код ошибки = 28 | Текст ошибки = Connection timed out after 10001 milliseconds

Где-то можно подкрутить это дело или увеличить интервал?

и да тут есть один момент.

Интервал 2-5 говорит о том что модуль между парсингом ссылок будет ждать рандомное время. Это рандомное время будет больше двух секунд но меньше пяти секунд.
И кстати модуль может ждать между запросами 3.7893 секунды :) Но я не об этом
Так вот это время, это время паузы между выполнением работы.

 

А вот то что вы видите в логах, это конкретно время за которое сайт донор не вернул вам ответ.
то есть пауза никак не влияет на это. Пауза может стоять хоть 30 сек. Это не как не повлияет на сообщение в логах.

То время за которое донор должен вернуть ответ отсчитывается от момента отправки запроса. А не от паузы парсинга.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

3 минуты назад, Igorkud сказал:

Я понимаю что много хотелок) Но подскажите, запуск по крону будет?

Будет, но не сразу)

 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах


Настройка границ парсинга в модуле SimplePars

 

 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Обновление 2.9-12

Это уже обновление стабильное и рекомендуется к использованию.
Поправлены все недочеты о которых вы сообщали.

 

Для тех кто обновляется только от стабильной версии к стабильной

В этот релиз вошли все изменения о которых я писал в релизах бета версии.

 

 

А так же немного нового.


Поиск замена


Изменен подход к пред просмотру в поиск замене.
Теперь при настройки поиск замены в окно исходного текста нельзя вставить свой кусок кода. Данные в это поле могут попасть только через загрузку из границы парсинга.
 

Спойлер

cybrgNe.png


Переработано представление исходного кода в повторяющихся границах парсинга.
Часто пользователи допускал ошибки не понимая что это повторяющаяся граница, а не обычная.
Теперь думаю проблем будет меньше, а настройка границы парсинга будет более интуитивной.

Так же после выполнения всех правил поиск замены модуль в окне текст после обработки показывает выходные данные в формате строки, как раз тот форма с которым вы будете работать в парсинге в ИМ или CSV
Как мне кажется это должно быть максимально наглядно, и понятно.
 

Спойлер

C5yUOy4.png



Обычны границы парсинга остались нетронуты, так что там вы можете как и прежде вводить любой текст в поле Исходный текст, и тестировать ваши правила.

Эта уже последняя стабильная версия в этом году.
Ну не считая если найдутся ошибки и нужно будет поправить. :)

С 10 декабря по 26 я уезжаю и как будет с интернетом пока непонятно. В этот период времени возможно будут проблемы с предоставлением поддержки.

Если тех поддержка в модуле для вас край не важна, то рекомендую воздержатся от покупки модуля в это период, поскольку пока что я не знаю будет ли у меня время, а главное возможность предоставить тех поддержку.
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

================================================================================================================================

ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
В этот период тех поддержка модуля будет предоставляться по мере и возможности.

Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
Спасибо за понимание. :)

===============================================================================================================================

Ссылка на комментарий
Поделиться на других сайтах

Комфортный сбор ссылок с sitemap.xml

Я уже реализовал возможность комфортного парсинга сайт мапа, но в связи с тем что должен уехать на две недели не внес это в релиз. Из за того что функция не была обкатана как следует.
Но активность парсинга сайт мапа поднялась в связи с этим решил отписать здесь маленькую фичу которую можно сделать для удобного сбора ссылок через sitemap.xml

Допустим есть сайт мвидео. И сбор ссылок с категорий крайне неудобен, мы можем попробовать найти его сайт мап.
Открываем robots.txt сайта.
https://www.mvideo.ru/robots.txt

 

И ищем там ссылку на сайт мап.
 

Спойлер

f7Tq8hE.png

 

Поздравляю теперь у нас есть стартовая ссылка. Точка входа :)

Сейчас в версии 2.9-12 нету переключателя который мог бы перевести сбор ссылок в режим sitemap. Но сам функционал уже есть, и его можно запустить через код модуля.
Открываем файл /admin/model/catalog/simplepars.php
Ишим строку
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';
И заменяем ее на
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';

Что бы вышло вот так.
 

Спойлер

G3F4Cq1.png


Сохраняем, и считайте дело в кармане.

Далее вы как обычно настраиваете фильтры очереди сканирования, и фильтры товаров. Но учтите теперь вам нужно по другому настраивать очередь сканирования.
Ведь в сайт мапе типы ссылок на блоки с ссылками на товары выглядят по другому чем на сайте.
А вот ссылки на товар как и везде.

Вставляем стартовую ссылку, сохраняем и жмем старт.

Поскольку у меня блоки с фильтрами вообше не настроены, то почти мгновенно я получил 50т ссылок.
 

Спойлер

6vpSeOb.png


но вам так делать не рекомендую, луче все же очередь сканирования ограничивать :)


Внимание после этих манипуляций модуль будет собирать только сайт мапы.
Что бы сделать возможным сбор ссылок с обычных страниц сайт нужно обратно заменить строку

$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';
на
$reg_url = '#<a.+?href=["\']?([^"\'>]+)["\']?#s';

Ссылка на комментарий
Поделиться на других сайтах

попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml

2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml

но ссылок нет.

Помогите пожалуйста    ?

Ссылка на комментарий
Поделиться на других сайтах


попробовал тоже самое сделать с https://www.eldorado.ru/sitemap.xml
2019-12-08 22:11:27| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.eldorado.ru/sitemap.xml
но ссылок нет.
Помогите пожалуйста    ?
Скриншот куска кода где вы правили модуль.
Если сделали как я написал то будет работать. Значит вы не поправили код.

Отправлено с моего Pixel через Tapatalk

Ссылка на комментарий
Поделиться на других сайтах

@zigzagtut Тогда сдаюсь.
Пришлите мне доступ в админку. Я посмотрю настройки и можете скинуть фтп перепроверю.
Потому что может фильтр настроен не верно.

Ссылка на комментарий
Поделиться на других сайтах

Здравствуйте!

Есть возможность спарсить https://happygifts.ru/catalog_new/1362/70410899/?color=синий этот товаров, т.е все цвета по-отдельности ?(каждый цвет, отдельный товар)

 

Спасибо.

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.