[Поддержка] SimplePars - Універсальний парсер для ІМ

[Talfort]

Кто-нибудь запускал парсер с Cron на VestaCP. Уже 2 месяца ничего не получается

[Reanimaster]

1 час назад, Talfort сказал:

Кто-нибудь запускал парсер с Cron на VestaCP. Уже 2 месяца ничего не получается

 

А причем здесь панель? Крон запускается либо POST запросами WGET или CURL.

Либо с помощью php в режиме cli.

Если нужна помощь - в ЛС напишите.

[darkpeople]

Пытаюсь работать по обучающим роликам, но начал сталкиваться с трудностями на этапе сборки ссылок.

Например я хочу выделить блок в котором нужно парсить ссылки , но в коде большое количество значений "row" не нужный код выделил красным ( так вот как сборщик ссылок поймёт что мне конкретно нужен "row" который отвечает за блок где товары , мой мозг просто ломается.

[khamer89]

34 минуты назад, darkpeople сказал:

Пытаюсь работать по обучающим роликам, но начал сталкиваться с трудностями на этапе сборки ссылок.

Например я хочу выделить блок в котором нужно парсить ссылки , но в коде большое количество значений "row" не нужный код выделил красным ( так вот как сборщик ссылок поймёт что мне конкретно нужен "row" который отвечает за блок где товары , мой мозг просто ломается.

Зачастую проще парсить, если есть карта сайта. Проверить можете если вобьете адрес  https://сайтдонора.ru/robots.txt там должна быть ссылка на sitemap, вбиваете ее в ссылку для парсинга и выбираете парсить с sitemap, а дальше уже работаете со всеми спарсенными ссылками, указываете какие оставлять в ссылках для парсинга, а какие не нужно

Змінено 13 листопада 2021 користувачем khamer89

[darkpeople]

15 минут назад, khamer89 сказал:

Зачастую проще парсить, если есть карта сайта. Проверить можете если вобьете адрес  https://сайтдонора.ru/robots.txt там должна быть ссылка на sitemap, вбиваете ее в ссылку для парсинга и выбираете парсить с sitemap, а дальше уже работаете со всеми спарсенными ссылками, указываете какие оставлять в ссылках для парсинга, а какие не нужно

Понял, буду пробовать.

[yurok79]

Срочный вопрос. Перестал работать обработчик xml.

На товары вроде делит, но когда переходу по ссылкам из списка товаров получаю сообщение:

This page contains the following errors:

error on line 1 at column 1: Document is empty

Below is a rendering of the page up to the first error.

Парсер пишет 404 ошибку

Змінено 13 листопада 2021 користувачем yurok79

[Kiyoshi]

4 часа назад, darkpeople сказал:

Пытаюсь работать по обучающим роликам, но начал сталкиваться с трудностями на этапе сборки ссылок.

Например я хочу выделить блок в котором нужно парсить ссылки , но в коде большое количество значений "row" не нужный код выделил красным ( так вот как сборщик ссылок поймёт что мне конкретно нужен "row" который отвечает за блок где товары , мой мозг просто ломается.

Здравствуйте можете привязаться не к блоку где находятся товары а к началу карточки товара и закрывающим тегом взять подвал с исключением страниц категорий.

 

3 часа назад, khamer89 сказал:

Зачастую проще парсить, если есть карта сайта. Проверить можете если вобьете адрес  https://сайтдонора.ru/robots.txt там должна быть ссылка на sitemap, вбиваете ее в ссылку для парсинга и выбираете парсить с sitemap, а дальше уже работаете со всеми спарсенными ссылками, указываете какие оставлять в ссылках для парсинга, а какие не нужно

Я бы еще добавить что карта сайта далеко не всегда имеет все товары поставщика и сайты не все ее регулярно обновляют.

Змінено 13 листопада 2021 користувачем Kiyoshi

[caspy]

Добрый день!

вчера поставил первый раз крон. не сработал ночю. скажите пожалкцста в настройках ощиблось? 

 

[Axelenz]

1 час назад, caspy сказал:

Добрый день!

вчера поставил первый раз крон. не сработал ночю. скажите пожалкцста в настройках ощиблось? 

Ошиблись в доноре...

Вы новичок в теме парсинга и хотите сразу начать парсить Розетку, да ещё и в 5 потоков без задержек и за пару часов все 15,000 ссылок... )))

Что-то мне подсказывает, что у Вас ничего не получится...

[Kiyoshi]

2 часа назад, caspy сказал:

Добрый день! вчера поставил первый раз крон. не сработал ночю. скажите пожалкцста в настройках ощиблось?

Здравствуй если у вашего хостинга есть документация по настройке крона рекомендую ознакомится с ней там скорей всего приведены примеры команд запуска для скрипта через wget. Возьмите пример команды и замените в нем адрес на http://ваш_сайт/admin/sp_cron.php

 

Касательно настроек Менеджер заданий (CRON) то @Axelenz прав не стоит вам парсить в 5 потоков да еще и без пауз так как словите бан в течений 1 ... 2 минут может и быстрее и тогда без нескольких прокси + пауза вам не обойтись.

[caspy]

вы не правильно поняли название. создаем api для заказов. нам нужно id товаров id товаров на opencart )хотели парсить через наш xml.

wget 'http://ваш_сайт/admin/sp_cron.php' 

єто команда достатычно?

[Flint2000]

6 хвилин назад, caspy сказав:

вы не правильно поняли название. создаем api для заказов. нам нужно id товаров id товаров на opencart )хотели парсить через наш xml.

wget 'http://ваш_сайт/admin/sp_cron.php' 

При чем тут ваш API к крону simple pars?

[Kiyoshi]

2 часа назад, caspy сказал:

wget 'http://ваш_сайт/admin/sp_cron.php' 

єто команда достатычно?

Если так рекомендует хостинг то достаточно будет.

[Dmitry76]

Всем привет! 
Кто временем богат?
Есть потребность спарсить один сайт, и вписать его товары в уже существующие на моем сайте(категории позаменять, а также атрибуты).
Если поможете, готов обсудить условия, в личку. 

[Flint2000]

33 хвилини назад, Dmitry76 сказав:

Есть потребность спарсить один сайт, и вписать его товары в уже существующие на моем сайте(категории позаменять, а также атрибуты).

Артикулы или ID общие есть?

[specialforce22]

Как думаете есть шанс такое спарсить - нет отдельных страниц товара, а доп-фото в поупап окне - https://opt.mattioli-bags.com/briefcases/ (http://mattioli-bags.com/) - у них есть розничный ИМ, но, к сожалению, не идентичный товар, надо с оптовой части тянуть.

Поставщик, блн, ни файл CSV, ни XML, ни карты, ни с сайта содрать.

Я как то сразу поставил крест на парсинге, о вдруг я не шарю и есть решение!

 

@Flint2000 @Kiyoshi

@partshez

 

Поглядите? 

Моих навыков недостаточно, за дельный совет готов с удовольствием выделить требуемые ассигнации)))

P.S. Сегодня ровно год, как поступления руками бью - засвистела фляга от нового поступления 

[AlexFurs]

Подскажите как решить проблему: При "парсинг в ИМ" в предварительном просмотре происходит изменение цены, статуса наличие и тд. Но по факту на сайте не обновляется информация. 

[partshez]

22 минуты назад, AlexFurs сказал:

Подскажите как решить проблему: При "парсинг в ИМ" в предварительном просмотре происходит изменение цены, статуса наличие и тд. Но по факту на сайте не обновляется информация. 

Парсинг в ИМ. Для каждого поля выставить Действие ПРИ обновлении. Обновлять- Не обновлять...

https://prnt.sc/1znxub5

Змінено 15 листопада 2021 користувачем partshez

[Flint2000]

@specialforce22 Такое не спарсить, там аяксом инфа о товаре подгружается

[specialforce22]

34 минуты назад, Flint2000 сказал:

Такое не спарсить, там аяксом инфа о товаре подгружается

 

Хех

[ShIgor]

Подскажите, пожалуйста, можно ли использовать оператор if в остатках. Ситуация следующая. Есть сайт донор. У него отображаются несколько складов. Один в наличии в стране, второй - под заказ из другой страны. И в первом случае и во втором указано количество. Я беру данные в "наличии" или "под заказ" Я хочу, чтобы если есть в наличии, то выводило к-во, если "под заказ", то 0. 

или 

Правильно ли я задаю условие {if[{gran_"проверка наличия"}{=}1]{gran_"количество"}. Подскажите, пожалуйста, правильно ли я мыслю или я убежал не в ту сторону и вообще нельзя использовать оператор if в остатках

 

Змінено 16 листопада 2021 користувачем ShIgor

[Flint2000]

2 хвилини назад, ShIgor сказав:

Подскажите, пожалуйста, можно ли использовать оператор if в остатках.

Можно использовать

[ShIgor]

Подскажите, пожалуйста, правильно ли вообще выражение {if[{gran_1"проверка наличия"}{=}1]{gran_2"количество"}    ?

[AlexFurs]

20 часов назад, partshez сказал:

Парсинг в ИМ. Для каждого поля выставить Действие ПРИ обновлении. Обновлять- Не обновлять...

https://prnt.sc/1znxub5

Все так и сделал, до этого парсинг через ИМ работал. Не могу понять, может нужно где-то еще какие настройки выставить? Как еще получить обновление модуля? Покупал через др аккаунт 2 года назад. Не могу найти какой, 2 года назад. Автор в отпуске до 21

Змінено 16 листопада 2021 користувачем AlexFurs

[Flint2000]

10 хвилин назад, ShIgor сказав:

Подскажите, пожалуйста, правильно ли вообще выражение {if[{gran_1"проверка наличия"}{=}1]{gran_2"количество"}    ?

Синтаксис правильный, а работоспособность зависит от того, какие данные сюда попадут.