[Поддержка] SimplePars - Універсальний парсер для ІМ

[partshez]

49 минут назад, ragnarssongc сказал:

Необходимо спарсить товары из 6 сайтов и поставить на обновление.

Написал в личку

[Mixxxa163]

Добрый день, испытываю затруднения со сбором ссылок на товар с донора https://www.balluff.com/ru-ru/products/areas/A0001/groups/G0101/products/F01102?page=1&perPage=10

 

Собирает только с 1 страницы категорий, по пагинации не проходит. указывал область сбора, сам блок с товарами в категории, как на ссылке, все равно не получается. Кода такой брал:

<div id="product-table" class="flex-1 lg:w-2/3 lg:pl-8 xl:pl-12" x-data="{showColumnPicker: $wire.entangle('showColumnPicker')}">

<button class="rounded-md w-7 h-8 flex items-center justify-center bg-gray-100  text-gray-500" wire:click="nextPage">

 

1377 страниц собирает.

 

Буду очень признателен за помощь..

[partshez]

14 минут назад, Mixxxa163 сказал:

Добрый день, испытываю затруднения со сбором ссылок на товар с донора https://www.balluff.com/ru-ru/products/areas/A0001/groups/G0101/products/F01102?page=1&perPage=10

Буду очень признателен за помощь..

Сбор ссылок. Старт! Пробуйте.

SPsetting-637.json

[Mixxxa163]

45 минут назад, partshez сказал:

Сбор ссылок. Старт! Пробуйте.

SPsetting-637.json 5 \u043a\u0411 · 1 download

благодарю! забываю посмотреть сайтмап)..

[partshez]

Что-то я притупил. https://prnt.sc/26vllcx  Правила допуска. Загружать, если содержит.**HD камеры|IP-камеры** Через разделитель | . Вроде бы должно срабатывать. Не срабатывает! https://prnt.sc/26vlmzh  Не пойму, в чем проблема. Подскажите, пожалуйста!

Мне нужно указать несколько категорий, из которых будет загружаться товар. Из других категорий - не загружать

Или Правилами замены присвоить нужным категориям значение 1 и по этому значению делать допуск? Так нормально получается...

Змінено 14 лютого 2022 користувачем partshez

[Axelenz]

45 минут назад, partshez сказал:

HD камеры|IP-камеры

А после поиска/замены в какой вид превращается эта фраза ? Т.е. она же трансформируется как-то в "HD камеры{csvnc}IP-камеры" ?

[partshez]

1 минуту назад, Axelenz сказал:

А после поиска/замены в какой вид превращается эта фраза ? Т.е. она же трансформируется как-то в "HD камеры{csvnc}IP-камеры" ?

Мысль была такой. https://prnt.sc/26vmm90  Если в категориях есть HD камеры или IP-камеры, такой товар загружать...

[climatyuga]

6 минут назад, partshez сказал:

Мысль была такой. https://prnt.sc/26vmm90  Если в категориях есть HD камеры или IP-камеры, такой товар загружать...

Подскажите, как вы находите ссылки на сайтмап?

[partshez]

1 минуту назад, climatyuga сказал:

Подскажите, как вы находите ссылки на сайтмап?

В ссылках на товар нет категории... Если разговор про фильтрацию на уровне ссылок

Вопрос был только в одном. Почему не срабатывает правило на уровне разделителя * | *. Больше вопросов нет

Или Ваш вопрос не относится к моему? Нахожу через /robots.txt

Змінено 14 лютого 2022 користувачем partshez

[climatyuga]

2 часа назад, partshez сказал:

Сбор ссылок. Старт! Пробуйте.

SPsetting-637.json 5 \u043a\u0411 · 6 downloads

не туда вопрос прикрепил, сюда

[partshez]

2 минуты назад, climatyuga сказал:

не туда вопрос прикрепил, сюда

Нахожу через /robots.txt. И немного шевелю мозгами дополнительно . 

https://prnt.sc/26vmuke  https://prnt.sc/26vmv86

Змінено 14 лютого 2022 користувачем partshez

[Axelenz]

13 минут назад, partshez сказал:

Мысль была такой. https://prnt.sc/26vmm90  Если в категориях есть HD камеры или IP-камеры, такой товар загружать...

Не видя всей картины, трудно что-то сказать. Может Вы вносите изменения и по итогу в границе получается немного другой текст, чем указываете.

Но я бы всё рано рекомендовал в этом месте сводить всё к более простым конструкциям, типа: "download" и "notdownload"... причём используя англоязычные тексты... хотя может это у меня привычка системотехника... не любовь Windows к кириллице ) 

Змінено 14 лютого 2022 користувачем Axelenz

[climatyuga]

1 минуту назад, partshez сказал:

Нахожу через /robots.txt. И немного шевелю мозгами дополнительно . 

согласен, глупый вопрос

[partshez]

Только что, climatyuga сказал:

согласен, глупый вопрос

https://prnt.sc/26vmuke  https://prnt.sc/26vmv86

[Nijest]

18 часов назад, Rassol2 сказал:

Я такое правило не смог составить так что в этом вопросе я не помогу. 

В другом месте подсказали вот этот вариант. Дубли строк действительно убрал.

{reg[#^(.*?)\R+(?=(?s:.*?)^\1$)#m]}|

^ - начало строки

(.*?) - Первая захватывающая подмаска: ноль и более любых символов кроме перевода на новую строку, как можно меньше

\R+ - одна и более последовательностей перехода на новую строку

(?= - начало блока предварительного просмотра вперёд:

(?s:.*?) - ноль и более любых символов, как можно меньше

^ - начало строки

\1 - то же значение, что и в первой подмаске

$ - конец строки

) - конец блока предварительного просмотра вперёд

Змінено 14 лютого 2022 користувачем Nijest

[Axelenz]

19 минут назад, Nijest сказал:

\R+ - одна и более последовательностей перехода на новую строку

если "возврат каретки" это в регулярных выражениях: \r то разве \R это не отрицание \r ?

[Yaroslav565]

Доброго времени суток. Никак не получается спарсить SEO url. В предпросмотре нормально формирует по названию, в логах все успешно создается, в итоговом товаре ничего нет. Язык один. 

ocStore 3.0.3.7
SimplePars v4.9 stable

[partshez]

44 минуты назад, Yaroslav565 сказал:

Доброго времени суток. Никак не получается спарсить SEO url. В предпросмотре нормально формирует по названию, в логах все успешно создается, в итоговом товаре ничего нет. Язык один. 

ocStore 3.0.3.7
SimplePars v4.9 stable

Проверьте в карточке товара. Если правильный url видите, значит, держит какой-то кеш (Опенкарт, шаблон, хостинг). Попробуйте посмотреть завтра...

Или же на сайте есть какой-то модуль СЕО url, который создает url товара согласно своим настройкам. 

В первую очередь смотрите url в карточке товара!   https://prnt.sc/26vqvi1 Модуль Симплпарс записывает информацию в это поле

Змінено 14 лютого 2022 користувачем partshez

[Rassol2]

8 часов назад, partshez сказал:

Что-то я притупил. https://prnt.sc/26vllcx  Правила допуска. Загружать, если содержит.**HD камеры|IP-камеры** Через разделитель | . Вроде бы должно срабатывать. Не срабатывает! https://prnt.sc/26vlmzh  Не пойму, в чем проблема. Подскажите, пожалуйста!

Мне нужно указать несколько категорий, из которых будет загружаться товар. Из других категорий - не загружать

Или Правилами замены присвоить нужным категориям значение 1 и по этому значению делать допуск? Так нормально получается...

Здравствуйте.
Я не помню что бы там был такой подход, я где то писал об этом ?
Что то я уже подзабыл

Суть в том что если вы хотите одним правилом отсеет множество вариантов вам нужно поступить следующим методом.
Создаете отдельную границу под проверки.
Через поиск замену заменяете нужный текст на цифру один "1"
А в границах допуска просто проверяете граница равна единицы или нет.

В такой границе парсинга можно указать хоть 100 разных текстов которые вам нужны, и с этим удобнее и нагляднее работать чем указывать все в поле допуска.

[egortide]

В 07.09.2021 в 22:33, Rassol2 сказал:

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите там строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем идете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперь модуль может работать в 10 потоков в парсинге в им.

Помнится вы отвечали на мой вопрос как увеличить кол-во потоков. А скажите пожалуйста, как это сделать в настройке крона? 

[Yaroslav565]

13 часов назад, partshez сказал:

Проверьте в карточке товара. Если правильный url видите, значит, держит какой-то кеш (Опенкарт, шаблон, хостинг). Попробуйте посмотреть завтра...

Или же на сайте есть какой-то модуль СЕО url, который создает url товара согласно своим настройкам. 

В первую очередь смотрите url в карточке товара!   https://prnt.sc/26vqvi1 Модуль Симплпарс записывает информацию в это поле

Я карточку товара и имел в виду. Там пусто. 
https://i.imgur.com/rFba820.png
Модулей никаких нет, только включенный seopro в настройках. Его отключение не помогло

Змінено 15 лютого 2022 користувачем Yaroslav565

[climatyuga]

3 минуты назад, Yaroslav565 сказал:

Я карточку товара и имел в виду. Там пусто. 
https://i.imgur.com/rFba820.png

https://prnt.sc/26w2d9a  в сео шаблоне все включено?

[Yaroslav565]

4 минуты назад, climatyuga сказал:

https://prnt.sc/26w2d9a  в сео шаблоне все включено?

Конечно, я же написал, что в предпросмотре и логах парсера все нормально.

[partshez]

49 минут назад, Yaroslav565 сказал:

Конечно, я же написал, что в предпросмотре и логах парсера все нормально.

В предпросмотре нормально. В карточке пусто. Значит, не дана команда модулю загрузить/обновить url. Смотрите внимательнее настройки. Чудес не бывает.

В предпросмотре видите, что модуль МОЖЕТ загрузить. Но, чтобы он загрузил эту информацию, нужно дополнительно дать ему команду в настройках.

Как вариант, переустановите модуль строго по инструкции. Возможно, нет каких-то прав для записи информации в базу данных.

Змінено 15 лютого 2022 користувачем partshez

[Yaroslav565]

1 час назад, partshez сказал:

В предпросмотре нормально. В карточке пусто. Значит, не дана команда модулю загрузить/обновить url. Смотрите внимательнее настройки. Чудес не бывает.

В предпросмотре видите, что модуль МОЖЕТ загрузить. Но, чтобы он загрузил эту информацию, нужно дополнительно дать ему команду в настройках.

Как вариант, переустановите модуль строго по инструкции. Возможно, нет каких-то прав для записи информации в базу данных.

Опять же, повторяю, что все настройки активны, в предпросмотре все ок, в логах url создает. В товаре не появляется. Хватит писать мне про проверку настроек и прочее. 
https://i.imgur.com/OJeT7vw.png

Спойлер

2022-02-15 09:18:10| ->[SEO_URL Создан] : product_id=*** | SEO_URL= ***