[Поддержка] SimplePars - Универсальный парсер для ИМ

[dmitriymkey]

Добрый день, а как парсить товары если сайт отдает "lazyload" загрузку и не отображаются товары и весь контент, как с этим быть? сайт-мапы нет.?

[Kiyoshi]

Здравствуйте чтобы подсказать возможно ли выгрузить с сайта нужно взглянуть на него, ссылку можете скинуть в личку.

 

 

 

[dmitriymkey]

26.05.2022 в 11:32, Kiyoshi сказал:

Здравствуйте чтобы подсказать возможно ли выгрузить с сайта нужно взглянуть на него, ссылку можете скинуть в личку.

 

 

 

ответил вам в личку

[partshez]

Всем привет! Нужна помощь. Не могу пробиться на сайт. https://modernsys.com.ua/zapornyy-ruchnoy-klapan-danfoss-asv-i-20-kvs-2-5-31531-ru.html  

В Логах ошибка 426. Пробовал изменение версии протокола, куки, заголовки. Результата пока нет. В Настройках парсинга вижу только url.

 

[Rassol2]

 

27.05.2022 в 01:01, partshez сказал:

Всем привет! Нужна помощь. Не могу пробиться на сайт. https://modernsys.com.ua/zapornyy-ruchnoy-klapan-danfoss-asv-i-20-kvs-2-5-31531-ru.html  

В Логах ошибка 426. Пробовал изменение версии протокола, куки, заголовки. Результата пока нет. В Настройках парсинга вижу только url.

 

Код ответа на  HTTP 426 Upgrade Required  указывает, что сервер отказывается выполнять запрос с использованием текущего протокола, но может захотеть сделать это после того, как клиент обновится до другого протокола.

 

Переключил на вторую версию и все полетело.

Скрытый текст

 

Вот результат

Скрытый текст

Пробуйте.

[Andr777]

Здравствуйте! нужна помощь)

 

Парсит тайтл:

1)  Omega-3 Fish Oil 1000 mg (100 softgels)

2) Fish Fats Gold (120 caps)

 

Правила поиск замены

{reg[#[^Fish]#]}|  ( выбрать только слово Fish, все остальное удалить)

 

но результат :

1) Fishiss

1) FishFss

 

На разных товарах по разному, на одних Fish выдаст, на других Fishiss

 

Как правильно прописать правило? в нем я так понимаю проблема.

[dvk18]

без скобок или в круглых

[Andr777]

27.05.2022 в 13:56, dvk18 сказал:

без скобок или в круглых

Скобки вокруг [^Fish] я так понимаю? не хочет)) тупо удаляет (но удаляет правильно! ))

 

1) {reg[#(^Fish)#]}|

результат:     Fats Gold (120 caps)

 

2) {reg[#^Fish#]}|

  результат:     Fats Gold (120 caps)

 

 

[Axelenz]

27.05.2022 в 14:15, Andr777 сказал:

Скобки вокруг [^Fish] я так понимаю? не хочет)) тупо удаляет (но удаляет правильно! ))

Если Вы хотите сделать регулярку методом научного тыка, то это надолго...

Придётся всё же почитать хотя бы минимум, что это такое и как оно работает...

 

{reg[#(^Fish)#]}|

как Вы указываете удалить, так оно правильно и удаляет...

 

Вам сюда:

https://simplepars.top/index.php?page=note&n=37

[Andr777]

27.05.2022 в 15:05, Axelenz сказал:

Если Вы хотите сделать регулярку методом научного тыка, то это надолго...

Придётся всё же почитать хотя бы минимум, что это такое и как оно работает...

 

{reg[#(^Fish)#]}|

как Вы указываете удалить, так оно правильно и удаляет...

 

Вам сюда:

https://simplepars.top/index.php?page=note&n=37

Прочитал и не раз))) и не только это! 

Отталкиваюсь от правила   {reg[#[^0-9]#]}| - Удалит из текста все кроме цифр.

 

По делу подсказать можете? ))) 

оно находит похожие буквы, а нужно конкретно то, что указал 

 

Правила поиск замены

{reg[#[^Fish]#]}|  ( выбрать только слово Fish, все остальное удалить)

Змінено 27 травня 2022 користувачем Andr777
добавил текст

[Axelenz]

27.05.2022 в 15:11, Andr777 сказал:

По делу подсказать можете? ))) 

оно находит похожие буквы, а нужно конкретно то, что указал 

Вам вот эти слова читать и читать и читать...

Цитата

Внимание !!!

Везде в заметках написано "удалит", но если вы вставите свой текст после вертикальной черты, то это отработает как заменить. {reg[#Правило что найти#]}|На что заменить
Как работает система поиск-замены описано в этой инструкции
https://simplepars.top/index.php?page=note&n=9

 

[Axelenz]

Цитата

По делу подсказать можете?

Если Вам нужно удалить всё, кроме этого слова Fish, то правило с цифрами, на которое Вы ссылаетесь это совершенно о другом... Вам что-то типа этого нужно:

{reg[#^(.*?)Fish(.*?)$#]}|Fish

Змінено 27 травня 2022 користувачем Axelenz

[Andr777]

27.05.2022 в 15:18, Axelenz сказал:

Если Вам нужно удалить всё, кроме этого слова, то правило с цифрами, на которое Вы ссылаетесь это совершенно о другом... Вам что-то типа этого нужно:

{reg[#^(.*?)Fish(.*?)$#]}|Fish

Урааа!!! ))) СПАСИБО БОЛЬШОЕ! 

[Andr777]

27.05.2022 в 15:14, Axelenz сказал:

Вам вот эти слова читать и читать и читать...

 

Для понимания в чем я ошибся)) 

 

Логика ведь правильная  {reg[#[^Fish]#]}|

находит FishFss ( то что нужно + дубли букв)

 

{reg[#[^Fish]#]}|Fish

 

находит FishFishFFishFishsFishFishFishFishFishFishFishFishFishFishFishFishFishFishsFish ( не вариант был))) )

 

у Вас совсем как то по другому

 

 

[Rassol2]

@Andr777 Вас правильно послали, и то что вы десять раз читали ничего не значит, нужно хотя бы один раз разобраться.

Вы же не будете добавлять клей ПВА в кофе по аналогу с молоком. Вы для начла разбираетесь что такое молоко и почему его добавляют потом смотрите на клей ПВА и понимаете что это что то иное и не стоит его добавлять.

А в вашем случаи вы пишите

27.05.2022 в 07:11, Andr777 сказал:

Отталкиваюсь от правила   {reg[#[^0-9]#]}| - Удалит из текста все кроме цифр.

Это равносильный но что отталкнутся от того что клей пва тоже белый как молоко значит можно налить в кофе.

Если разобраться то получится что в квадратных скобках вы указываете набор [символов]

[0-9] это диапазон символов в данном случаи цифры от 0 до 9 включительно, так как тут есть знак тире. А ^ говорит все кроме диапазона.

 

А ваше

[^Fish]

это набор символов так как нет диапазона.
Но тут есть ^ что гласит исключение.
И того получается взять все кроме символа F символа i символа s символа f

И сделать с ними все что поле |

В вашем случаи удалить.

Вывод такой, нужно разбираться а не делать на подобие, если вы не понимаете, подобие то что вам нужно или нет.

Всех прошу читайте документацию по регулярным выражениям в интернете ее миллиард, так же есть видео на ютубе все что от вас требуется это желание.

Я не придумал регулярные выражения мой модуль просто их поддерживает, так что если они вам нужны в интернете куча информации.

[Rassol2]

27.05.2022 в 07:29, Andr777 сказал:

Логика ведь правильная  {reg[#[^Fish]#]}|

Нет логика не правильная она разносится в дребезги если задать один вопрос.
Вопрос банальный.
Что значит квадратные скобки ?

Или

Зачем квадратные скобки?

 

Вот если бы вы задали этот вопрос сами себе и попробовали на него ответить то логика разлетелась бы в дребезги.

[Rassol2]

Ну и напоследок бомбану перед уходом.

Если вы не чертов самурай у которого свой путь джедая, перед тем как перейти к регулярным выражениям задайте себе вопрос, а они вообще вам нужны ?

Ведь минимум 85% всего решается без них. Просто нужно подумать. Если вы и просто подумали, и непросто подумали и нет решения, тогда одеваем кимано.

В инструкции есть основной блок для всех.

Вот их нужно заучить, или хотя бы знать про их существование, а затем перемешивая в разных комбинациях добиваться успеха.

Скрытый текст

 

Вот результат.

Скрытый текст

 

Регулярки не для всех, потому что они не нужны всем.

[Andr777]

27.05.2022 в 16:01, Rassol2 сказал:

Ну и напоследок бомбану перед уходом.

Если вы не чертов самурай у которого свой путь джедая, перед тем как перейти к регулярным выражениям задайте себе вопрос, а они вообще вам нужны ?

Ведь минимум 85% всего решается без них. Просто нужно подумать. Если вы и просто подумали, и непросто подумали и нет решения, тогда одеваем кимано.

В инструкции есть основной блок для всех.

Вот их нужно заучить, или хотя бы знать про их существование, а затем перемешивая в разных комбинациях добиваться успеха.

  Скрыть содержимое

 

Вот результат.

  Скрыть содержимое

 

Регулярки не для всех, потому что они не нужны всем.

 

Учится, учится и учится)))) на skip смотрел, но потянуло на reg, тем более давало то что нужно на одних товарах 100%,  на других не 100%))

 

Если можно для таких как я на будущее, добавьте как пример {skip}Fish{.*}|Fish или {reg[#^(.*?)Fish(.*?)$#]}|Fish  

 

Спасибо за разъяснения! 

Змінено 27 травня 2022 користувачем Andr777
добавил текст

[Axelenz]

27.05.2022 в 16:13, Andr777 сказал:

Если можно для таких как я на будущее, добавьте как пример {skip}Fish{.*}|Fish или {reg[#^(.*?)Fish(.*?)$#]}|Fish

Это реализовать не возможно, потому, что у Вас такой частный случай. А может кому-то нужно наоборот не сохранять, а удалять Fish, правило будет выглядеть по другому... А кто-то, так же не вникая в регулярные выражения, может подумать, что это всё работает только для слова Fish... и так получится целая книга... а смысла в этом нет, потому, что книг по регуляркам и так хватает...

[Yellow1337]

Добрый вечер.
Скажите пожалуйста, можно ли запускать одновременно парсинг через крон в 5 потоков, с двух разных сайтов которые находятся на одном хостинге и берут информацию с того же донора.
Спасибо.

[partshez]

Крон выполняет задания только в порядке, указанном в Порядке выполнения. Два задания одновременно работать не могут.

Можно запустить одно задание по крон, второе вручную в Парсинг в ИМ.

[Yellow1337]

 

31.05.2022 в 23:28, partshez сказал:

Крон выполняет задания только в порядке, указанном в Порядке выполнения. Два задания одновременно работать не могут.

Можно запустить одно задание по крон, второе вручную в Парсинг в ИМ.

Даже если это два разных сайта которые находятся на разных доменах?

[Axelenz]

31.05.2022 в 23:32, Yellow1337 сказал:

Даже если это два разных сайта которые находятся на разных доменах?

Если у Вас есть 2 разных сайта и на обоих стоит модуль SimplePars, то можете парсить с одного или с разных доноров, без разницы.

Только делать всё равно это необходимо осмысленно, чтобы не нагружать донора своей излишней активностью...

[Yellow1337]

31.05.2022 в 23:40, Axelenz сказал:

Только делать всё равно это необходимо осмысленно, чтобы не нагружать донора своей излишней активностью...

Поэтому и спрашиваю, чтобы понять рамки осмысленного.
Сейчас парсинг производится каждую ночь, в 5 потоков, на протежений 6 месяцев, проблем не возникало.
Но появилась необходимость сделать то же самое с другого сайта, и они будут работать параллельно ночью с 12 до 6 утра.

[Axelenz]

31.05.2022 в 23:50, Yellow1337 сказал:

Поэтому и спрашиваю, чтобы понять рамки осмысленного.

Вы же не пишете самого основного - количество товаров. И что это за действия ? Обновление цены и количества с догрузкой новых товаров ?

Ну и понимать необходимо, что за донор... может это Prom или ещё что...

Вы задаёте вопросы, но не говорите самых важных моментов... а именно в них - всё.

Змінено 31 травня 2022 користувачем Axelenz