[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

13 минут назад, REVO123 сказал:

http://joxi.ru/4Ak77xou0zkkQA

http://joxi.ru/KAgxx3oHN8KNNr

http://joxi.ru/bmoqq7zc7Jy70A

На проверке норм выходит 

Здравствуйте.
Вы же сами можете перейти по ссылки на фото из ваших логов и увидеть что такого фото нет.
 

Спойлер

 

Все модуль делает верно.
Проверяйте внимательно свои настройки.

[g2grs]

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

[REVO123]

8 минут назад, Rassol2 сказал:

Здравствуйте.
Вы же сами можете перейти по ссылки на фото из ваших логов и увидеть что такого фото нет.
 

  Показать контент

 

Все модуль делает верно.
Проверяйте внимательно свои настройки.

Да не понятно почему ещё светится вторая ссылка после прочерка и откуда берётся вообще прочерк не понятно, я вам скинул же настройки вроде всё правильно 

[REVO123]

2 минуты назад, g2grs сказал:

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

Тут всё идеально для парсинга 

[Rassol2]

1 минуту назад, REVO123 сказал:

Да не понятно почему ещё светится вторая ссылка после прочерка и откуда берётся вообще прочерк не понятно, я вам скинул же настройки вроде всё правильно 

Она берется от ваших настроек.
Проверяйте их.
То что вы скинули ни о чем не говорит. Но в логе видно какая ссылка попала на скачивание фото, и видно что ссылки такой не существует.

Проверяйте внимательно свои настройки.

[g2grs]

1 минуту назад, REVO123 сказал:

Тут всё идеально для парсинга 

 

))) идеально это как ? 

[Rassol2]

3 минуты назад, g2grs сказал:

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

Не понятно на что отвечать
Вы можете задать конкретный вопрос, что именно вы не можете сделать. И тогда можно будет рассмотреть.

[g2grs]

5 минут назад, Rassol2 сказал:

Не понятно на что отвечать
Вы можете задать конкретный вопрос, что именно вы не можете сделать. И тогда можно будет рассмотреть.

 

Ну я пытаюсь со страницы спарсить ссылки на товары - задаю границы - как я понял это row catalogTovar - начало и .paging-nav ul  а это конец ссылок ... только он чего то ничего не выводит....

 

[Rassol2]

2 минуты назад, g2grs сказал:

 

Ну я пытаюсь со страницы спарсить ссылки на товары - задаю границы - как я понял это row catalogTovar - начало и .paging-nav ul  а это конец ссылок ... только он чего то ничего не выводит....

 

Вот сделал.
 

Спойлер

 

[g2grs]

35 минут назад, Rassol2 сказал:

Вот сделал.
 

  Скрыть контент

 

спасибо попробую

[REVO123]

Вот допустим код 

1. <a class="main-image" href="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" data-number="0"><img class="img-responsive" src="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-400x400.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" alt="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" itemprop="image" />

Я ставлю границу

<a class="main-image" href="

и закрываю "

В предпросмтре страницы получаю результат 

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg

А в предпросмотре парсинга я получаю битое изображение и ссылки на них

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg
  (вот с таким пробелом)                              https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg 
https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-300-3-750x750-800x800.jpg
 

 

[Rassol2]

1 минуту назад, REVO123 сказал:

Вот допустим код 

1. <a class="main-image" href="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" data-number="0"><img class="img-responsive" src="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-400x400.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" alt="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" itemprop="image" />

Я ставлю границу

<a class="main-image" href="

и закрываю "

В предпросмтре страницы получаю результат 

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg

А в предпросмотре парсинга я получаю битое изображение и ссылки на них

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg
  (вот с таким пробелом)                              https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg 
https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-300-3-750x750-800x800.jpg

берет одну и туже ссылку с одними и теми же настройками, вставляете в пред просмотр
Затем парсите ее.
И смотрите два лога. И они будут идентичны. По другому быть не может.

То что вы сверху прислали мне ни о чем не говорит, так как я не вижу действительной настройки вашего проекта.
Но тут 100500% вопрос с настройкой.

Хотите присылайте доступ к фтп и админке магазина и я посмотрю как будет время.

[Rassol2]

@REVO123 И что же оказалось.
Оказалось ровно то что я вам и писал. Ваши настройки и в пред просмотре и в парсинге в интернет магазин, все одинаково а не так как вы пишите.

Это касается не только него, ребята ну если написали проверьте настройки, но возьмите да проверьте их.
По проблеме видно где она может быть технической, а где нет.

Вот вам пример!

Спойлер

Смотрим лог, видем проблему о которой говорит пользователь. @REVO123
Копируем ссылку на товар из лога и идем в пред просмотр товара.

Вставляем ссылку и включаем пред просмотр.
И видим вот эта же битое фото!!!
 

Спойлер

Все мы уверены что с ссылкой что то не так. Идем смотреть что там в поиск замене по этому вопросу с этой границей парсинга
Смотрим какие границы парсинга используются для фото.
 

Спойлер

Открываем поиск замену, первую границу парсинга, вставляем туже ссылку из лога жмем преобразовать и смотрим что у нас.
 

Спойлер

И видем что в первой границе одна ссылка.
Но в логе склеено две.

Что это значит ?
правильно нет разделителя между первой границей парсинга и второй в настройках им.

Идем в настройки интернет магазина.
И вставляем разделитель так как это написано в инструкции, так как об этом говорится в виде, так как это делается во всех границах парсинга.
 

Спойлер

Вот так!!!!
 

Спойлер

Запускае и видем, о чудо все заработало!
 

Спойлер

Главный меседж, если попросили проверить настройки.
Откройте инструкцию пересмотрите видео освежите память, и возьмите и проверьте настройки.

Если написано в логе кривая ссылка на фото, то черт побери она кривая приходит. И именно ваши настройки отвечают за то какая ссылка будет отправлена на парсинг фото. И именно настройки. Все что вам нужно сделать это пройтись по все настройкам и найти где вы глупость написали.
И это быстрее чем продолжать задавать один и тот же вопрос ожидая какой то новый ответ.

[Starychenko]

@Rassol2 Добрый день.

Есть предложение по внедрению нового функционала. Возможно это будет полезно для кого-то ?

Рассмотрите, пожалуйста, возможно добавить управление количеством и периодами повторных авторизаций, в случае, если при сборе ссылок и парсинге произошёл сбой авторизации. Я заметил, что у меня периодически вылетает авторизация. После двух - трёх попыток повторной авторизации самого модуля - модуль завершает работу и переходит к следующему заданию.

И если Вам не трудно - подскажите, пожалуйста, как решить такую задачу:

 

1. Парсим цену. Получаем исходный текст "2 500 руб."
2. Удаляем лишнее с помощью регулярного выражения {reg[#([\s\D])#]}|
3. Делим число и округляем вверх до 1 с помощью наценки {1|>}*0.000000001

 

На выходе я получу значение 1 , в случае, если цена была. И 0, если цены не было.
Задача чтобы 1 умножалась на 9999, что по итогу эта граница использовалась для количества товара.
В случае, если исходное число было бы равно нулю, то умножение на 9999 приводит к нулю и количество ноль.

Добавить в начало или в конец значение 9999 не подходит, так как в случае, если значение после обработки равно нулю - к нему прибавляется 9999 и мы получаем 09999 или 99990. Что не подходит.

Подскажите, пожалуйста, как решить эту задачу.

[Rassol2]

20 минут назад, Starychenko сказал:

Есть предложение по внедрению нового функционала. Возможно это будет полезно для кого-то ?

Рассмотрите, пожалуйста, возможно добавить управление количеством и периодами повторных авторизаций, в случае, если при сборе ссылок и парсинге произошёл сбой авторизации. Я заметил, что у меня периодически вылетает авторизация. После двух - трёх попыток повторной авторизации самого модуля - модуль завершает работу и переходит к следующему заданию.

Управления количество авторизацией будет но это уже в следующем цикле по работе с авторизацией.
Теперь нужно много времени что бы попользоваться этим и определить что было удачным что нет, и как дальше развивать этот функционал.
Будет но не скоро.

 

23 минуты назад, Starychenko сказал:

И если Вам не трудно - подскажите, пожалуйста, как решить такую задачу:

 

1. Парсим цену. Получаем исходный текст "2 500 руб."
2. Удаляем лишнее с помощью регулярного выражения {reg[#([\s\D])#]}|
3. Делим число и округляем вверх до 1 с помощью наценки {1|>}*0.000000001

 

На выходе я получу значение 1 , в случае, если цена была. И 0, если цены не было.
Задача чтобы 1 умножалась на 9999, что по итогу эта граница использовалась для количества товара.
В случае, если исходное число было бы равно нулю, то умножение на 9999 приводит к нулю и количество ноль.

Добавить в начало или в конец значение 9999 не подходит, так как в случае, если значение после обработки равно нулю - к нему прибавляется 9999 и мы получаем 09999 или 99990. Что не подходит.

Подскажите, пожалуйста, как решить эту задачу.

Как я понимаю вам глубоко все равно сколько будет количество, главное что бы много.
Странная задача, я бы просто указал в количество цену. При желении умножил бы ее на 100 для уверенности что количества будет овер много.
То есть если цена 2500*100 = 250000
А если цена 0 * 100 = 0

Товары без цены имею  количество, 0 товары с ценой количество овер много.
Если говорить о добавлении в начало или в конец, вы всегда можете сделать добавление вот так {+}9999 и это число будет складывается а не склеивается.

Если я конечно правильно понял вашу задачу.

[Starychenko]

31 минуту назад, Rassol2 сказал:

Управления количество авторизацией будет но это уже в следующем цикле по работе с авторизацией.
Теперь нужно много времени что бы попользоваться этим и определить что было удачным что нет, и как дальше развивать этот функционал.
Будет но не скоро.

 

Как я понимаю вам глубоко все равно сколько будет количество, главное что бы много.
Странная задача, я бы просто указал в количество цену. При желении умножил бы ее на 100 для уверенности что количества будет овер много.
То есть если цена 2500*100 = 250000
А если цена 0 * 100 = 0

Товары без цены имею  количество, 0 товары с ценой количество овер много.
Если говорить о добавлении в начало или в конец, вы всегда можете сделать добавление вот так {+}9999 и это число будет складывается а не склеивается.

Если я конечно правильно понял вашу задачу.

 

Спасибо большое за совет. Я слишком сильно зациклился на своей идеи с умножением единицы и даже не подумал про умноженную цену или просто цену в количество. Одна из тех ситуаций когда нужен свежий взгляд ))

[Shulz80]

Здравствуйте. Подскажите что делать если донор заблокировал доступ за аномальную активность. Крест на доноре или это временное явление?

[Rassol2]

5 минут назад, Shulz80 сказал:

Здравствуйте. Подскажите что делать если донор заблокировал доступ за аномальную активность. Крест на доноре или это временное явление?

Здравствуйте.
Использовать прокси. Что такое прокси можете прочесть в интернете.
Как отобрать прокси в модуле, описано здесь.
https://simplepars.top/index.php?page=note&n=13

Ну и не злоупотреблять.
PS. Кстати некоторые сайты сбрасывают списки заблокированных ip так что периодически бывают разблокировки от донора.

[Rassol2]

7 минут назад, Shulz80 сказал:

Здравствуйте. Подскажите что делать если донор заблокировал доступ за аномальную активность. Крест на доноре или это временное явление?

Не за что.
Рад что помог.

[Reanimaster]

Добрый день. Вопрос по проксям.
Предположим я купил пачку проксей. Какие то донор банит.
Как ведет себя парсер в том случае если ссылка обрабатывается проксей, которая забанена, просто переходит к следующей ссылке, или пытается повторить с помощью других прокси из списка?
Спасибо.

[partshez]

4 минуты назад, Reanimaster сказал:

Добрый день. Вопрос по проксям.
Предположим я купил пачку проксей. Какие то донор банит.
Как ведет себя парсер в том случае если ссылка обрабатывается проксей, которая забанена, просто переходит к следующей ссылке, или пытается повторить с помощью других прокси из списка?
Спасибо.

Насколько я помню, переходит к следующей ссылке и берет следующий прокси.

Время от времени производите проверку прокси и использовать из списка проверенных

[Rassol2]

1 час назад, Reanimaster сказал:

помощью других прокси из списка?

Пропускает и переходит к следующей.
 

[Reanimaster]

1 час назад, Rassol2 сказал:

Пропускает и переходит к следующей.

Я правильно понял, пытается обработать ссылку с помощью первой найденной живой прокси?

[partshez]

15 минут назад, Reanimaster сказал:

Я правильно понял, пытается обработать ссылку с помощью первой найденной живой прокси?

Нет. Попробовал ссылку и прокси. Не получилось. Бросил, пошел дальше. Ссылка не обработана. Прокси в следующий раз по очереди опять попытается отработать ссылку. Не получилось. Уже две ссылки не обработаны... И так далее. Этот прокси срочно отключить

Змінено 9 липня 2021 користувачем partshez

[Malciska]

Прокси - Шмокси 🤷‍♂️

Может кто подскажет каким способом можно защититься от парсинга?

Cloudfare - поможет?