[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

7 часов назад, Axelenz сказал:

  Показать контент

Всё там можно спарсить... но не с Вашими настройками...

В браузере такую же картинку и я Вам показывал. Без логотипа. 

Может быть с ВАШИМИ настройками это получится? Кроме слов пока от Вас ничего не получил, к сожалению. Из пустого в порожнее переливаете. 

Есть решение - подскажите. Бесплатно (или платно) не хотите помогать - к чему разговоры? 

[Rassol2]

22 минуты назад, partshez сказал:

В браузере такую же картинку и я Вам показывал. Без логотипа. 

Может быть с ВАШИМИ настройками это получится? Кроме слов пока от Вас ничего не получил, к сожалению. Из пустого в порожнее переливаете. 

Есть решение - подскажите. Бесплатно (или платно) не хотите помогать - к чему разговоры? 

так ссылка что вы даете и в браузере открывается с водным знаком.
 

Спойлер

Если ссылка ведет на фото с водяным знаком, то там и будет водный знак.
Исчите ссылку на фото без него.
Если такое кончено есть.

[asokr]

2 hours ago, Rassol2 said:

Общая очередь для всех заданий.
А вы уверены что парсинг не идет по десятому кругу ?
Вы не забыли использовать таймаут. Если нет таймаута то будет одно и тоже делать пока не закончится период времени.

Аналогия.
У вас есть сотрудник в кафе, вы сказали ему мыть посуду с 0-5 часав. Он закончил мыть в два часа. Таймаут вы ему не даете.
Видите что он ничего не делает после двух часов. Что вы скажете ?
Почему бездельничает!!!!

И что бы такого не было, сотрудник будет мыть посуду без остановки. с 0-5 его может остановить только.
1. Окончания времени в которое он должен мыть.
2. Официально разрешенный перекур после выполнения задания (таймаут)
 

Заданий на день может быть много, но сотрудник у вас один. И он бегает от задания к заданию. В момент тайм аута одного здания сотрудник может выполнять другое.

 

 

Аналогия понятна  Но как парсить один раз - я же не могу угадать, сколько это по времени займет. Таймаут только для этого задания? (есть мануал по крону?)

И по крону сразу два парсинга выполняется? Если у них у обоих очередь, к примеру - 2 (после сбора ссылок) ?

[Rassol2]

3 минуты назад, asokr сказал:

Аналогия понятна  Но как парсить один раз - я же не могу угадать, сколько это по времени займет. Таймаут только для этого задания? (есть мануал по крону?)

И по крону сразу два парсинга выполняется? Если у них у обоих очередь, к примеру - 2 (после сбора ссылок) ?

https://simplepars.top/index.php?page=notes&tag_id=27

 

ну если антология понятно то почему вы считаете что возможно и мыть посуду и садить огурца одновременно ?
не можете угадать и не нужно для этого и есть таймаут.
Указали выполнять с 0-5 это пять часов. Поставьте таймаут 5ч
Все раз в сутки будет выполнятся.

Если тайм аут указывается у каждого задания отдельно, то логично что тайм аут распространяется на то задание на которое вы указали.

 

5 минут назад, asokr сказал:

Если у них у обоих очередь, к примеру - 2 (после сбора ссылок) ?

Если очередь одинаковая то первым начнет выполнятся то задание которое база данных отдаст модулю первым. Как правило это то задание что было первым создано в кроне. Но это не гарантируется, как написано в мануале Mysql

[partshez]

22 минуты назад, Rassol2 сказал:

так ссылка что вы даете и в браузере открывается с водным знаком.
 

  Скрыть контент

Если ссылка ведет на фото с водяным знаком, то там и будет водный знак.
Исчите ссылку на фото без него.
Если такое кончено есть.

Понятно. Это заморочки моего браузера Хром. Нет фото без логотипа у донора на странице сайта. Жаль.

[Rassol2]

10 минут назад, partshez сказал:

Понятно. Это заморочки моего браузера Хром. Нет фото без логотипа у донора на странице сайта. Жаль.

тут у него хитрость.
Водный знак появляется после определенного разрешения.
То есть фото до размера в 300х300 без водного знака свыше с водным.
Вот прмиер.

Без

Спойлер

https://cdn.vseinstrumenti.ru/images/goods/rashodnie-materialy/klimat-obor/842940/300x300/51675950.jpg

Добавляем на один пиксель и уже с.
 

Спойлер

https://cdn.vseinstrumenti.ru/images/goods/rashodnie-materialy/klimat-obor/842940/301x301/51675950.jpg

 

[Axelenz]

1 час назад, partshez сказал:

Понятно. Это заморочки моего браузера Хром. Нет фото без логотипа у донора на странице сайта. Жаль.

Нет там никаких заморочек... Я провозился с Вашими настройками, думал, что там всё нормально и действительно нельзя стянуть фото, а потом просто посмотрел... и сделал всё правильно.

[partshez]

8 минут назад, Axelenz сказал:

Нет там никаких заморочек... Я провозился с Вашими настройками, думал, что там всё нормально и действительно нельзя стянуть фото, а потом просто посмотрел... и сделал всё правильно.

Вы гений! Все у Вас получается...  Только мне от этого не легче. 

Решения моего вопроса так и не будет? 

Что ВСЕ ПРАВИЛЬНО? Можно спарсить фото в данном разрешении без водяного знака или нельзя? Так я и не понял. Если можно - как это сделать?

[Axelenz]

 

43 минуты назад, partshez сказал:

Если можно - как это сделать?

Почитайте про Повторяющиеся границы парсинга...

Как я только не пробовал, как не менял границу - а оно парсит и парсит картинку и без всяких водяных знаков...

Тут самая простая задача - ничего гениального...

Спойлер

 

Змінено 24 березня 2021 користувачем Axelenz

[Axelenz]

24 минуты назад, partshez сказал:

Можно спарсить фото в данном разрешении без водяного знака или нельзя? Так я и не понял.

А я сбрасывал фотографию уже спарсенного товара без логотипа со своего магазина на локалке, ну если Вы понимаете, что на фотографии изображено...

 

[Rassol2]

11 минут назад, Axelenz сказал:

Почитайте про Повторяющиеся границы парсинга...

Как я только не пробовал, как не менял границу - а оно парсит и парсит картинку и без всяких водяных знаков...

Тут самая простая задача - ничего гениального...

Я кстати тоже не догнал.
Я вижу что там есть фото в размере 461x415 оно без водного знака. Его можно взять.
Вы про это говорите, или вы нашли решение как парсить фото в высоком качестве без водного знака ?

[Axelenz]

4 минуты назад, Rassol2 сказал:

вы нашли решение как парсить фото в высоком качестве без водного знака ?

Спойлер

Вы про это ?

[Rassol2]

3 минуты назад, Axelenz сказал:

  Показать контент

Вы про это ?

Я имел в виду

 

9 минут назад, Rassol2 сказал:

Я вижу что там есть фото в размере 461x415 оно без водного знака. Его можно взять.
Вы про это говорите, или вы нашли решение как парсить фото в высоком качестве без водного знака ?

А то что вы написали мне ни о чем не говорит.
Ну да ладно, у меня и без этого много работы.

[Axelenz]

10 минут назад, Rassol2 сказал:

Я вижу что там есть фото в размере 461x415 оно без водного знака. Его можно взять.

1200х800 тоже без водного знака...

Спойлер

И я его скачиваю без всяких водных знаков.

Спойлер

 

Змінено 24 березня 2021 користувачем Axelenz

[Rassol2]

Только что, Axelenz сказал:

1200х800 тоже без водного знака...

ну и славно.

[Axelenz]

6 минут назад, Rassol2 сказал:

ну и славно.

Я просто в свободное от работы время читаю интересную книгу

https://simplepars.top/index.php?page=notes&tag_id=21

и ничего более... )

[ilushkin17]

Здравствуйте! Помогите пожалуйста спарсить названия категорий в хлебных крошках сайта https://www.boulanger.com/

 

Файл с настройками и ссылками прилагаю

SPsetting-10.json

[Axelenz]

15 минут назад, ilushkin17 сказал:

Здравствуйте! Помогите пожалуйста спарсить названия категорий в хлебных крошках сайта https://www.boulanger.com/

 

Файл с настройками и ссылками прилагаю

Если по быстрому, то как-то так...

SPsetting-50.json

Спойлер

 

Змінено 24 березня 2021 користувачем Axelenz

[ilushkin17]

16 minutes ago, Axelenz said:

Если по быстрому, то как-то так...

SPsetting-50.json 21.05 MB · 1 download

  Reveal hidden contents

 

Я немного не так выразился наверное. Мне нужно получить названия категорий для дальнейшего использования в Парсинге в ИМ

[Reanimaster]

16 часов назад, partshez сказал:

А решение какое?

Обрати внимание на размер фоток.
PROm так делает часто. Вотермарк на большие фото.

Спойлер

 

[Rassol2]

8 часов назад, ilushkin17 сказал:

Я немного не так выразился наверное. Мне нужно получить названия категорий для дальнейшего использования в Парсинге в ИМ

Вот сделал настройку где только целевая категория в границе.
SPsetting-461.json

[yurok79]

Подскажите как реализовать. Поставщик товары, которые кончились просто убирает из выгрузки и при обновлении получается они не обновляются. Как сделать так чтобы товарам из конкретной выгрузки, которые в ней отсутствуют присвоить значение 0. Выгрузок в магазине несколько и вариант присвоить 0 ВСЕМ отсутствующим не подойдет.

Можно как то реализовать это?

[Flint2000]

@yurok79Создать фильтр со всеми товарами этого проекта в редакторе товаров, добавить действие "изменить кол-во товара" = 0, и сохранить этот шаблон, далее в настройках крона В дополнительных действиях выбрать нужный шаблон редактора товаров и установить его выполнять перед заданием крона

Змінено 25 березня 2021 користувачем Flint2000

[sotavip]

Стоит задача наполнить магазин с прайс от поставщика, имеем только прайс с названием, ценой и категорией. ссылок на картинки, описаний и т.д. нет.
после наполнения необходимо еженедельное обновления цен и наполнение новых позиций с прайса поставщика.
Тематика мобильные телефоны, может кто взять проект напишите предложения в лс

[smagg]

Здравствуйте, нужен ваш совет.

Начал парсить сайт донор, и после парсинга нескольких категорий все остановилось, как оказалось сайт начал выдавать ошибку 502 Bad Gatеway, я так думаю, что я с потоками переборщил (3 потока ставил)

Думаю подожду немного сервер перезагрузят и все норм будет, но теперь там при входе редирект стоит (скрин прикладываю)

Подскажите как быть в такой ситуации? Возможно ли спарсить этот сайт?