[Поддержка] SimplePars - Универсальный парсер для ИМ

[Aspirinnka1]

1 час назад, Rassol2 сказал:

Если не запускаются, ищите проекты которым выделен тот же кусок времени, и убедитесь что они не тратят все это время.

такой проект только два. я специально попробовал его перенести на вечер, т.к. за ночь все проекты не успевали парситься. Порядок выполнения стоит 2 - вот это смущает. Как обрабатываются проекты по порядку выполнения? наступил 21 час и ищется задание с порядком номер 1? после его выполнения номер 2 и т.п.?

А если какой-то номер пропущен? например 1,2,3,5 ?

 

 

Спойлер

 

Змінено 25 січня 2022 користувачем Aspirinnka1

[Aspirinnka1]

1 час назад, partshez сказал:

Для этого проекта я бы выставил часы - звездочку, Таймаут - 20

он долгий ооч. парсится часа 4-5. Боюсь с таймаут 20 я его никогда не спаршу (

Змінено 25 січня 2022 користувачем Aspirinnka1

[partshez]

5 минут назад, Aspirinnka1 сказал:

он долгий ооч. парсится часа 4-5. Боюсь с таймаут 20 я его никогда не спаршу (

Запускается задание в 0 часов и работает до 24 часов, т.е. весь день до окончания работы. Таймаут 20 означает, что данное задание может быть запущено через 20 часов после окончания работы. Т.е. запрещаем запуск данного задания сегодня второй раз. Постарайтесь разобраться в этих цифрах

[Denis8585]

Что то последние время часто этот вопрос стал всплывать.
Допустим у сайта донора 1000 товаров. И все фото он решил именовать вот так.
1.png
2.png
3.png
и того у нас 1000 товаров по три фото, и имена у всех фото одинаковые. Главное фото 1 доп фото 2,3
Вопрос.
У всех товаров одинаковые фото или разные ?

Для ответа на этот вопрос я вижу только два пути.
1) при парсинге каждого фото вычислять его хеш сумму, и вычислять хеш суммы для каждого фото что имеют такое же название у вам в магазине. И если хеш суммы одинаковые то можно сказать что фото одно и тоже. И того при парсинге любого фото у нас возрастает колоссально потребление ресурсов так как НА КАЖДОЕ ФОТО нужно запросить в разных таблицах фото с одинаковыми именами. Затем вычесть хеш суммы и сделать сравнение. И того на товар из 3-5 фото нормально так прирастет. Дальше скорость парсинга колоссально замедлится. Если запрос из базы еше не сильно тормозит, то вычисление хеш сумм каждого фото добавит времени в скорость.
2) написать целый комплекс который будет постоянно при загрузке фото вычислять хеш суммы хранить в отдельной таблице, делая лишние запросы и создавая лишние проблемы. При этом любая загрузка фото не через мой модуль будет ломать всю систему, так как такие фото не будут учитываться. Затем нужно бует написать при удалении товара зачищать фото и данные из этой таблицы, так как фото с такой хеш суммой тоже удалится.
Но любое удаление товара черех сторонний модуль опять же все поломает, так как сторонний модуль не будет беспокоится о хранении актуальной информации об фото в базе симпле парс. И того такой подход не будет работать, он мертво рожденный.
3) В 2022 году, где хостинг стоит 5$ в месяц. А килограмм говядины 8$, можно доплатить 2кг говядины в месяц на дисковое пространство что бы закрыть глаза на это, учитывая что интернет магазин это источник дохода.

Примерно так обстоят дела с дублями фото.

Может рассмотреть вариант проверки именно по названию или пути до фото при парсинге? Если у донора фото одинаково называется, то тут понятно, без вариантов. Но тем у кого доноры не редиски, полезно будет.
Как вариант.

[Aspirinnka1]

43 минуты назад, partshez сказал:

Запускается задание в 0 часов и работает до 24 часов, т.е. весь день до окончания работы. Таймаут 20 означает, что данное задание может быть запущено через 20 часов после окончания работы. Т.е. запрещаем запуск данного задания сегодня второй раз. Постарайтесь разобраться в этих цифрах

Балбес я, думаю об одном, а пишу о другом. Я писал про паузу парсинга. Таймаут я знаю что такое. С кроном разобрался уже давно. И, похоже, что нашел причину НЕзапуска:  только что увидел, что у меня время указано было вот так . А надо 21-00. Скорее всего это и была причина 

Спойлер

 

 

Змінено 25 січня 2022 користувачем Aspirinnka1

[Rassol2]

3 минуты назад, Denis8585 сказал:

Но тем у кого доноры не редиски, полезно будет.

А как я сделаю фунцию и напишу, использовать только тем у кого доноры не редиски.
А те у кого редиски ню ню.

И потом когда мне будут задавать вопрос, умеет ли модуль использовать одно фото вместо 100 ? что мне написать.
Да умеет только если донор не редиска, а потом еше объяснять кто редиской считается а кто нет. А пользователь это тот кто 100% скажет , а ну так у меня у донора нет фото с одинаковым названием, мне все подходит. А потом через недельку в ЛС каждый второй у вас какая то ошибка главное фото путается с дополнительными, и вообще модуль парсит фото которых нет.
И понеслось.
Луче ногу прострелите мне сразу.

Если писать функционал он должен работать для всех. Тут таковой возможности нет.
Ну а кто хочет так сделать он может, возможность такова есть.

[Rassol2]

4 минуты назад, Aspirinnka1 сказал:

Балбес я, думаю об одном, а пишу о другом. Я писал про паузу парсинга. Таймаут я знаю что такое. С кроном разобрался уже давно. И, похоже, что нашел причину НЕзапуска:  только что увидел, что у меня время указано было вот так . А надо 23-00. Скорее всего это и была причина

И обратите внимание что в модуле есть один древний косяк, при определении времени модуль не умеет переступать через 00
То есть вот такое задание будет работать 0-21, а вот такое нет 21-3
При написании этого функционала я допустил оплошность и время линейно от 0-23
Указывать можно только в приделах одних суток, нельзя указать время где посреди периода будет происходить смена суток.
 

[Denis8585]

Нет, нона ваша нам нужна. Вдруг вы ей кодите)
Никто вот только помочь даже со скриптом не может. Тупик

[Rassol2]

1 минуту назад, Denis8585 сказал:

Нет, нона ваша нам нужна. Вдруг вы ей кодите)
Никто вот только помочь даже со скриптом не может. Тупик

Опишите тут как скрипт должен работать, по вашим потребностям.

[Denis8585]

Опишите тут как скрипт должен работать, по вашим потребностям.

Уважаемые знатоки PHP!
Предложите за разумную цену 
В ЛС. Очень нужно, очень жду…

Так вот, писал уже(

[Rassol2]

14 минут назад, Denis8585 сказал:

Так вот, писал уже(

Извините но там я не вижу описания того как вы хотите что бы скрипт работал.
Я же попросил описать как вы видите реализацию, по какому пути вы хотите идти.

[jjoni]

Подскажите, а как найти и заменить символы  ? Вместе с ценой парсаться в таком виде 13 090 

[Rassol2]

Подскажите, а как найти и заменить символы  ? Вместе с ценой парсаться в таком виде 13 090 

Можете вот так
&nbdp;|
Если в поле поиск замены так и виднеется.
Либо так это железный метод.
{reg[#[^0-9,.]#}|
Тогда в границе останется только цена, все остальное улетит.


Отправлено с Телефона используя Tapatalk

[jjoni]

31 минуту назад, Rassol2 сказал:

Можете вот так
&nbdp;|
Если в поле поиск замены так и виднеется.
Либо так это железный метод.
{reg[#[^0-9,.]#}|
Тогда в границе останется только цена, все остальное улетит.


Отправлено с Телефона используя Tapatalk

Странно, не получается убрать пробел между цифрами и в конце цены

 

[Rassol2]

Странно, не получается убрать пробел между цифрами и в конце цены
 

Ничего странного.
Поправьте регулярнее я с телефона писал и пропустил одну скобку. Внимательно посмотрите и добавьте.


Отправлено с Телефона используя Tapatalk

[vsevdom03]

Всем привет! Подскажите пожалуйста, можно ли спарсить сайт leroymerlin.ru ? Проблемы начинаются со сбора ссылок - постоянно блокирует. Далее в коде не могу найти поле с остатками. Может какие то есть тонкости в настройке? 

[partshez]

5 часов назад, vsevdom03 сказал:

Всем привет! Подскажите пожалуйста, можно ли спарсить сайт leroymerlin.ru ? Проблемы начинаются со сбора ссылок - постоянно блокирует. Далее в коде не могу найти поле с остатками. Может какие то есть тонкости в настройке? 

Отсюда можно вытащить все ссылки (Смотри вложение). Если Ексель не открывает, можно через НотеПад. Или забросить файл на сервер и с него собирать ссылки.

Остатков нет. Только статус Наличие или Нет в наличии

<span class="label--available">  Начало  </span>  Конец границы

Если блокирует - задание по крон, 1 поток, пауза 5-10 или больше. Если опять блокирует - использовать прокси

sitemap.xml sitemap-1.xml

Змінено 25 січня 2022 користувачем partshez

[vsevdom03]

9 часов назад, partshez сказал:

Отсюда можно вытащить все ссылки (Смотри вложение). Если Ексель не открывает, можно через НотеПад. Или забросить файл на сервер и с него собирать ссылки.

Остатков нет. Только статус Наличие или Нет в наличии

<span class="label--available">  Начало  </span>  Конец границы

Если блокирует - задание по крон, 1 поток, пауза 5-10 или больше. Если опять блокирует - использовать прокси

sitemap.xml 1 \u043a\u0411 · 0 downloads sitemap-1.xml 5 \u041c\u0411 · 0 downloads

Спасибо, буду пробовать, вчера через сайтмап вытащил 700 к товаров, обалдеть, как же их сортировать теперь.. Будем мучаться и делать!)

Змінено 26 січня 2022 користувачем vsevdom03
Ошибка написания

[AntonVN]

Доброго времени суток.

Подскажите пожалуйста по работе с "Cron", где можно проверить остановку его работы?
на хосте в Планировщике задач запускается Ежечасно (в 00 мин), при этом время его выполнения 2 сек. 

в админке работа продолжается неопределенное время, но при этом в любую минуту может остановиться, то-есть задание не завершается, и ждет следующего часа. на обработку одной загрузки в ИМ из 499-746 позиций (обновления + добавления), после исполнения задания "Обработчик XML" может уходить до 5 часов.

 

Забыл уточнить,

версия SimplePars v4.9_stable
В планировщике 

Путь к скрипту httpdocs/admin/sp_cron.php
с аргументами -q -O
Использовать версию PHP LSPHP7.3 alt-php

Змінено 26 січня 2022 користувачем AntonVN

[Rassol2]

3 часа назад, AntonVN сказал:

Доброго времени суток.

Подскажите пожалуйста по работе с "Cron", где можно проверить остановку его работы?
на хосте в Планировщике задач запускается Ежечасно (в 00 мин), при этом время его выполнения 2 сек. 

в админке работа продолжается неопределенное время, но при этом в любую минуту может остановиться, то-есть задание не завершается, и ждет следующего часа. на обработку одной загрузки в ИМ из 499-746 позиций (обновления + добавления), после исполнения задания "Обработчик XML" может уходить до 5 часов.

 

Забыл уточнить,

версия SimplePars v4.9_stable
В планировщике 

Путь к скрипту httpdocs/admin/sp_cron.php
с аргументами -q -O
Использовать версию PHP LSPHP7.3 alt-php

Здравствуйте.

Во первых ознакомитесь с инструкцией по крону.
там четко написано что крон на хостинге должен выполнятся ежеминутно.

 

Если выполнение 2 сек, то скорее всего у вас стоит дополнительная зашита авторизации. Если да тогда нужно прописать логин и пароль от нее в коде модуля что бы он мог обращатся к скрипту sp_cron.php

 

Если нет такой зашиты, тогда нужно открывать логи на сервере и смотреть что там написано, есть ли какие то ошибки.
 

[vsevdom03]

Здравствуйте! Не могу разобраться с крон, в панеле управления задачу поставил с интервалом 1 минута, в настройках всё включил, поставил время выполнения - круглосуточно, но почему то стоит статус "ожидание запуска", 1 раз другой проект запустился, но обработал всего 1 ссылку и перестал обновлять значения, т.е. было написано что в процессе, но изменений никаких не было. Кто может подсказать, что я делаю не так? Если есть возможность - готов проконсультироваться со знающими людьми по скайпу или ватсапу, за оплату. спасибо.
 

Спойлер

 

[vsevdom03]

1 час назад, vsevdom03 сказал:

Здравствуйте! Не могу разобраться с крон, в панеле управления задачу поставил с интервалом 1 минута, в настройках всё включил, поставил время выполнения - круглосуточно, но почему то стоит статус "ожидание запуска", 1 раз другой проект запустился, но обработал всего 1 ссылку и перестал обновлять значения, т.е. было написано что в процессе, но изменений никаких не было. Кто может подсказать, что я делаю не так? Если есть возможность - готов проконсультироваться со знающими людьми по скайпу или ватсапу, за оплату. спасибо.
 

  Показать контент

 

проблему решили, что-то на хостинге настроили и всё заработало. 

[VEDRUS]

Приветствую. Подскажите пожалуйста. Обновил модуль и при сохранении выскакивает такая шляпа, что делать, из-за чего она?

 

[Aspirinnka1]

В 25.01.2022 в 15:10, Aspirinnka1 сказал:

Добрый день. Подскажите как правильно указать последовательность задач в кроне, при  условии, что проектов много и за ночь они не успевают спарситься.

Я хочу настроить крон примерно так:

С пон. по пятницу запускаем , к примеру, обновление цен у 5 проектов

в субботу - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

в воскп - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

 

На каждый день порядок выполнения проектов должен начинаться с 1 и идти по порядку?  Спрашиваю не ради праздного любопытства. 2 проекта не запускаются уже как пару недель

 

  Показать контент

 

 

 

 

Менял время, менял порядок. В итоге залез на хостинг и увидел конфуз )))

 

Спойлер

 

Скажите, как лучше поступить: поставить часы * или добавить аналогичное задание с часами от 21 до 24? 

Змінено 27 січня 2022 користувачем Aspirinnka1

[Axelenz]

2 минуты назад, Aspirinnka1 сказал:

Скажите, как лучше поступить: поставить часы с 0-24 (или какой будет правильный формат) или добавить аналогичное задание с часами от 21 до 24? 

Вообще то там "*" нужно ставить.

 

У автора модуля вполне понятно всё расписано...

http://joxi.ru/L21qOG3UwYYex2

Змінено 27 січня 2022 користувачем Axelenz