[Поддержка] SimplePars - Универсальный парсер для ИМ

[Flint2000]

@pro100tit Сама сортировка опций (их очередность) при парсинге не получится как у донора, по желанию, можно потом вручную отсортировать

[pro100tit]

2 часа назад, Flint2000 сказал:

@pro100tit Сама сортировка опций (их очередность) при парсинге не получится как у донора, по желанию, можно потом вручную отсортировать

Спасибо. Буду пробовать

[asokr]

Здравствуйте.
Подскажите, можно как-то не грузить товар(отключить товар без изображений), если донор отдает 500 ошибку при скачивании изображения (парсинг YML)...??

Змінено 23 травня 2021 користувачем asokr

[Rassol2]

Здравствуйте.
Подскажите, можно как-то не грузить товар(отключить товар без изображений), если донор отдает 500 ошибку при скачивании изображения (парсинг YML)...??

Да можно.
Для этого есть допуск к обработке.
Посмотрите в инструкции к модулю все описано.

Отправлено с телефона через Tapatalk

[asokr]

10 минут назад, Rassol2 сказал:

Да можно.
Для этого есть допуск к обработке.
Посмотрите в инструкции к модулю все описано.

Отправлено с телефона через Tapatalk
 

 

еще до вопроса все сам проверил и поискал. Как я понял -  допуск анализирует границы парсинга, ссылка на изображение там будет, как через допуск узнать, что изображения не спарсилось из-за неверного ответа сервера? 

Повторюсь - парсинг YML, товары лежат на моем сервере, разобранные по файлам...То есть - ссылка на изображение всегда будет...но вот парсер, похоже ложит сайт, или донор отбивает парсинг (донор знает, что его парсят)...

 

 

 

Змінено 23 травня 2021 користувачем asokr

[Rassol2]

 
еще до вопроса все сам проверил и поискал. Как я понял -  допуск анализирует границы парсинга, ссылка на изображение там будет, как через допуск узнать, что изображения не спарсилось из-за неверного ответа сервера? 
Повторюсь - парсинг YML, товары лежат на моем сервере, разобранные по файлам...То есть - ссылка на изображение всегда будет...но вот парсер, похоже ложит сайт, или донор отбивает парсинг (донор знает, что его парсят)...
 
 
 

Да извиняюсь неправильно понял вопрос.
Пока ничего не могу предложить.
Можно будет подумать над этим вопросом.

Отправлено с телефона через Tapatalk

[Flint2000]

38 хвилин назад, Rassol2 сказав:

Пока ничего не могу предложить.
Можно будет подумать над этим вопросом.

А что если использовать в качестве проверки ответ сервера?

[Rassol2]

4 часа назад, Flint2000 сказал:

А что если использовать в качестве проверки ответ сервера?

Проблема не в том как определить что фото не скачано.
Тут больше проблемав другом.

При создании товара нужно заполнить таблицы базы данных. Для этого нужно получить Id нового товара.
Так вот сперва создается товар, а потом только если необходимо идет скачивание фото.
То есть на момент когда мы проверяем отдал ли донор изображения, у нас уже создан товар.

[Flint2000]

4 години назад, Rassol2 сказав:

То есть на момент когда мы проверяем отдал ли донор изображения, у нас уже создан товар.

Ну а как вариант сделать отложенную загрузку фото? Т.е.  проверять статус ответа сервера и в фоне если 500 ошибка пытаться через некоторое время скачать фото. Я понимаю, что это может быть проблемно реализовать и это сделает дополнительную нагрузку на сервер, но как вариант

[Rassol2]

9 часов назад, Flint2000 сказал:

Ну а как вариант сделать отложенную загрузку фото? Т.е.  проверять статус ответа сервера и в фоне если 500 ошибка пытаться через некоторое время скачать фото. Я понимаю, что это может быть проблемно реализовать и это сделает дополнительную нагрузку на сервер, но как вариант

Как я с казал само определения не проблема.
Лаконично вписать все это в общий порядок действий. Вот это проблема.

Сильно много условий.

[Dmitry76]

Добрый день.
Вопрос/предложение к разработчику:
-Возможно ли сделать, чтобы те ссылки в очереди, которые уже отработаны как-то помечались, например, их цвет менялся.
-В настройках крона, когда много различных задач прописано и длинный список этих задач, возможно ли сделать, чтобы этот список можно было чуть менять очередность? Например, стоит задача сбора ссылок внизу всего списка, а ее хотелось бы перенести выше, где стоит задача по парсингу в ИМ. 

[Rassol2]

1 минуту назад, Dmitry76 сказал:

-Возможно ли сделать, чтобы те ссылки в очереди, которые уже отработаны как-то помечались, например, их цвет менялся.

Можно.
Вот оно помечено.
 

Спойлер

 

2 минуты назад, Dmitry76 сказал:

-В настройках крона, когда много различных задач прописано и длинный список этих задач, возможно ли сделать, чтобы этот список можно было чуть менять очередность? Например, стоит задача сбора ссылок внизу всего списка, а ее хотелось бы перенести выше, где стоит задача по парсингу в ИМ. 

Согласен, такое нужно. Но ближайшие время мне это будет сложно внедрить.
Кто давно наблюдает за проектом уже знают что для меня javascript боль в одном месте, да вообще дизайн делать это боль.
А вот такая фича она относится именно к дизайну. Что бы вы могли взять и потягать, и расставить порядок заданий.

[yurok79]

В 17.05.2021 в 15:47, Rassol2 сказал:

1. Это можно отловить в фильтре.

Подскажите где искать. В упор не вижу в фильтре товаров без фото.

[Rassol2]

1 минуту назад, yurok79 сказал:

Подскажите где искать. В упор не вижу в фильтре товаров без фото.

Такого фильтра нет.

Вы процитировали сообщение в котором я пояснял почему его нет.

[Dmitry76]

4 часа назад, Rassol2 сказал:

Можно.
Вот оно помечено.
 

  Показать контент

 

Согласен, такое нужно. Но ближайшие время мне это будет сложно внедрить.
Кто давно наблюдает за проектом уже знают что для меня javascript боль в одном месте, да вообще дизайн делать это боль.
А вот такая фича она относится именно к дизайну. Что бы вы могли взять и потягать, и расставить порядок заданий.

Менеджер url не работает если запуск проекта идет через cron?

[Rassol2]

2 минуты назад, Dmitry76 сказал:

Менеджер url не работает если запуск проекта идет через cron?

Все работает, даже когда идет работа через крон.

[Dmitry76]

10 минут назад, Rassol2 сказал:

Все работает, даже когда идет работа через крон.

запустил проект вручную. Отработало 3520 ссылок из 120 000 шт. Далее остановил и  запустил работу по крону. Отработано по крону 45 000 шт. В менеджере url указано 3520 шт. Т.е. работа по крон не считалась в "менеджере url"

[Rassol2]

1 минуту назад, Dmitry76 сказал:

запустил проект вручную. Отработало 3520 ссылок из 120 000 шт. Далее остановил и  запустил работу по крону. Отработано по крону 45 000 шт. В менеджере url указано 3520 шт. Т.е. работа по крон не считалась в "менеджере url"

Все считает, просто вы невнимательно смотрите.
 

Спойлер

Крон ведет отдельно учет просканированных ссылок.

[Dmitry76]

17 минут назад, Rassol2 сказал:

Все считает, просто вы невнимательно смотрите.
 

  Скрыть контент

Крон ведет отдельно учет просканированных ссылок.

я этот фильтр и применил. 3520 шт

[Dmitry76]

2 минуты назад, Dmitry76 сказал:

я этот фильтр и применил. 3520 шт

Действительно, невнимательно смотрю. Вопрос снят, все увидел.

[Rassol2]

Только что, Dmitry76 сказал:

я этот фильтр и применил. 3520 шт

Я на всякий случай уточню.

Вы точно именно этот фильтр применили ?
Тот что красным обведен а не тот что синим ?
 

Спойлер

Синим, отвечает за показ тех ссылок что были просканированы вручную.
Красным те что просканированы кроном.

Если вы не сбрасывали.

[Rassol2]

@Dmitry76 ну и славно что разобрались.

Модуль ведет отдельно учет просканированных ссылок для крона и вручную
Что бы процессы были независимые и не пересекались.

[amd4]

Доброго дня! Столкнулся с такой ситуацией когда на сайте донора хлебные крошки отличаются от нынешней категории где товар. 

Т.е.  сама категория которую нужно спарсить и которая планируется остаться  с таким же названием и у нас на сайте, например называется -   питательный уход. (Вся косметика > уход за волосами > питательный уход) .

В этой категории ( питательный уход)  у донора многие товары могут относится совсем к другим категориям или чаще всего могут быть закреплены на странице производителя.

Т.е. находимся на странице товаров - питательный уход , кликаем на товар шампунь  и хлебные крошки в карточке  этого шампуня  могут быть следующие - Все бренды > head & shoulders . Соответственно создается этот бренд и товар записывается в категорию все бренды > head & shoulders , а не в  (Вся косметика > уход за волосами > питательный уход) . 

Собственно вопрос - можно ли как то обойти и парсить хлебные крошки не из карточки товара , а с самой категории, игнорируя  эти крошки в самих карточках товаров или только вручную создавать нужные категории и парсить по отдельности все категории? 

 

И еще вопрос - оператор условия { | } работает в Парсинга ИМ, а именно в артикуле и код товара?

Что то не пойму , поставил и там и там {gran_19}{|}{gran_20} , в артикуле нормально парсит, а в коде товара получается двойным..

Спойлер

 

[Rassol2]

2 минуты назад, amd4 сказал:

Собственно вопрос - можно ли как то обойти и парсить хлебные крошки не из карточки товара , а с самой категории, игнорируя  эти крошки в самих карточках товаров или только вручную создавать нужные категории и парсить по отдельности все категории? 

Нет, категорию можно взять только с карточки товара.
 

 

4 минуты назад, amd4 сказал:

И еще вопрос - оператор условия { | } работает в Парсинга ИМ, а именно в артикуле и код товара?

да заметил что в это поле не добавлен логические операторы.
В солирующей бете будут.
либо откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И будет доступна.

[amd4]

19 минут назад, Rassol2 сказал:

Нет, категорию можно взять только с карточки товара.
 

 

да заметил что в это поле не добавлен логические операторы.
В солирующей бете будут.
либо откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И будет доступна.

понял, спасибо.