[Поддержка] SimplePars - Универсальный парсер для ИМ

[Flint2000]

@pro100tit Сама сортировка опций (их очередность) при парсинге не получится как у донора, по желанию, можно потом вручную отсортировать

[pro100tit]

  В 22.05.2021 в 13:23, Flint2000 сказав:

@pro100tit Сама сортировка опций (их очередность) при парсинге не получится как у донора, по желанию, можно потом вручную отсортировать

Expand  

Спасибо. Буду пробовать

[asokr]

Здравствуйте.
Подскажите, можно как-то не грузить товар(отключить товар без изображений), если донор отдает 500 ошибку при скачивании изображения (парсинг YML)...??

Змінено 23 травня 2021 користувачем asokr

[Rassol2]

  В 23.05.2021 в 11:11, asokr сказав:

Здравствуйте.
Подскажите, можно как-то не грузить товар(отключить товар без изображений), если донор отдает 500 ошибку при скачивании изображения (парсинг YML)...??

Да можно.
Для этого есть допуск к обработке.
Посмотрите в инструкции к модулю все описано.

Отправлено с телефона через Tapatalk

[asokr]

  В 23.05.2021 в 11:16, Rassol2 сказав:

Да можно.
Для этого есть допуск к обработке.
Посмотрите в инструкции к модулю все описано.

Отправлено с телефона через Tapatalk
 

Expand  

 

еще до вопроса все сам проверил и поискал. Как я понял -  допуск анализирует границы парсинга, ссылка на изображение там будет, как через допуск узнать, что изображения не спарсилось из-за неверного ответа сервера? 

Повторюсь - парсинг YML, товары лежат на моем сервере, разобранные по файлам...То есть - ссылка на изображение всегда будет...но вот парсер, похоже ложит сайт, или донор отбивает парсинг (донор знает, что его парсят)...

 

 

 

Змінено 23 травня 2021 користувачем asokr

[Rassol2]

  В 23.05.2021 в 11:26, asokr сказав:

 
еще до вопроса все сам проверил и поискал. Как я понял -  допуск анализирует границы парсинга, ссылка на изображение там будет, как через допуск узнать, что изображения не спарсилось из-за неверного ответа сервера? 
Повторюсь - парсинг YML, товары лежат на моем сервере, разобранные по файлам...То есть - ссылка на изображение всегда будет...но вот парсер, похоже ложит сайт, или донор отбивает парсинг (донор знает, что его парсят)...
 
 
 

Да извиняюсь неправильно понял вопрос.
Пока ничего не могу предложить.
Можно будет подумать над этим вопросом.

Отправлено с телефона через Tapatalk

[Flint2000]

  В 23.05.2021 в 11:37, Rassol2 сказав:

Пока ничего не могу предложить.
Можно будет подумать над этим вопросом.

Expand  

А что если использовать в качестве проверки ответ сервера?

[Rassol2]

  В 23.05.2021 в 12:16, Flint2000 сказав:

А что если использовать в качестве проверки ответ сервера?

Expand  

Проблема не в том как определить что фото не скачано.
Тут больше проблемав другом.

При создании товара нужно заполнить таблицы базы данных. Для этого нужно получить Id нового товара.
Так вот сперва создается товар, а потом только если необходимо идет скачивание фото.
То есть на момент когда мы проверяем отдал ли донор изображения, у нас уже создан товар.

[Flint2000]

  В 23.05.2021 в 16:24, Rassol2 сказав:

То есть на момент когда мы проверяем отдал ли донор изображения, у нас уже создан товар.

Expand  

Ну а как вариант сделать отложенную загрузку фото? Т.е.  проверять статус ответа сервера и в фоне если 500 ошибка пытаться через некоторое время скачать фото. Я понимаю, что это может быть проблемно реализовать и это сделает дополнительную нагрузку на сервер, но как вариант

[Rassol2]

  В 23.05.2021 в 20:33, Flint2000 сказав:

Ну а как вариант сделать отложенную загрузку фото? Т.е.  проверять статус ответа сервера и в фоне если 500 ошибка пытаться через некоторое время скачать фото. Я понимаю, что это может быть проблемно реализовать и это сделает дополнительную нагрузку на сервер, но как вариант

Expand  

Как я с казал само определения не проблема.
Лаконично вписать все это в общий порядок действий. Вот это проблема.

Сильно много условий.

[Dmitry76]

Добрый день.
Вопрос/предложение к разработчику:
-Возможно ли сделать, чтобы те ссылки в очереди, которые уже отработаны как-то помечались, например, их цвет менялся.
-В настройках крона, когда много различных задач прописано и длинный список этих задач, возможно ли сделать, чтобы этот список можно было чуть менять очередность? Например, стоит задача сбора ссылок внизу всего списка, а ее хотелось бы перенести выше, где стоит задача по парсингу в ИМ. 

[Rassol2]

  В 24.05.2021 в 07:43, Dmitry76 сказав:

-Возможно ли сделать, чтобы те ссылки в очереди, которые уже отработаны как-то помечались, например, их цвет менялся.

Expand  

Можно.
Вот оно помечено.
 

  Показати вміст

 

  В 24.05.2021 в 07:43, Dmitry76 сказав:

-В настройках крона, когда много различных задач прописано и длинный список этих задач, возможно ли сделать, чтобы этот список можно было чуть менять очередность? Например, стоит задача сбора ссылок внизу всего списка, а ее хотелось бы перенести выше, где стоит задача по парсингу в ИМ. 

Expand  

Согласен, такое нужно. Но ближайшие время мне это будет сложно внедрить.
Кто давно наблюдает за проектом уже знают что для меня javascript боль в одном месте, да вообще дизайн делать это боль.
А вот такая фича она относится именно к дизайну. Что бы вы могли взять и потягать, и расставить порядок заданий.

[yurok79]

  В 17.05.2021 в 12:47, Rassol2 сказав:

1. Это можно отловить в фильтре.

Expand  

Подскажите где искать. В упор не вижу в фильтре товаров без фото.

[Rassol2]

  В 24.05.2021 в 08:14, yurok79 сказав:

Подскажите где искать. В упор не вижу в фильтре товаров без фото.

Expand  

Такого фильтра нет.

Вы процитировали сообщение в котором я пояснял почему его нет.

[Dmitry76]

  В 24.05.2021 в 07:48, Rassol2 сказав:

Можно.
Вот оно помечено.
 

  Показати вміст

 

Согласен, такое нужно. Но ближайшие время мне это будет сложно внедрить.
Кто давно наблюдает за проектом уже знают что для меня javascript боль в одном месте, да вообще дизайн делать это боль.
А вот такая фича она относится именно к дизайну. Что бы вы могли взять и потягать, и расставить порядок заданий.

Expand  

Менеджер url не работает если запуск проекта идет через cron?

[Rassol2]

  В 24.05.2021 в 12:24, Dmitry76 сказав:

Менеджер url не работает если запуск проекта идет через cron?

Expand  

Все работает, даже когда идет работа через крон.

[Dmitry76]

  В 24.05.2021 в 12:27, Rassol2 сказав:

Все работает, даже когда идет работа через крон.

Expand  

запустил проект вручную. Отработало 3520 ссылок из 120 000 шт. Далее остановил и  запустил работу по крону. Отработано по крону 45 000 шт. В менеджере url указано 3520 шт. Т.е. работа по крон не считалась в "менеджере url"

[Rassol2]

  В 24.05.2021 в 12:41, Dmitry76 сказав:

запустил проект вручную. Отработало 3520 ссылок из 120 000 шт. Далее остановил и  запустил работу по крону. Отработано по крону 45 000 шт. В менеджере url указано 3520 шт. Т.е. работа по крон не считалась в "менеджере url"

Expand  

Все считает, просто вы невнимательно смотрите.
 

  Показати вміст

Крон ведет отдельно учет просканированных ссылок.

[Dmitry76]

  В 24.05.2021 в 12:44, Rassol2 сказав:

Все считает, просто вы невнимательно смотрите.
 

  Показати вміст

Крон ведет отдельно учет просканированных ссылок.

Expand  

я этот фильтр и применил. 3520 шт

[Dmitry76]

  В 24.05.2021 в 13:01, Dmitry76 сказав:

я этот фильтр и применил. 3520 шт

Expand  

Действительно, невнимательно смотрю. Вопрос снят, все увидел.

[Rassol2]

  В 24.05.2021 в 13:01, Dmitry76 сказав:

я этот фильтр и применил. 3520 шт

Expand  

Я на всякий случай уточню.

Вы точно именно этот фильтр применили ?
Тот что красным обведен а не тот что синим ?
 

  Показати вміст

Синим, отвечает за показ тех ссылок что были просканированы вручную.
Красным те что просканированы кроном.

Если вы не сбрасывали.

[Rassol2]

@Dmitry76 ну и славно что разобрались.

Модуль ведет отдельно учет просканированных ссылок для крона и вручную
Что бы процессы были независимые и не пересекались.

[amd4]

Доброго дня! Столкнулся с такой ситуацией когда на сайте донора хлебные крошки отличаются от нынешней категории где товар. 

Т.е.  сама категория которую нужно спарсить и которая планируется остаться  с таким же названием и у нас на сайте, например называется -   питательный уход. (Вся косметика > уход за волосами > питательный уход) .

В этой категории ( питательный уход)  у донора многие товары могут относится совсем к другим категориям или чаще всего могут быть закреплены на странице производителя.

Т.е. находимся на странице товаров - питательный уход , кликаем на товар шампунь  и хлебные крошки в карточке  этого шампуня  могут быть следующие - Все бренды > head & shoulders . Соответственно создается этот бренд и товар записывается в категорию все бренды > head & shoulders , а не в  (Вся косметика > уход за волосами > питательный уход) . 

Собственно вопрос - можно ли как то обойти и парсить хлебные крошки не из карточки товара , а с самой категории, игнорируя  эти крошки в самих карточках товаров или только вручную создавать нужные категории и парсить по отдельности все категории? 

 

И еще вопрос - оператор условия { | } работает в Парсинга ИМ, а именно в артикуле и код товара?

Что то не пойму , поставил и там и там {gran_19}{|}{gran_20} , в артикуле нормально парсит, а в коде товара получается двойным..

  Показати вміст

 

[Rassol2]

  В 24.05.2021 в 15:14, amd4 сказав:

Собственно вопрос - можно ли как то обойти и парсить хлебные крошки не из карточки товара , а с самой категории, игнорируя  эти крошки в самих карточках товаров или только вручную создавать нужные категории и парсить по отдельности все категории? 

Expand  

Нет, категорию можно взять только с карточки товара.
 

 

  В 24.05.2021 в 15:14, amd4 сказав:

И еще вопрос - оператор условия { | } работает в Парсинга ИМ, а именно в артикуле и код товара?

Expand  

да заметил что в это поле не добавлен логические операторы.
В солирующей бете будут.
либо откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И будет доступна.

[amd4]

  В 24.05.2021 в 15:22, Rassol2 сказав:

Нет, категорию можно взять только с карточки товара.
 

 

да заметил что в это поле не добавлен логические операторы.
В солирующей бете будут.
либо откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И будет доступна.

Expand  

понял, спасибо.