[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Только что, Akinak57 сказал:

2021-02-11 16:59:01| Парсинг : ОШИБКА ответа  | Код ответа = 28 | Текст ответа = Operation timed out after 15003 milliseconds with 23346966 out of 88379452 bytes received | Ссылка - https://files.sima-land.ru/full_marketplace.xml
Таймаут 120 секунд

увеличивайте время выполнения скрипта.
Так как видно что просто не хватает скорости интернета что бы докачать весь прайс.

[Rassol2]

@Akinak57 Как увеличить время выполнения скрипта больше чем доступно в стандарте модуля.

Открывает файл.
/admin/view/template/catalog/simplepars_browser.tpl

Находим строку.
<option value="25" <?php echo ($browser['timeout'] == 25)?'selected':''?>>25 сек</option>

 

И под ней по аналогии дописываем свою строку с нужным количеством секунд.
К примеру 59секунд.
<option value="59" <?php echo ($browser['timeout'] == 59)?'selected':''?>>59 сек</option>

Что бы получилось так.
 

Спойлер

Тогда в настройках браузера появится выбор времени запроса в 59 сек. Выбираем его и сохраняем настройки.
 

Спойлер

и теперь модулю будет выделено 59 секунд на работу.
 

[Akinak57]

8 минут назад, Rassol2 сказал:

увеличивайте время выполнения скрипта.
Так как видно что просто не хватает скорости интернета что бы докачать весь прайс.

Увеличил. Но там ограничение в 25сек их тоже не хватает

021-02-11 17:40:33| Парсинг : ОШИБКА ответа  | Код ответа = 28 | Текст ответа = Operation timed out after 25006 milliseconds with 39010070 out of 88379452 bytes received | Ссылка - https://files.sima-land.ru/full_marketplace.xml

[Akinak57]

5 минут назад, Rassol2 сказал:

@Akinak57 Как увеличить время выполнения скрипта больше чем доступно в стандарте модуля.

Открывает файл.
/admin/view/template/catalog/simplepars_browser.tpl

Находим строку.
<option value="25" <?php echo ($browser['timeout'] == 25)?'selected':''?>>25 сек</option>

 

И под ней по аналогии дописываем свою строку с нужным количеством секунд.
К примеру 59секунд.
<option value="59" <?php echo ($browser['timeout'] == 59)?'selected':''?>>59 сек</option>

Что бы получилось так.
 

  Показать контент

Тогда в настройках браузера появится выбор времени запроса в 59 сек. Выбираем его и сохраняем настройки.
 

  Показать контент

и теперь модулю будет выделено 59 секунд на работу.
 

ок, спасибо!

Змінено 11 лютого 2021 користувачем Akinak57

[Rassol2]

@Akinak57 но вы же понимаете что по мимо этого вам на самом хостинге нужно увеличить время выполнения php скрипта.
Если вы сейчас в модуле увеличите ожидание до одной минуты, а на хостинге ограничение в 30 секунд.
Это не поможет. Нужно что бы не только модуль дольше ждал. Но еше что бы скрипт мог дольше выполнятся.

[amd4]

В 08.02.2021 в 05:55, Rassol2 сказал:

Да вы может настроить несколько доноров, задать задание по обновлению количества в товере с нескольких сайтов.
Но учтите нельзя сделать так что бы модуль сперва спарсил все сайты а потом записал вам значение количества.
Модуль будет по очереди парсить сайт получать количество и записывать в товар.
Затем второй сайт спарсил, получит количество и запишет в товар. Не сложит старое с новым а обновит кол-во

Доброго дня! Ну а вручную если парсить с нескольких сайтов , это как то можно будет поправлять, исправлять? Подсвечивает парсер одинаковые товары или просто перезаписывает их или создает для этого новую страницу товара ?  

Змінено 11 лютого 2021 користувачем amd4

[yaroslavking]

Добрый день, как выключить чтобы не обновлялось это значение "Отсутствие на складе"?

Готов доплатить за доработку, но нужно сделать как можно скорее

[Rassol2]

1 минуту назад, amd4 сказал:

Подсвечивает парсер одинаковые товары или просто перезаписывает их или создает этого новую страницу товара ?  

Все зависит от настроек.
Модуль идентифицирует товар по артикулу, коду или имени на выбор.
А дальше все по вашим настройкам. Если настроили обновить обновит. Настроили создать, и такого товара нет создаст.

Все зависит только от ваших настроек.

[partshez]

4 минуты назад, yaroslavking сказал:

Добрый день, как выключить чтобы не обновлялось это значение "Отсутствие на складе"?

Готов доплатить за доработку, но нужно сделать как можно скорее

Отключить обновление количества или статуса наличия в Данных. Или выбрать другой статус. В наличии, например

[Rassol2]

3 минуты назад, yaroslavking сказал:

Добрый день, как выключить чтобы не обновлялось это значение "Отсутствие на складе"?

Готов доплатить за доработку, но нужно сделать как можно скорее

Можете найти строчку
 `stock_status_id`='".(int)$data['stock_status_id']."'

В файле /admin/model/catalog/simplepars.php

И удалить ее.
И модуль не будет обновлять.

[yaroslavking]

1 минуту назад, partshez сказал:

Отключить обновление количества или статуса наличия в Данных. Или выбрать другой статус. В наличии, например

ну так там нету переключателя чтобы отключить

[yaroslavking]

Только что, Rassol2 сказал:

Можете найти строчку
 `stock_status_id`='".(int)$data['stock_status_id']."'

В файле /admin/model/catalog/simplepars.php

И удалить ее.
И модуль не будет обновлять.

спасибо большое!!!!

[amd4]

8 минут назад, Rassol2 сказал:

Все зависит от настроек.
Модуль идентифицирует товар по артикулу, коду или имени на выбор.
А дальше все по вашим настройкам. Если настроили обновить обновит. Настроили создать, и такого товара нет создаст.

Все зависит только от ваших настроек.

Это я понял. Главный вопрос - с одинаковыми товарами он либо их количество  перезаписывает, либо создает одинаковые товары с разным количеством. В это случае предусмотрен вариант обработки одинаковых товаров? 

[Rassol2]

3 минуты назад, amd4 сказал:

Это я понял. Главный вопрос - с одинаковыми товарами он либо их количество  перезаписывает, либо создает одинаковые товары с разным количеством. В это случае предусмотрен вариант обработки одинаковых товаров? 

А вы считаете что количество товара это настолько важные параметры что они достойны создания нового товара ?
Если артикул совпал, модуль может обновить товар. Но создавать дубли не может это как стрелять себе в ногу.
Если артикул не совпал модуль может создать товар, но он не можете обновить потому что ему нечего обновлять.

 

[Rassol2]

14 минут назад, yaroslavking сказал:

спасибо большое!!!!

не за что

[partshez]

46 минут назад, yaroslavking сказал:

ну так там нету переключателя чтобы отключить

Статус товара есть. Не обновлять. Можно и так сделать.

Если сделаете изменения в коде, как советовали выше, не забывайте это делать при каждом обновлении модуля!

[amd4]

16 минут назад, Rassol2 сказал:

А вы считаете что количество товара это настолько важные параметры что они достойны создания нового товара ?
Если артикул совпал, модуль может обновить товар. Но создавать дубли не может это как стрелять себе в ногу.
Если артикул не совпал модуль может создать товар, но он не можете обновить потому что ему нечего обновлять.

 

Так в том и дело что   артикул на двух разных сайтах с двумя разными хозяевами, точно совпадать не будет.  

Названия так-же  могут отличаться  - кружка-чашка ,  гвоздь 1х50 - гвоздь Россия 1х50.  Есть даже несколько десятков елочных игрушек с одинаковым названием - шар .) Но по существу разные по производителю.   

В таких случаях модуль ведь будет дублировать товары ?  

И я не говорю о товарах у которых есть модельные номера  как например автомобили, компьютерные комплектующие, электроинструменты, телефоны и т.д. 

 

 

 

[Rassol2]

1 минуту назад, amd4 сказал:

В таких случаях модуль ведь будет дублировать товары ?  

Нет если артикул разный это уже не считается дублем.

Дубликат сим карты это когда по одному и тому же номеру можно дозвонится на два разных телефона.
А тут у вас номера разные.

Но я понял что вы имеете в виду.
Ну так извините а как тогда модуль может понять дубл это или нет ?
Ни как значит он будут создавать товары. Если в товаре все разное то это уже не дубль.

можете сделать список артикулов двух доноров и через поиск замену заменять их артикула на ваши. И тогда будет адекватное сравнение.
Но это вам нужно проделать большую работу по сопоставлению .
 

[amd4]

25 минут назад, Rassol2 сказал:

Но я понял что вы имеете в виду.
Ну так извините а как тогда модуль может понять дубл это или нет ?
Ни как значит он будут создавать товары. Если в товаре все разное то это уже не дубль.
 

 

Но по факту ведь  получается что это два одинаковых товара, поэтому и интересует данный нюанс -  предусмотрено ли ручное редактирование , скажем так фильтрация одинаковых спарсенных товаров человеком с двух разных магазинов?

Как в таблицах excel например - в два столбика выгрузил данные и с помощью формул отобразил с близким к похожими по названиям, а там глазками посмотрел, одинаковые или нет.

 

ЗЫ. И именно поэтому самое первое сообщение в этой теме и было про выгрузку в ексель, редактирование и  загрузка назад в парсер)     

 

Змінено 11 лютого 2021 користувачем amd4

[Rassol2]

Только что, amd4 сказал:

Но по факту ведь  получается что это два одинаковых товара, поэтому и интересует данный нюанс -  предусмотрено ли ручное редактирование , скажем так фильтрация одинаковых спарсенных товаров человеком с двух разных магазинов?

Предусмотрен.
Делаете таблицу сопоставления артикулов на донорах с артикулам у вас. Или между ними.

 

1 минуту назад, amd4 сказал:

Как в таблицах excel например - в два столбика выгрузил данные и с помощью формул отобразил с близким к похожими по названиям, а там глазками посмотрел, одинаковые или нет?

Вы можете это сделать сами, это не входит в модуль. Выгружайте в эксель и гласками сопоставляйте.
затем запишите в поиск замену
dnr-1|art1
dnr-2|art1
И будет у вас сопоставления артикулов с двух сайтов доноров.

Модуль не делаем анализы разных сайтов для того что бы произвести какие то очень хитрые действия
Но вы через модуль можете подготовить себе данные, которые потом проанализируете и сделаете нужные вам действия.

PS. В частности для этого в модуле и есть выгрузка в эксель.
 

[partshez]

1 час назад, amd4 сказал:

 

Но по факту ведь  получается что это два одинаковых товара, поэтому и интересует данный нюанс -  предусмотрено ли ручное редактирование , скажем так фильтрация одинаковых спарсенных товаров человеком с двух разных магазинов?

Как в таблицах excel например - в два столбика выгрузил данные и с помощью формул отобразил с близким к похожими по названиям, а там глазками посмотрел, одинаковые или нет.

 

ЗЫ. И именно поэтому самое первое сообщение в этой теме и было про выгрузку в ексель, редактирование и  загрузка назад в парсер)     

 

Как вариант. В Редакторе товаров отфильтровать все товары данного проекта или товары всего сайта по наличию слова, типа, гвоздь. Потом редактируйте, проводите действия

[Akinak57]

Такая проблема возникла. Может кто сталкивался.

Парсю большой xml-файл с разбором категорий. И у части товаров все норм

А у другой вместо названий категорий - id категории стоит

 

В самом файле название этой категории есть

причем по субъективным ощущениям (44000 товаров в файле)) - товаров где категория осталась цифрами больше, в чем может быть проблема?

[Aspirinnka1]

В 08.02.2021 в 20:07, Aspirinnka1 сказал:

Rassol2, а можете сделать, чтобы при экспорте имя файла автоматически бралось с имени проекта? Было бы удобно. Сейчас всегда сохраняет с одним именем и надо всегда переименовывать. 

Пропустили наверно мой вопрос. Скажите, можно такое сделать?

[Akinak57]

5 часов назад, Akinak57 сказал:

Такая проблема возникла. Может кто сталкивался.

Парсю большой xml-файл с разбором категорий. И у части товаров все норм

 

А у другой вместо названий категорий - id категории стоит

 

 

В самом файле название этой категории есть

 

причем по субъективным ощущениям (44000 товаров в файле)) - товаров где категория осталась цифрами больше, в чем может быть проблема?

Жесть при парсинге получается

И это я еще штук 300 категорий с цифровыми названиями отключил через SQL, ручками заколебаешься их выключать. И в поиск/замена всех вносить офигеешь.

[Aspirinnka1]

29 минут назад, Akinak57 сказал:

Парсю большой xml-файл с разбором категорий. И у части товаров все норм

 

А у другой вместо названий категорий - id категории стоит

так у товаров по XML и должны стоять ИД категорий. У меня так, по крайней мере

Спойлер