[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите там строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем идете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперь модуль может работать в 10 потоков в парсинге в им.

[egortide]

  В 07.09.2021 в 19:33, Rassol2 сказав:

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите там строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем идете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперь модуль может работать в 10 потоков в парсинге в им.

Expand  

Спасибо большое!

 

[egortide]

Я правильно понимаю, что при парсинге сайта донора (не XML) , если использовать прокси , будет гораздо быстрее, чем при парсинге от своего одного IP ? 

[kamrik]

Доброго дня! Подскажите, возможна ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

[specialforce22]

  В 08.09.2021 в 05:29, kamrik сказав:

Доброго дня! Подскажите, возможна ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

Expand  

 

Ждем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

[Rassol2]

  В 07.09.2021 в 22:55, egortide сказав:

Я правильно понимаю, что при парсинге сайта донора (не XML) , если использовать прокси , будет гораздо быстрее, чем при парсинге от своего одного IP ? 

Expand  

Нет не правильно.

Прокси скорее дает возможность обходить блокировки, но скорости придать не может.

Без прокси запрос идет на сайт донор, обрабатывается и отдается вам.
С прокси запрос идет на сервер прокси который может находится в Таиланде, затем перенаправляется на донора. Там обрабатывается, отдается на сервер в Таиланде, а от туда возвращается вам.
Так что нет скорости это не добавляет.

[Rassol2]

  В 08.09.2021 в 05:36, specialforce22 сказав:

Ждем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

Expand  

Дайте мне больше часов в сутках.

[specialforce22]

  В 08.09.2021 в 07:06, Rassol2 сказав:

Дайте мне больше часов в сутках.

Expand  

 

По сравнению с тем, как SimplePars жизнь упрощает, то данный момент можем ждать сколь угодно, долго, когда будет Вам с руки сделать

Держитесь, автор)

[Aspirinnka1]

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. день эта категория становится пустой.

Вначале подумал, что это глюк и создал товары заново, но сегодня утром такая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти причину?

[Rassol2]

  В 08.09.2021 в 08:53, Aspirinnka1 сказав:

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. день эта категория становится пустой.

Вначале подумал, что это глюк и создал товары заново, но сегодня утром такая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти причину?

Expand  

Здравствуйте.
если подозрение на мой модуль и крон, тогда изучаете все настройки и все действие что делает модуль по крону.

Либо второй подход, методом исключения.
Отключаете крон. Если не удалилось, на следующий день включаете крон отключаете определенные задания. И так перебираете пока не найдете какое задание делает это. Это вот если вы прям вообще не понимаете что у вас настроено.

Ну а так, от себя удалять мой модуль может только через редактор товаров.
Только там есть фунция удаления товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Это если мы говорим о подозрении на ваши настройки в моем модуле.
А если в принципе почему это может быть, то тут 1000 и одна причина.
Начиная от разных модулей, разных людей, заканчивая бекапами на хостинге и солнечных бурь.

[Aspirinnka1]

  В 08.09.2021 в 09:00, Rassol2 сказав:

Ну а так, от себя удалять мой модуль может только через редактор товаров.
Только там есть фунция удаления товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Expand  

Да, уже полез в шаблоны проверять.  Тоже грешу, что может какой-то проект удаляет, но, опять-таки, я в каждом проекте использую товары только этого проекта.

Ладно, полез отключать крон и запускать руками шаблоны. Сейчас убедимся

 

Змінено 8 вересня 2021 користувачем Aspirinnka1

[Rassol2]

  В 08.09.2021 в 09:13, Aspirinnka1 сказав:

Сейчас убедимся

Expand  

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отработает.
Внимательно подумайте о бо всех сценариях которые собираетесь проверить вручную.

[Aspirinnka1]

  В 08.09.2021 в 09:15, Rassol2 сказав:

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отработает.

Expand  

Да, об этом помню, спасибо.

[egortide]

  В 08.09.2021 в 07:04, Rassol2 сказав:

Так что нет скорости это не добавляет.

Expand  

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Задержка 1 сек. 5 запросов в секунду будет с одного айпи или каждый запрос с отдельного айпи? 

[Rassol2]

  В 08.09.2021 в 12:10, egortide сказав:

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Задержка 1 сек. 5 запросов в секунду будет с одного айпи или каждый запрос с отдельного айпи? 

Expand  

Пять запросов с одного ip в секунду.
Затем меняе прокси делаем другие запросы, опять меняем и так далее.
 

[egortide]

  В 08.09.2021 в 12:18, Rassol2 сказав:

Пять запросов с одного ip в секунду.
Затем меняе прокси делаем другие запросы, опять меняем и так далее.

Expand  

Вероятность бана со стороны сайта-донора при этом уменьшается? 

[Rassol2]

  В 08.09.2021 в 12:30, egortide сказав:

Вероятность бана со стороны сайта-донора при этом уменьшается? 

Expand  

Да, одно дело сделать 1000 запросов с одного IP а другое дело с 20 разных.

 

Да это уменьшает вероятность.

[Axelenz]

Вкладка "Импорт/Экспорт Настроек" полупустая, а ведь не плохо было бы сделать поле для комментария по поводу проекта.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проекта делать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если делаешь проект заказчику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

[Rassol2]

  В 08.09.2021 в 19:15, Axelenz сказав:

Вкладка "Импорт/Экспорт Настроек" полупустая, а ведь не плохо было бы сделать поле для комментария по поводу проекта.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проекта делать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если делаешь проект заказчику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

Expand  

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить. 

[Dmitry76]

  В 08.09.2021 в 19:45, Rassol2 сказав:

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить. 

Expand  

Дополнительная вкладка заметок в проекте совсем бы не повредила. 

[Axelenz]

  В 08.09.2021 в 19:45, Rassol2 сказав:

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить.

Expand  

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оценки использования ПО является не только его функциональность, но также и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оценку пользователей модулем, насколько комфортно его использовать в своей работе... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо большинству... 

[edik2085]

Добрый день! Нужно настроить парсер под требования Ozon для дальнейшей выгрузки на маркетплейс. С предложениями по срокам и ценам в ЛС.

[Rassol2]

  В 08.09.2021 в 21:26, Axelenz сказав:

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оценки использования ПО является не только его функциональность, но также и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оценку пользователей модулем, насколько комфортно его использовать в своей работе... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо большинству... 

Expand  

Тем не менее.
Данный функционал пока что вводить не планирую.

[specialforce22]

  В 09.09.2021 в 08:22, Rassol2 сказав:

Тем не менее.
Данный функционал пока что вводить не планирую.

Expand  

 

Скоро управление модулем превратится в кабину пилота и, чтобы управлять модулем понадобится 2-й пилот, и, как его там, борт-инженер.

С другой стороны, кто-то может даже онлайн-школу открыть по обучению, как пользоваться модулем.

 

Блн, ну, неужели этот весь функционал нужен для парсинга или я динозавр - спарсил фото-цену-описание - разложил SEO-тегом и сижу потихноньку торгую.

 

Извиняюсь за off, так в качестве юмора, разрядки обстановки, поддержки автора, да себя уговариваю еще купить модуля, а то автор расслабил - мне уже лень даже 1 карточку в день руками заполнять, поэтому хочется еще свои сайты оснащать парсингом))) 

 

P.S. Круто и за последнее обновление спасибо, где идет учет кавычек - периодически сталкивался с обрезками названия товара, теперь все проще)

[Rassol2]

  В 09.09.2021 в 09:05, specialforce22 сказав:

P.S. Круто и за последнее обновление спасибо, где идет учет кавычек - периодически сталкивался с обрезками названия товара, теперь все проще)

Expand  

Не забываете отписываться после тестирования все ли так отработало. Так как я делаю рад тестировании но никогда не знаеш где вылезет косяк.
Понятное дело если косяки будут вылазить.