[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите там строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем идете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперь модуль может работать в 10 потоков в парсинге в им.

[egortide]

27 минут назад, Rassol2 сказал:

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите там строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем идете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперь модуль может работать в 10 потоков в парсинге в им.

Спасибо большое!

 

[egortide]

Я правильно понимаю, что при парсинге сайта донора (не XML) , если использовать прокси , будет гораздо быстрее, чем при парсинге от своего одного IP ? 

[kamrik]

Доброго дня! Подскажите, возможна ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

[specialforce22]

5 минут назад, kamrik сказал:

Доброго дня! Подскажите, возможна ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

 

Ждем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

[Rassol2]

8 часов назад, egortide сказал:

Я правильно понимаю, что при парсинге сайта донора (не XML) , если использовать прокси , будет гораздо быстрее, чем при парсинге от своего одного IP ? 

Нет не правильно.

Прокси скорее дает возможность обходить блокировки, но скорости придать не может.

Без прокси запрос идет на сайт донор, обрабатывается и отдается вам.
С прокси запрос идет на сервер прокси который может находится в Таиланде, затем перенаправляется на донора. Там обрабатывается, отдается на сервер в Таиланде, а от туда возвращается вам.
Так что нет скорости это не добавляет.

[Rassol2]

1 час назад, specialforce22 сказал:

Ждем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

Дайте мне больше часов в сутках.

[specialforce22]

4 минуты назад, Rassol2 сказал:

Дайте мне больше часов в сутках.

 

По сравнению с тем, как SimplePars жизнь упрощает, то данный момент можем ждать сколь угодно, долго, когда будет Вам с руки сделать

Держитесь, автор)

[Aspirinnka1]

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. день эта категория становится пустой.

Вначале подумал, что это глюк и создал товары заново, но сегодня утром такая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти причину?

[Rassol2]

2 минуты назад, Aspirinnka1 сказал:

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. день эта категория становится пустой.

Вначале подумал, что это глюк и создал товары заново, но сегодня утром такая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти причину?

Здравствуйте.
если подозрение на мой модуль и крон, тогда изучаете все настройки и все действие что делает модуль по крону.

Либо второй подход, методом исключения.
Отключаете крон. Если не удалилось, на следующий день включаете крон отключаете определенные задания. И так перебираете пока не найдете какое задание делает это. Это вот если вы прям вообще не понимаете что у вас настроено.

Ну а так, от себя удалять мой модуль может только через редактор товаров.
Только там есть фунция удаления товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Это если мы говорим о подозрении на ваши настройки в моем модуле.
А если в принципе почему это может быть, то тут 1000 и одна причина.
Начиная от разных модулей, разных людей, заканчивая бекапами на хостинге и солнечных бурь.

[Aspirinnka1]

13 минут назад, Rassol2 сказал:

Ну а так, от себя удалять мой модуль может только через редактор товаров.
Только там есть фунция удаления товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Да, уже полез в шаблоны проверять.  Тоже грешу, что может какой-то проект удаляет, но, опять-таки, я в каждом проекте использую товары только этого проекта.

Ладно, полез отключать крон и запускать руками шаблоны. Сейчас убедимся

 

Змінено 8 вересня 2021 користувачем Aspirinnka1

[Rassol2]

Только что, Aspirinnka1 сказал:

Сейчас убедимся

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отработает.
Внимательно подумайте о бо всех сценариях которые собираетесь проверить вручную.

[Aspirinnka1]

29 минут назад, Rassol2 сказал:

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отработает.

Да, об этом помню, спасибо.

[egortide]

4 часа назад, Rassol2 сказал:

Так что нет скорости это не добавляет.

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Задержка 1 сек. 5 запросов в секунду будет с одного айпи или каждый запрос с отдельного айпи? 

[Rassol2]

6 минут назад, egortide сказал:

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Задержка 1 сек. 5 запросов в секунду будет с одного айпи или каждый запрос с отдельного айпи? 

Пять запросов с одного ip в секунду.
Затем меняе прокси делаем другие запросы, опять меняем и так далее.
 

[egortide]

11 минут назад, Rassol2 сказал:

Пять запросов с одного ip в секунду.
Затем меняе прокси делаем другие запросы, опять меняем и так далее.

Вероятность бана со стороны сайта-донора при этом уменьшается? 

[Rassol2]

1 минуту назад, egortide сказал:

Вероятность бана со стороны сайта-донора при этом уменьшается? 

Да, одно дело сделать 1000 запросов с одного IP а другое дело с 20 разных.

 

Да это уменьшает вероятность.

[Axelenz]

Вкладка "Импорт/Экспорт Настроек" полупустая, а ведь не плохо было бы сделать поле для комментария по поводу проекта.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проекта делать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если делаешь проект заказчику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

[Rassol2]

29 минут назад, Axelenz сказал:

Вкладка "Импорт/Экспорт Настроек" полупустая, а ведь не плохо было бы сделать поле для комментария по поводу проекта.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проекта делать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если делаешь проект заказчику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить. 

[Dmitry76]

1 час назад, Rassol2 сказал:

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить. 

Дополнительная вкладка заметок в проекте совсем бы не повредила. 

[Axelenz]

1 час назад, Rassol2 сказал:

При всем уважении но это уже перегиб.
Есть специальные программы для учета того что вы делаете.

Пока что такое не планирую вводить.

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оценки использования ПО является не только его функциональность, но также и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оценку пользователей модулем, насколько комфортно его использовать в своей работе... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо большинству... 

[edik2085]

Добрый день! Нужно настроить парсер под требования Ozon для дальнейшей выгрузки на маркетплейс. С предложениями по срокам и ценам в ЛС.

[Rassol2]

10 часов назад, Axelenz сказал:

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оценки использования ПО является не только его функциональность, но также и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оценку пользователей модулем, насколько комфортно его использовать в своей работе... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо большинству... 

Тем не менее.
Данный функционал пока что вводить не планирую.

[specialforce22]

32 минуты назад, Rassol2 сказал:

Тем не менее.
Данный функционал пока что вводить не планирую.

 

Скоро управление модулем превратится в кабину пилота и, чтобы управлять модулем понадобится 2-й пилот, и, как его там, борт-инженер.

С другой стороны, кто-то может даже онлайн-школу открыть по обучению, как пользоваться модулем.

 

Блн, ну, неужели этот весь функционал нужен для парсинга или я динозавр - спарсил фото-цену-описание - разложил SEO-тегом и сижу потихноньку торгую.

 

Извиняюсь за off, так в качестве юмора, разрядки обстановки, поддержки автора, да себя уговариваю еще купить модуля, а то автор расслабил - мне уже лень даже 1 карточку в день руками заполнять, поэтому хочется еще свои сайты оснащать парсингом))) 

 

P.S. Круто и за последнее обновление спасибо, где идет учет кавычек - периодически сталкивался с обрезками названия товара, теперь все проще)

[Rassol2]

28 минут назад, specialforce22 сказал:

P.S. Круто и за последнее обновление спасибо, где идет учет кавычек - периодически сталкивался с обрезками названия товара, теперь все проще)

Не забываете отписываться после тестирования все ли так отработало. Так как я делаю рад тестировании но никогда не знаеш где вылезет косяк.
Понятное дело если косяки будут вылазить.