[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

2 минуты назад, Dmitry76 сказал:

Сейчас уже постоянно, раз 5 пробовал. Кэш почистил весь - не помогает. Это случилось после отката сайта через хостинг. Может, что слетело.

 

Сделайте бекап и обновите модуль.

Или дайте мне файл импорта я у себя проверю.
Правда смогу проверить где то в течении часа. 

[Reanimaster]

Подскажите по потокам, пожалуйста. В файле шаблона добавил значения дополнительные. Они появились. Но все равно максимум 5 потоков работа.

[Rassol2]

1 минуту назад, Reanimaster сказал:

Подскажите по потокам, пожалуйста. В файле шаблона добавил значения дополнительные. Они появились. Но все равно максимум 5 потоков работа.

сейчас так просто не увеличить потоку, опять вопрос оптимизации.
Теперь модуль дергает не больше 5 ссылок с базы, и просо увеличить циферки в шаблоне не сработает. 

Нужно править больше кода модуля. 
Напишите на какое действие вам нужно больще потоков и я распишу как это увеличить. 

[mscbro]

3 hours ago, Rassol2 said:

комон   вы не видите что вы заполняете поиск замены не верно.
Что это такое ? {gran22} - Я не знаю что это.
Ведь граница париснга пишется как {gran_22}
Даже в поиск замене сверху подписана каждая граница.
 

  Reveal hidden contents

Не удивительно что у вас ничего не срабатывала.
Пожалуйста будьте повнимательнее.

Вы правы на счет внимательности, благодарю еще раз и пардон за лишний кипиш)

[Reanimaster]

1 минуту назад, Rassol2 сказал:

сейчас так просто не увеличить потоку, опять вопрос оптимизации.
Теперь модуль дергает не больше 5 ссылок с базы, и просо увеличить циферки в шаблоне не сработает. 

Нужно править больше кода модуля. 
Напишите на какое действие вам нужно больще потоков и я распишу как это увеличить. 

Крон и парсинг в ИМ. Мне для фидов нужно. А там 5 потоков ни о чем, сами понимаете.

А действия парсинг в ИМ.

Змінено 2 березня 2021 користувачем Reanimaster

[Reanimaster]

И еще. Из пожеланий. Этот модуль. Не Гипер конечно, о нем я молчу. Но тоже очень полезная вещь. Если бы смогли реализовать думаю было бы очень востребовано.

Как сделать для парсинга не знаю. Но в фидах зачастую есть тег groupID. По которому можно идентифицировать

 группу товаров.

 

[Rassol2]

2 минуты назад, Reanimaster сказал:

И еще. Из пожеланий. Этот модуль. Не Гипер конечно, о нем я молчу. Но тоже очень полезная вещь. Если бы смогли реализовать думаю было бы очень востребовано.

Как сделать для парсинга не знаю. Но в фидах зачастую есть тег groupID. По которому можно идентифицировать

 группу товаров.

ну так это ни как не подходит под парсинг.
В момент париснга мы не знаем под какими ссылка будут другие товары.

это не про парсинг.

[Rassol2]

11 минут назад, Reanimaster сказал:

Крон и парсинг в ИМ. Мне для фидов нужно. А там 5 потоков ни о чем, сами понимаете.

А действия парсинг в ИМ.

В файле
admin/model/catalog/simplepars.php
находите строку
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");

И меняете в ней последнюю цифру она должен быть не меньше максимального количества потоков.
К примеру для 10 потоков.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

Это что касаемо парсинга в им.
Для крона все сложнее но там лимит и так стоит 20

[Reanimaster]

4 минуты назад, Rassol2 сказал:

В момент париснга мы не знаем под какими ссылка будут другие товары.

Ну там не по ссылкам идет привязка. А по ID товара.

[Reanimaster]

Только что, Rassol2 сказал:

Для крона все сложнее но там лимит и так стоит 20

То есть достаточно в файле шаблона поднять до 20?

[Rassol2]

Только что, Reanimaster сказал:

То есть достаточно в файле шаблона поднять до 20?

да. Но я не принимаю после этого никакие вопросы связанные с проблемами работы крона
Гарантирована работа при 5 потоках.

А дальше может вылезти все что угодно.
От нехватки времени на обработку запросов, до нехватки озу на такое колва одновременно прочтенных страниц. И последующей обработки.
Короче вы поняли дальше могут быть танцы с бубном и мне лично их искать не интересно так как проблема будет в ограничениях сервиса, а не модуля. В модуле хоть 10000 ставьте.
Модуль сильный будет терпеть. А вот ваш хостинг или сервер.

[Reanimaster]

3 минуты назад, Rassol2 сказал:

$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

Не помогло(
 

Спойлер

 

 

[Reanimaster]

Только что, Rassol2 сказал:

А дальше может вылезти все что угодно.
От нехватки времени на обработку запросов, до нехватки озу на такое колва одновременно прочтенных страниц. И последующей обработки.
Короче вы поняли дальше могут быть танцы с бубном и мне лично их искать не интересно так как проблема будет в ограничениях сервиса, а не модуля. В модуле хоть 10000 ставьте.
Модуль сильный будет терпеть. А вот ваш хостинг или сервер.

Я все понимаю. Железа хватит. Другие модули импорта в 100 потоков фиды грузят. Но ваш гораздо удобнее, если нужно по быстрому импорт сделать или обновить цены/количество.

[Rassol2]

2 минуты назад, Reanimaster сказал:

Не помогло(
 

  Показать контент

 

 

Спойлер

 

[Rassol2]

6 минут назад, Reanimaster сказал:

Я все понимаю. Железа хватит. Другие модули импорта в 100 потоков фиды грузят. Но ваш гораздо удобнее, если нужно по быстрому импорт сделать или обновить цены/количество.

Мое дело написать вам текст выше, и когда вы напишите что то то не так, я вам скажу отключайте все правки и проверяйте еше раз, и буду проверять только на стандартных для модуля значениях.
 

[Reanimaster]

1 минуту назад, Rassol2 сказал:

Мое дело написать вам текст выше, и когда вы напишите что то то не так, я вам скажу отключайте все правки и проверяйте еше раз, и буду проверять только на стандартных дял модуля значениях.
 

Я понял. Спасибо. Не там заменил)

[Reanimaster]

14 минут назад, Rassol2 сказал:

Для крона все сложнее но там лимит и так стоит 20

А все таки. Подскажете как для крона?

[Rassol2]

10 минут назад, Reanimaster сказал:

А все таки. Подскажете как для крона?

вам нужно больше 20 ?

[Dmitry76]

1 час назад, Rassol2 сказал:

Сделайте бекап и обновите модуль.

Или дайте мне файл импорта я у себя проверю.
Правда смогу проверить где то в течении часа. 

Проблему решил, вроде. Проблема была в сохранении настроек, а не в импорте. Теперь все гуд.

[Rassol2]

8 минут назад, Dmitry76 сказал:

Проблему решил, вроде. Проблема была в сохранении настроек, а не в импорте. Теперь все гуд.

И это хорошо.

[Reanimaster]

1 час назад, Rassol2 сказал:

вам нужно больше 20 ?

Да. Для целей обновить количество и цену - 100-200 потоков будет более чем нормально по нагрузке.

[Rassol2]

33 минуты назад, Reanimaster сказал:

Да. Для целей обновить количество и цену - 100-200 потоков будет более чем нормально по нагрузке.

Находите.
$links = $this->db->query("SELECT * FROM " . DB_PREFIX . "pars_link WHERE `dn_id`=".(int)$dn_id." AND `scan_cron`=1 ORDER BY id ASC LIMIT 0,20");
И так же правите последнюю цифру.

[Dmitry76]

ХЭЛП, ХЭЛП, ХЭЛП!!!
Огромная просьба откликнуться, кто использует OcFilter !

Не понимаю как он взаимодействует с парсингом SimplePars.

Все фильтра настроены, а при добавлении/парсинге новых товаров они не попадают под эти фильтра, т.к. в товаре их нужно еще прописать(не вручную же это делать!)

[Rassol2]

2 минуты назад, Dmitry76 сказал:

ХЭЛП, ХЭЛП, ХЭЛП!!!
Огромная просьба откликнуться, кто использует OcFilter !

Не понимаю как он взаимодействует с парсингом SimplePars.

Все фильтра настроены, а при добавлении/парсинге новых товаров они не попадают под эти фильтра, т.к. в товаре их нужно еще прописать(не вручную же это делать!)

Странно а почему вопрос в этой ветке ?
Модуль SimplePars заполняет все данные в товаре, а то что они не появляются в вашем фильтре скорее вопрос к фильтру.

И мне кажется вы просто где то в настройках фильтра не нажимаете обновить информацию по атрибутам. Или еше по чему то.
 

[Dmitry76]

1 минуту назад, Rassol2 сказал:

Странно а почему вопрос в этой ветке ?
Модуль SimplePars заполняет все данные в товаре, а то что они не появляются в вашем фильтре скорее вопрос к фильтру.

И мне кажется вы просто где то в настройках фильтра не нажимаете обновить информацию по атрибутам. Или еше по чему то.
 

Вопрос в этой ветке - потому что она живая... А там - только партизаны сидят, месяцами могу ждать ответа... + здесь наверняка много людей, кто пользует этот фильтр.