Перейти к содержанию
RGB

Усовершенствование парсера YaSe для цикличной работы

Рекомендуемые сообщения

Всем привет, сразу для тех, кто не понял о чем речь - есть парсер этого прекрасного человека, естественно никакой поддержки по нему не оказывается. В последней версии парсера он не работает на одновременный парсинг по нескольким инструкциям. Очередь задач просто теряет товары и почти ничего не парсится, поэтому раньше приходилось активировать каждую инструкцию на каждую категорию отдельно, и как только все товары в инструкции будут обработаны, вручную отключать активную инструкцию и включать следующую, и так далее.

 

Пока категорий было не много, это было не сложно, но сейчас их больше 30, и вручную все это делать напрягает. Я догадываюсь, что это решается, скорее всего, элементарно, но я не программист, поэтому не хочу испортить что-то. Кто и за сколько готов найти это коварное место в дополнении и поставить туда что-то вроде такой проверки?

 

 

if (все товары текущей инструкции обработаны) {
     отключить текущую инструкцию
     включить следующую по порядковому номеру
     перезапустить парсер
}
 

 

и чтобы эта радость работала циклично, если номер инструкции - последний, чтобы был переход на 1-ю, и так далее. Предложения - в личку или в тему

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Товарищи разработчики, ау

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вчера заметил забавный момент - вдруг кто-то сообразит, с чем это связано: после запуска нескольких инструкций парсер обработал цены половины товаров, половина так и осталась висеть в списке задач, не двигаясь никуда (как я написал в 1м сообщении). То есть в логах парсера была такая картинка:

 

28.05.2013 19:09:04 Парсер категорий завершил работу. Обработано страниц: 1. Найдено товаров: 0. Затраченное время, сек.: 0.6.

28.05.2013 19:09:04 Парсер категорий начал работу.
28.05.2013 19:05:02 Парсер продуктов завершил работу. Добавлено товаров: 0. Обновлено товаров: 0. Затраченное время, сек.: 0.57.
28.05.2013 19:05:02 Парсер продуктов начал работу.
28.05.2013 19:03:01 Парсер категорий завершил работу. Обработано страниц: 1. Найдено товаров: 0. Затраченное время, сек.: 0.63.
28.05.2013 19:03:01 Парсер категорий начал работу.
28.05.2013 19:00:02 Парсер продуктов завершил работу. Добавлено товаров: 0. Обновлено товаров: 0. Затраченное время, сек.: 0.61.
28.05.2013 19:00:01 Парсер продуктов начал работу.

 

А запуск парсера на выполнение происходит через крон при обращении к файлу по адресу site/admin/p_product.php

 

Что я сделал - взял и обратился к этому файлу из браузера, в результате очередь задач протолкнулась на несколько товаров. Открыл его снова - снова товары обработались.

 

28.05.2013 19:12:27 Парсер продуктов завершил работу. Добавлено товаров: 19. Обновлено товаров: 5. Затраченное время, сек.: 23.81.
28.05.2013 19:12:03 Парсер продуктов начал работу.

28.05.2013 19:10:43 Парсер продуктов завершил работу. Добавлено товаров: 30. Обновлено товаров: 0. Затраченное время, сек.: 41.79.

28.05.2013 19:10:01 Парсер продуктов начал работу.

 

Но вот почему по крону этого не происходит после обработки половины товаров, понять не могу:

 

28.05.2013 19:30:01 Парсер продуктов завершил работу. Добавлено товаров: 0. Обновлено товаров: 0. Затраченное время, сек.: 0.02.

28.05.2013 19:30:01 Парсер продуктов начал работу.
28.05.2013 19:27:01 Парсер категорий завершил работу. Обработано страниц: 1. Найдено товаров: 0. Затраченное время, сек.: 0.63.
28.05.2013 19:27:01 Парсер категорий начал работу.
28.05.2013 19:25:01 Парсер продуктов завершил работу. Добавлено товаров: 0. Обновлено товаров: 0. Затраченное время, сек.: 0.49.
28.05.2013 19:25:01 Парсер продуктов начал работу.
28.05.2013 19:21:01 Парсер категорий завершил работу. Обработано страниц: 1. Найдено товаров: 0. Затраченное время, сек.: 0.67.
28.05.2013 19:21:01 Парсер категорий начал работу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

я сейчас разбираюсь с этим парсером, могу попутно сделать несколько фиксов задорого. Детали в личке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.