Gerryley

подскажите почему могли пропасть категории во вкладках категории и наценки и в инструментах. сами категории созданы и были привязаны по id поставщика

Разобрался , изменил номер магазина 

Никак не дождусь несколько потоков  

11 минут назад, Rassol2 сказал:

Чисто в теории это возможно если первый браузер взял ссылку и начал с ней работать. И в это период второй браузер тоже берет ссылку.
И тогда получается первый еше не пометил ссылку как выполненную

Но если взять даже вот такой сложный момент когда куча всего создается.

  Скрыть контент

Модулю требуется меньше 1 секунды.

Вероятность мала. Но если произойдет все же, тогда в игру вступает эта настройка
 

  Скрыть контент

Если стоит добавить, то после того как модуль скачает страницу он увидит что товар с таким идентификатором уже существует, и проигнорирует его.
А если стоит обновлять. То тут вообще проблемы не вижу 

я пробовал обший список ссылок разными браузерами.

Все таки мне больше понравился вариант в 4 потока с поделенными ссылками. 

6 часов назад, Rassol2 сказал:

эта схема известна ))

Но делить ссылки не обязательно. Модуль берет ссылку, обрабатывает после обработки помечает ее в базе данных как спарсенную. После этого модуль обрашается к базе и говорит дай мне еше одно ссылку которая не помечена как спарсенная.
Так вот если одни поток спарсил ссылку то остальным она уже не достанется и в теории можно не делить ссылки.

Но у меня другой вопрос 1600ссылок обновлялось 12 часов ? сколько времени у вас уходит на 1 ссылку ? Это катастрофически медленно. Если у вас конечно не стоит пауза парсинга.

пауз никаких не ставил.

а не будет такого что одновременно 4 браузера будут хватать 1 и туже ссылку ? 

пауз никаких не ставил.

а не будет такого что одновременно 4 браузера будут хватать 1 и туже ссылку ? 

Хочу поделиться, может быть кому полезно будет.

У меня на сайте более 1600 товаров, обновлялось около 12 часов. так как идет в 1 поток.

Я уменьшил это время до 2,5 часов.

Создал 4 Проекта, Поделил 1600 ссылок на 4 части. и вставил их в во все 4 проекта по частям.

Открыл каждый проект разными браузерами и запустил каждый, получилось 4 потока. 

Еще бы была бы функция ставить парсинг на рефреш, было бы супер !

1 минуту назад, Rassol2 сказал:

К сожалению нет. Сам php не много поточный.
Я в последний версиях подкрутил скорости.
Возможно в будущем сделаю много поточность за счет удаленного сервера. Но пока это далекий мысли и требуют проверки будет ли возможным все реализовать.

По скорости заметил, быстрее стало

@Rassol2 Отличный модуль !

Пользуюсь модулем для обновления цен и добавления товара. Около 10000 наименований. 

Возможно ли у парсера сделать не 1 поток а несколько ? очень долго ждать пока такое количество страниц просмотрит. приходится запускать на ночь.

И очень жалко что нельзя его запустить и выключить комп

Было бы очень полезно привязывать к каждому товару ссылку на страницу доннера этого товара, если она не доступна то, то менять статус товара на выключено, или нет на складе.

Или может подскажите решение.