Разработка парсера

[feedback25]

Здравствуйте, есть свежий натянутый сайт на Opencart, на сайте планируется залить около 10-15 млн товаров, нужно для него написать парсер, который пока что будет спарсить с трех ресурсов, сперва сделаем первый.

По итогу парсер должен забирать информацию с ресурсов и заливать в саму БД, или в CMS, т.е. не просто получить файл с товарами, а именно с настройкой заливки + разные тонкости, более детально описано в ТЗ, также парсер должен будет иметь возможность обновлять товары на сайте без вмешательства контент-менеджера.

На первом ресурсе около 9 млн товаров, часть полей можно выкачать за 4-5 часа из общей таблицы с товарами, но кроме одной характиристики, которая находится только в каждой отдельной карточки, и тут самый важный момент что нужно сделать многопоточный парсер с прокси, чтобы не выкачивать это все 3 месяца(так выходит если качать один товар в секунду), а быстрее насколько реально.

 

При ответе, напишите какой у Вас опыт в этой сфере, спасибо.

[anboza]

13 минут назад, feedback25 сказал:

залить около 10-15 млн товаров,

 

 

Змінено 22 травня 2019 користувачем anboza

[anboza]

14 минут назад, feedback25 сказал:

в саму БД, или в CMS,

[Soong]

Алиса, а как скачать гугл?

[Einshtein]

Бюджет надеюсь не больше 3 т.р.?

[feedback25]

Вижу тут у всех шутки есть в номере, молодцы =)

 

 

[f1proru]

Добрый день! Если тема еще актуальна для Вас, отправьте на [email protected] более детальное техническое задание и контактную информацию для связи.