Здравствуйте, есть свежий натянутый сайт на Opencart, на сайте планируется залить около 10-15 млн товаров, нужно для него написать парсер, который пока что будет спарсить с трех ресурсов, сперва сделаем первый.
По итогу парсер должен забирать информацию с ресурсов и заливать в саму БД, или в CMS, т.е. не просто получить файл с товарами, а именно с настройкой заливки + разные тонкости, более детально описано в ТЗ, также парсер должен будет иметь возможность обновлять товары на сайте без вмешательства контент-менеджера.
На первом ресурсе около 9 млн товаров, часть полей можно выкачать за 4-5 часа из общей таблицы с товарами, но кроме одной характиристики, которая находится только в каждой отдельной карточки, и тут самый важный момент что нужно сделать многопоточный парсер с прокси, чтобы не выкачивать это все 3 месяца(так выходит если качать один товар в секунду), а быстрее насколько реально.
При ответе, напишите какой у Вас опыт в этой сфере, спасибо.