Всем привет,
У нас любопытная ситуация, парсим сайт - 4000+ товаров, сайт на 2х языках
Например есть товар у которого линейка состоит из 40 моделей, отличаются эти модели цветом и объемом памяти.
Описание(текст+фото) у всех одинаковое - чистый маркетинг.
На выходе получаем такую математику
40 товаров, в описании 17 фотографий, 2 языка = 1360 дублей фото. - это приводите и уже привело к нехватке места на хосте - 20гб закончились мгновенно, перешли уже на план 100гб.
Каким образом можно объяснить модулю SimplePars чтобы он не плодил дубли фото во время парсинга?
Каким образом можно избавить от дублей фото после парсинга?
Спасибо