Избавиться от дублей товаров

[kostya242]

От двух разных поставщиков парсятся одинаковые товары, допустим 2 стиральные машины (Indesit IWSB-50851BY).

 

Посоветуйте оптимальный способ, как победить такие дубли. На ум приходит настройка 301 редиректа, с одного товара на другой, но какой модуль для этого подойдет, не руками же прописывать.

 

Или может есть более изящный способ?

 

[openprice]

А как вы определяете одинаковость товаров? По названию? По артикулу? По модели?

От чего можно было бы отталкиваться, чтобы скрипт понимал, что товары одинаковые?

[esculapra]

1 час назад, openprice сказал:

А как вы определяете одинаковость товаров? По названию? По артикулу? По модели?

ну да. можно приклеить поставщика. тут же пофиг уткого купят - ТС все равно получает процент.

[herminator]

Загонять в базу дубли, чтобы потом с ними мудохаться - странное решение. Лучше в процессе парсинга решать вопрос или сразу после, но никак не с 301 морочиться.

[Tom]

4 часа назад, kostya242 сказал:

От двух разных поставщиков парсятся одинаковые товары, допустим 2 стиральные машины (Indesit IWSB-50851BY).

 

Посоветуйте оптимальный способ, как победить такие дубли. На ум приходит настройка 301 редиректа, с одного товара на другой, но какой модуль для этого подойдет, не руками же прописывать.

 

Или может есть более изящный способ?

 

Определять в момент парсинга или импорта парсинга в магазин, некую общую сущность в виде одинакового названия, модели, артикула итп и не плодить дубли, а добавлять один вариант товара....

[invays]

11 минут назад, Tom сказал:

Определять в момент парсинга или импорта парсинга в магазин, некую общую сущность в виде одинакового названия, модели, артикула итп и не плодить дубли, а добавлять один вариант товара....

Имеется ввиду что - вы проверяете во время импорта данных допустим модель(она идентичная у 2х поставщиков) - запросом в базе проверяем ее наличие - если делаем такой то процесс, если нету, добавляем товар в базу. Но идентификатор должен совпадать у 2х поставщиков.

[kostya242]

3 минуты назад, invays сказал:

Имеется ввиду что - вы проверяете во время импорта данных допустим модель(она идентичная у 2х поставщиков) - запросом в базе проверяем ее наличие - если делаем такой то процесс, если нету, добавляем товар в базу. Но идентификатор должен совпадать у 2х поставщиков.

Проблема в том, что у поставщиков не единая номенклатура, привязаться к единому атрибуту, одинаковому для двоих поставщиков одного товара невозможно. Отсюда и вопрос возник. То что можно было бы решать на этапе парсинга и отсекать дубли - это понятно, но проблема то остается.

[Ptenec]

30 минут назад, Tom сказал:

Определять в момент парсинга или импорта парсинга в магазин, некую общую сущность в виде одинакового названия, модели, артикула итп и не плодить дубли, а добавлять один вариант товара....

согласен был пациент который жаловался на дубли бренда товаров
все от того что поставщики косячили место русского с добавляют англ

то артикул меняют как вздумается

[openprice]

14 минут назад, kostya242 сказал:

Проблема в том, что у поставщиков не единая номенклатура, привязаться к единому атрибуту, одинаковому для двоих поставщиков одного товара невозможно. Отсюда и вопрос возник. То что можно было бы решать на этапе парсинга и отсекать дубли - это понятно, но проблема то остается.

 

ну так и ответьте на главный ключевой вопрос, который был в самом начале

как можно определить, что два товара одинаковые?

[chukcha]

можно попытаться прогонтяь
через алгоритмы(методы) схожести
 

soundex

levenshtein
similar_text

Тут все зависит от длин самих строк

+ возможно совмещение или написание собственных методов