Парсер для опенкарт

[interpol]

Хочу написать модуль для парсинга товаров, яндекс маркета и али экспресс. Меня интересует будет ли спрос и с каких сайтов(донаров) хотите чтобы был парсинг???

[SooR]

Универсальный парсинг - это иллюзия.

 

Целевые сайты уже не так глупы и просты, как вам кажется.

В некоторых случаях необходим "интеллектуальный" подход, когда нужно обхитрить того, кто пытается обхитрить вас.

 

К примеру, один из известных магазинов сделал так, что если вы 10 раз подряд будете искать товар(ы), даже с разными интервалами времени, на 11-й раз он вам выдаст товары, но совершенно другие, но из искомой категории. То есть вы даже не заметите подмены. Ищете одно - а парсите другое, но из похожих товаров. Как-то так. В общем подкитывает левак, но не явный. В итоге - у вас масса ошибочных товаров, где названия не соответствуют содержимому.

[Shureg]

К примеру, один из известных магазинов сделал так, что если вы 10 раз подряд будете искать товар(ы), даже с разными интервалами времени, на 11-й раз он вам выдаст товары, но совершенно другие, но из искомой категории. То есть вы даже не заметите подмены. Ищете одно - а парсите другое, но из похожих товаров. Как-то так. В общем подкитывает левак, но не явный. В итоге - у вас масса ошибочных товаров, где названия не соответствуют содержимому.

Что-то прям детскими страшилками повеяло)  А гуглу такие мегакрутые сайты тоже всякую фигню отдают?

[SooR]

Что-то прям детскими страшилками повеяло)  А гуглу такие мегакрутые сайты тоже всякую фигню отдают?

 

Гугл не запрашивает страницу поиска с разными GET параметрами, он просто открывает видимые страницы.

Речь идет о поиске конкретных товаров на сайте-доноре, а не парсинг всего подряд..

[SooR]

Pascha

 

Как мне загрузить конкретные товары, не все? Если у меня есть ряд поставщиков со своими товарами, есть программа для сводного прайса, мне не нужны другие товары, мне нужно наполнить те, что у меня уже есть. Такое ваша программа сможет?