Перейти к содержанию
interpol

Парсер для опенкарт

Рекомендуемые сообщения

Хочу написать модуль для парсинга товаров, яндекс маркета и али экспресс. Меня интересует будет ли спрос и с каких сайтов(донаров) хотите чтобы был парсинг???

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

хочу с любых сайтов
пишите Content Downloader, он с любых сайтов парсит (кстати лицензию пожизненную купил года три назад всего за 1 тыс руб) , потяните?

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Универсальный парсинг - это иллюзия.

 

Целевые сайты уже не так глупы и просты, как вам кажется.

В некоторых случаях необходим "интеллектуальный" подход, когда нужно обхитрить того, кто пытается обхитрить вас.

 

К примеру, один из известных магазинов сделал так, что если вы 10 раз подряд будете искать товар(ы), даже с разными интервалами времени, на 11-й раз он вам выдаст товары, но совершенно другие, но из искомой категории. То есть вы даже не заметите подмены. Ищете одно - а парсите другое, но из похожих товаров. Как-то так. В общем подкитывает левак, но не явный. В итоге - у вас масса ошибочных товаров, где названия не соответствуют содержимому.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
К примеру, один из известных магазинов сделал так, что если вы 10 раз подряд будете искать товар(ы), даже с разными интервалами времени, на 11-й раз он вам выдаст товары, но совершенно другие, но из искомой категории. То есть вы даже не заметите подмены. Ищете одно - а парсите другое, но из похожих товаров. Как-то так. В общем подкитывает левак, но не явный. В итоге - у вас масса ошибочных товаров, где названия не соответствуют содержимому.

Что-то прям детскими страшилками повеяло)  А гуглу такие мегакрутые сайты тоже всякую фигню отдают?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что-то прям детскими страшилками повеяло)  А гуглу такие мегакрутые сайты тоже всякую фигню отдают?

 

Гугл не запрашивает страницу поиска с разными GET параметрами, он просто открывает видимые страницы.

Речь идет о поиске конкретных товаров на сайте-доноре, а не парсинг всего подряд..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

SooR

 

Видимо Вы не знакомы с вышеозвученной мною прогой-парсером, иначе знали бы что настройки ее гибки и она может парсить не только все подряд, но и выборочно...
потому иногда поступают вполне реализуемые ТЗ типа

парсим не все категории
Берем Керамическую плитку, Керамогранит, Клинкер, Мозаику

 

 

области парсинга задаются именно по ссылкам (УРЛ) и параметрам которые необходимы (возможен и выборочный парсинг)
GET, POST... другие приблуды вообще не используются...
потому не вижу модульной альтернативы данной проге, тем более на ОС
а грузится все простым импортом/экспортом CSV + по фтп грузится папка с картинками товара, которые так же парсятся с сайта донора )))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Pascha

 

Как мне загрузить конкретные товары, не все? Если у меня есть ряд поставщиков со своими товарами, есть программа для сводного прайса, мне не нужны другие товары, мне нужно наполнить те, что у меня уже есть. Такое ваша программа сможет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

SooR

Вы счас о парсере с доноров сайтов или о импорте прайс листов?
Например мне проще спарсить товары с старого сайта на ВП и импортнуть их в новый на ОС (можно и через БД, но парсером проще)

Говорим по моему о разных вещах... да и прога не моя, и я ее не рекламирую, а просто предоставляю вариант, к которому возможно кто то придет, раз



Хочу написать модуль для парсинга товаров

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.