Нужно сделать парсер сайта!

[Miiix]

Всё просто, смотрите от обратного. У Вас есть поставщик, который предоставляет Вам прайс лист, в котором есть артикул, название и цена. Для интернет магазина нужно что бы были фотографии, описание, характеристики этих товаров. Вбивать всё это руками, особенно если товаров 5000 и более Вы будите до конца жизни. А при помощи парсинга это можно сделать в течении от нескольких часов до нескольких дней. Цены можно тоже спарсить, но основной упор идет на фото, описание и характеристики товаров.

 

А если у поставщика нет артикула? А если на сайте еще куча других товаров, по которым нет поставщика? Не проще ли подключиться к нормальному аггрегатору поставщиков и забирать фотки и характеристики через API, чем парсить чужие сайты, а потом пытаться это все у себя соединить. Я проблему-то понимаю, мне кажется, что решение не айс :)

[magneto2010]

Теперь главное сайт не положить, пока все товары не вытянет.

 

Сайт не положишь, у низ мощный сервер, если твой парсер сильно каптит, то ip вычислят и заблокируют на время, проходил уже это.

 

А если у поставщика нет артикула? А если на сайте еще куча других товаров, по которым нет поставщика? Не проще ли подключиться к нормальному аггрегатору поставщиков и забирать фотки и характеристики через API, чем парсить чужие сайты, а потом пытаться это все у себя соединить. Я проблему-то понимаю, мне кажется, что решение не айс :)

 

"Аггрегатор поставщиков" это прикольное словосочетание слов, но на деле вам никто не даст просто так подключиться да еще и API - многие не знают даже про это. 

В общем для простых смертных, у которых нет нормальных поставщиков, парсинг - самое оно. Дешево и сердито.

[Vitukr]

Итог работы парсера.

Парсер прошелся по 4877 страницам категорий и нашел 19421 страниц товара.

Весь процесс занял около 6 часов.

Сайт ip не вычислил и не блокировал.

Видимо не все страницы категорий вытащил.

[spambot]

Я могу я парсюк)))

[magneto2010]

Я могу я парсюк)))

 

А ну парсюк, у кого длинее... сможешь больше 36000?  сантехника тире онлайн точка ру. можешь еще и в тех задание глянуть.

[Miiix]

"Аггрегатор поставщиков" это прикольное словосочетание слов, но на деле вам никто не даст просто так подключиться да еще и API - многие не знают даже про это. 

В общем для простых смертных, у которых нет нормальных поставщиков, парсинг - самое оно. Дешево и сердито.

 

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

[Vitukr]

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

Вы спрашиваете самый большой секрет в этом бизнесе.

Если человек парсит, значит знает где будет брать этот товар.

 

P.S. Вы об этом? http://p5s.ru/e-commerce/

[magneto2010]

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

 

Я исполнитель заказа, поэтому не ведую всю эту кухню, но если человек просит, значит на что-то рассчитывает. 

Другой случай - тоже самое, человек открыл магазин на основе другого магазина, парсит у него товар(я этим занимаюсь), и как партнер берет у них же товар дешевле и продает. Короче что мне объяснять, у каждого своя движуха.

[Miiix]

Вы спрашиваете самый большой секрет в этом бизнесе.

Если человек парсит, значит знает где будет брать этот товар.

 

P.S. Вы об этом? http://p5s.ru/e-commerce/

 

Хахаха, серьезно самый большой секрет в этом бизнесе? :)

 

А зачем вы ссылку на секс-шоп скинули? :)

[Miiix]

Другой случай - тоже самое, человек открыл магазин на основе другого магазина, парсит у него товар(я этим занимаюсь), и как партнер берет у них же товар дешевле и продает. 

 

Так если он как партнер работает с магазином, не проще ли договориться как с партнером и получить выгрузку всю? Странно все это, напоминает не бизнес, а коекакерство :)

[magneto2010]

Так если он как партнер работает с магазином, не проще ли договориться как с партнером и получить выгрузку всю? Странно все это, напоминает не бизнес, а коекакерство :)

 

Сразу видно что Вы дилетант. Попробуйте попросить)). 

[Vitukr]

Хахаха, серьезно самый большой секрет в этом бизнесе? :)

 

А зачем вы ссылку на секс-шоп скинули? :)

Ваше поведение напоминает того человека с "шашечками" и такси.

[Miiix]

Сразу видно что Вы дилетант. Попробуйте попросить)). 

 

Ладно, попробую, как дилетант, вам удачи в парсинге :)