scary.png Happy Halloween! Лови жутко страшный список шаблонов и модулей со скидками.
Jump to content
Sign in to follow this  
kolomenec

Нужно сделать парсер сайта!

Recommended Posts

Всё просто, смотрите от обратного. У Вас есть поставщик, который предоставляет Вам прайс лист, в котором есть артикул, название и цена. Для интернет магазина нужно что бы были фотографии, описание, характеристики этих товаров. Вбивать всё это руками, особенно если товаров 5000 и более Вы будите до конца жизни. А при помощи парсинга это можно сделать в течении от нескольких часов до нескольких дней. Цены можно тоже спарсить, но основной упор идет на фото, описание и характеристики товаров.

 

А если у поставщика нет артикула? А если на сайте еще куча других товаров, по которым нет поставщика? Не проще ли подключиться к нормальному аггрегатору поставщиков и забирать фотки и характеристики через API, чем парсить чужие сайты, а потом пытаться это все у себя соединить. Я проблему-то понимаю, мне кажется, что решение не айс :)

Share this post


Link to post
Share on other sites

Теперь главное сайт не положить, пока все товары не вытянет.

 

Сайт не положишь, у низ мощный сервер, если твой парсер сильно каптит, то ip вычислят и заблокируют на время, проходил уже это.

 

А если у поставщика нет артикула? А если на сайте еще куча других товаров, по которым нет поставщика? Не проще ли подключиться к нормальному аггрегатору поставщиков и забирать фотки и характеристики через API, чем парсить чужие сайты, а потом пытаться это все у себя соединить. Я проблему-то понимаю, мне кажется, что решение не айс :)

 

"Аггрегатор поставщиков" это прикольное словосочетание слов, но на деле вам никто не даст просто так подключиться да еще и API - многие не знают даже про это. 

В общем для простых смертных, у которых нет нормальных поставщиков, парсинг - самое оно. Дешево и сердито.

Share this post


Link to post
Share on other sites

Итог работы парсера.

Парсер прошелся по 4877 страницам категорий и нашел 19421 страниц товара.

Весь процесс занял около 6 часов.

Сайт ip не вычислил и не блокировал.

Видимо не все страницы категорий вытащил.

Share this post


Link to post
Share on other sites

Я могу я парсюк)))

Share this post


Link to post
Share on other sites

Я могу я парсюк)))

 

А ну парсюк, у кого длинее... сможешь больше 36000?  сантехника тире онлайн точка ру. можешь еще и в тех задание глянуть.

Share this post


Link to post
Share on other sites

"Аггрегатор поставщиков" это прикольное словосочетание слов, но на деле вам никто не даст просто так подключиться да еще и API - многие не знают даже про это. 

В общем для простых смертных, у которых нет нормальных поставщиков, парсинг - самое оно. Дешево и сердито.

 

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

Share this post


Link to post
Share on other sites

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

Вы спрашиваете самый большой секрет в этом бизнесе.

Если человек парсит, значит знает где будет брать этот товар.

 

P.S. Вы об этом? http://p5s.ru/e-commerce/

Share this post


Link to post
Share on other sites

Вы не поняли, я имел в виду, что не парсить ИМ, а подключать конкретных поставщиков и с них подгружать и аттрибуты моделей и фотки. Ну вот вы 36 000 товаров сейчас спарсите с сайта, а что дальше с ними делать? Где вы их закупать будете?

 

Я исполнитель заказа, поэтому не ведую всю эту кухню, но если человек просит, значит на что-то рассчитывает. 

Другой случай - тоже самое, человек открыл магазин на основе другого магазина, парсит у него товар(я этим занимаюсь), и как партнер берет у них же товар дешевле и продает. Короче что мне объяснять, у каждого своя движуха.

Share this post


Link to post
Share on other sites

Вы спрашиваете самый большой секрет в этом бизнесе.

Если человек парсит, значит знает где будет брать этот товар.

 

P.S. Вы об этом? http://p5s.ru/e-commerce/

 

Хахаха, серьезно самый большой секрет в этом бизнесе? :)

 

А зачем вы ссылку на секс-шоп скинули? :)

Share this post


Link to post
Share on other sites

Другой случай - тоже самое, человек открыл магазин на основе другого магазина, парсит у него товар(я этим занимаюсь), и как партнер берет у них же товар дешевле и продает. 

 

Так если он как партнер работает с магазином, не проще ли договориться как с партнером и получить выгрузку всю? Странно все это, напоминает не бизнес, а коекакерство :)

Share this post


Link to post
Share on other sites

Так если он как партнер работает с магазином, не проще ли договориться как с партнером и получить выгрузку всю? Странно все это, напоминает не бизнес, а коекакерство :)

 

Сразу видно что Вы дилетант. Попробуйте попросить)). 

Share this post


Link to post
Share on other sites

Хахаха, серьезно самый большой секрет в этом бизнесе? :)

 

А зачем вы ссылку на секс-шоп скинули? :)

Ваше поведение напоминает того человека с "шашечками" и такси.

Share this post


Link to post
Share on other sites

Сразу видно что Вы дилетант. Попробуйте попросить)). 

 

Ладно, попробую, как дилетант, вам удачи в парсинге :)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.