[Поддержка] Парсер-менеджер товаров с торговых площадок

[Candyman1987]

При нажатии проверки прокси пишет "Найдено рабочих прокси - Нет файла: proxy_list.txt0" 

Как исправить и где должен лежать файл с прокси?

В каком виде он должен быть?

Увы на видео про это мало информации у Вас...

[igyan]

файл прокси можно положить вручную в папку download,

но если есть возможность использовать нормальный  покупной прокси, не из паблика

с подкидыванием кук и установкой задержки между парсингом

 

при возникновении вопросов указывайте версию парсера и донора

[Vitaly2]

совсем всё плохо стало )

ни с одной площадки не получается спарсить..

Hotline там что-то от ботов защиту включили..

Яндекс постоянно окно капчи выводит..

Onliner вобще интересный.. товар ищет, но не парсит, пишет Нет данных для парсинга...

[axor]

у меня онлайнер не работает.

яндекс вчера в ночь и сегодня до обеда капчу не просил, щас опять начал

с хотлайна один товар парсил, без проблем спарсил

[igyan]

обновите парсер

что не работает с олайнера скиньте ссылки

где есть капча нужно использовать прокси с куками

[axor]

• как насчет сделать опцию, чтоб можно было скрывать товары которые спарсены? чтоб она включалась и выключалась 

или просто возвращать на то место где последний товар парсил, у меня например 1000 товаров спарсил один товар и потом ищешь где остановился, очень не удобно.

и возможность работать сразу нескольким пользователям, щас это доступно только если поставить одну категорию и парсить всеми ее

а хотелось бы каждому пользователю по категории дать.

Змінено 10 червня 2016 користувачем axor

[igyan]

есть опция - не показывать спарсенные товары, установите там время

остальное не получится, много переделывать

[aleksus33]

 

• как насчет сделать опцию, чтоб можно было скрывать товары которые спарсены? чтоб она включалась и выключалась 
• или просто возвращать на то место где последний товар парсил, у меня например 1000 товаров спарсил один товар и потом ищешь где остановился, очень не удобно.
• и возможность работать сразу нескольким пользователям, щас это доступно только если поставить одну категорию и парсить всеми ее
• а хотелось бы каждому пользователю по категории дать.

 

Я думаю, нужно, автора модуля хорошо?или очень хорошо попросить что бы настроил модуль на парсер. У меня уже почти месяц товары с hotline не парсены, теперь не знаю. когда их заведу.

[axor]

есть опция - не показывать спарсенные товары, установите там время

остальное не получится, много переделывать

дело в том что это не помогает, так как перед парсингом я очищаю товары(долгая история, но это обязательно надо) по-этому модуль после очистки товара думает что я его спарсил и скрывает.

 

Я думаю, нужно, автора модуля хорошо?или очень хорошо попросить что бы настроил модуль на парсер. У меня уже почти месяц товары с hotline не парсены, теперь не знаю. когда их заведу.

 

предлагаю скинутся) или вообще ввести абонентскую плату, я думаю тогда автор будет больше уделять времени модулю.

Змінено 12 червня 2016 користувачем axor

[aleksus33]

дело в том что это не помогает, так как перед парсингом я очищаю товары(долгая история, но это обязательно надо) по-этому модуль после очистки товара думает что я его спарсил и скрывает.

 

 

предлагаю скинутся) или вообще ввести абонентскую плату, я думаю тогда автор будет больше уделять времени модулю.

Согласен,лишь бы автор модуля быстрее реагировал на проблемы с модулем и исправлял.

[igyan]

Сделал обновление

1. Исправлен парсинг с hotline
2. Добавлен донор m.ua
3. Добавлено в настройки: ввод слов, которые нужно убрать из названия, вводятся через разделитель (Смартфон; Телевизор; Монитор)

 

донор m.ua, не совсем удачный на нем тоже стоит капча гугла, поэтому если будет плохо парсится будет заменен на другой

[aleksus33]

Доброе утро! Спасибо за обновление. По поводу хотлайна, работу с данным донором продолжать по принципу использовать нормальный  покупной прокси, не из паблика с подкидыванием кук и установкой задержки между парсингом?

[igyan]

Для хотлайна нужен прокси, обойти капчу не получилось

Перед парсингом через прокси нужно

1 вставить прокси в браузер и зайти на хотлайн, если выскочит капча жмем "я не робот", таким образом разблокируем ip адрес прокси

2 подкидываем куки

3 в настройках втравляем юзер-агент или берем его из браузера

4 ставим задержку секунд 10

5 если не парсит, смотрим лог, смотрим последнюю спарсенную страницу, удаляем/подкидываем куки, проверяем доступ к  всем донорам как с прокси, так и без прокси

 

В принципе это касается всех доноров

[igyan]

немного прокси для теста163.172.138.130:312851.254.106.74:80

эти надо пробовать разблокировать

52.77.252.184:80

117.169.4.133:80

183.245.147.48:80

183.178.172.102:80

[axor]

а что насчет http://torg.mail.ru/ ?

[axor]

заметил такую проблемку.

когда парсишь и выскакивает капча, при этом периодически парсится часть товара(без атрибутов), раз капча вылезла лучше если он вообще не трогал этот товар.

[igyan]

а что насчет http://torg.mail.ru/ ?

я подумаю

[igyan]

заметил такую проблемку.

когда парсишь и выскакивает капча, при этом периодически парсится часть товара(без атрибутов), раз капча вылезла лучше если он вообще не трогал этот товар.

на яндексе описание и атрибуты на двух  разных страницах, надо посмотреть что можно сделать

[Vitaly2]

Сделал обновление

1. Исправлен парсинг с hotline

2. Добавлен донор m.ua

3. Добавлено в настройки: ввод слов, которые нужно убрать из названия, вводятся через разделитель (Смартфон; Телевизор; Монитор)

 

донор m.ua, не совсем удачный на нем тоже стоит капча гугла, поэтому если будет плохо парсится будет заменен на другой

 

а под вторую версию тоже обновление есть?

[igyan]

а под вторую версию тоже обновление есть?

на вторую пока нового донора нет, с хотлайна подправил

[seregakng]

я подумаю

;) было бы не плохо.. 

еще если когданибуть атрибуты начнут какнибуть формироваться что бы фильтра одни и те же по разным группам не делились вообще супер будет... золотой будет)))  :wink:

[Vitaly2]

а что сие означает?

 

 

в данном файле вот первая строчка

<?php echo $header; ?><?php echo $column_left; ?>

 

18

 <?php if ($error_warning) { ?>

 

30

<h3 class="panel-title"><i class="fa fa-exclamation-triangle"></i> <?php echo $text_list; ?></h3>

Змінено 20 червня 2016 користувачем Vitaly2

[igyan]

а что сие означает?

 

 

в данном файле вот первая строчка

<?php echo $header; ?><?php echo $column_left; ?>

 

18

 <?php if ($error_warning) { ?>

 

30

<h3 class="panel-title"><i class="fa fa-exclamation-triangle"></i> <?php echo $text_list; ?></h3>

ничего не означает, главное что видна информация лога

[djscith]

Обновил модуль и он перестал работать, выдаёт ошибку не понятную cannot be decoded by this version of the ionCube Loader. If you are the administrator of this site then please install the latest version of the ionCube Loader. in Unknown on line 0

[djscith]

Уважаемый разработчик прошу снизойдете до моего уровня, я вам писал 4 дня назад http://joxi.ru/1A5bJ8EipnkNrE