Модуль Автоматическая обработка прайс-листов. [Поддержка]

[Mailychechka]

Данные вопросы уже подымались

 

1. Да, если у доноров нет Арт. - надо придумать самому 

2. Ограничение 64 Kb - но помните, что буква кириллицы весит больше, чем латиница  

Спасибо, тему про отсутствие артикула нашла

[makedonsky]

Забанили IP - менять только IP сервера. Надо обратиться к хостингу и попросить сменить IP. 

 

Судя по настройкам - не поддерживает прокси. 

 

Время - зависит от настроек сервера. Самый простой вариант - разделить файл не кучу маленьких до 200 шт и делать больше паузу между загрузкой файла со ссылками. 

Стилус использует вот это https://www.google.com/recaptcha/intro/index.html   тобишь - reCAPTCHA, и с ней не могут справить ни a-parser, ни Content Downloader   можете замучатся каждый раз менять IP

[vasyakrn]

мне нужно спарсить всего 150 товаров. Может ктото поможет? скину все настройки

[dmvik]

мне нужно спарсить всего 150 товаров. Может ктото поможет? скину все настройки

дай URL и список того, что интересует - попробую 

[usergio]

Стилус использует вот это https://www.google.com/recaptcha/intro/index.html   тобишь - reCAPTCHA, и с ней не могут справить ни a-parser, ни Content Downloader   можете замучатся каждый раз менять IP

Ага, вижу, что нужно повторить пост, назрело :)

 

                                                          Как парсить сайты защищенные от парсинга.

                                                            ( Инструкция на примере Яндекс Маркета).

                                                                                     

В файл admin/model/catalog/suppler

нужно вставить после строки: function curl_get_contents(&$url, $pi) {

Следующий текст.

if (!$pi) {

     $p = strrpos($url, "?");

        if (!$p) $p = strrpos($url, "/");

        $name = substr($url, $p+1);

        $p = strrpos($name, ".");

        if ($p) $name = substr($name, 0, $p);

        $name = trim($name);

        

        $file_s    = "./uploads/".$name;

        if (file_exists ($file_s)) {

            $st ='';

            $s = @fopen($file_s,'r');

            while (!@feof($s)) {

                $f = @fgets($s, 4096);

                $st = $st.$f;

            }    

            @fclose($s);

            $ht = $st;

        } else {

            $err = " file error = " . $file_s ." \n";

            $this->adderr($err);

            $err = $url ." \n";

            $this->adderr($err);

        }    

        return $ht;

  }

Собираем ссылки на товары с Яндекса в наш прайс.

Делаем их активными, быстрым, двойным нажатием ЛКМ на каждой ссылке.

Идем по прайсу по ссылкам:

Открываем стр. Яндекса с товаром, отмечаем в ссылке от знака ? до конца ссылки или до точки: http://prntscr.com/7kfnwg

или, если знака ? нет, то от слэша: http://prntscr.com/7kfou7

 

Нажимаем  ctrl+C  ctrl+S  ctrl+V  Enter

Собираем файлы страниц нашего защищенного))) донора на своем компе, удаляем из названий .html или .htm  (групповое переименование).

Закачиваем все эти файлы в admin/udloads

Прогоняем наш прайс со ссылками на Яндекс.

Проскакивает очень быстро :)

[usergio]

Забанили IP - менять только IP сервера. Надо обратиться к хостингу и попросить сменить IP. 

 

Судя по настройкам - не поддерживает прокси. 

 

Время - зависит от настроек сервера. Самый простой вариант - разделить файл не кучу маленьких до 200 шт и делать больше паузу между загрузкой файла со ссылками. 

Можно еще вставить задержку, чтобы не слишком быстро ходить по страницам донора.

В admin/model/catalog/suppler после строки function curl_get_contents(&$url, $pi) {

вставьте sleep(5);  - это задержка на 5 сек

 

http://prntscr.com/7za69f

[usergio]

Здравствуйте! Понравился модуль и хочу его купить. Проблема в том, что у многих поставщиков в прайсах нет артикула. Как вариант, попробовать сделать его самостоятельно исходя из названия и типоразмера (нужно для шин и дисков). Есть ли у модуля ограничения на количество символов в артикуле? И если есть, то какое?

64 буквы и/или цифры.

Русская буква идет за две.

[usergio]

Уже пол дня не могу настроить парсер. Неделю назад все отлично работало а сейчас не хочет. Источник http://stylus.com.ua/ru/products/details/182567/index.html#all

 

Характеристики

параметры парсинга:

<tr><th>,</th>,<td>,</td></tr>

Тексты начала и конца парсинга, через запятую

tech-spec">,</table>

Описание

параметры парсинга:

video-review">,</sectio

Я думаю может ип сервера забанилы на сайте доноре? Как можно проверить?

Если в еррорсе пишут: Site no answer то возможно, что забанили(

Чтобы в этом убедиться, можно посмотреть заголовок ответа сайта на ваш запрос.

В файле admin/model/catalog/suppler

После строки:  $head = $this->getHead($url);

Вставьте строки:

$err = " HEAD = " . $head ." \n";

$this->adderr($err);

Результат смотрите в uploads/errors

[usergio]

Нет, просто останавливается и все, пока не уменьшишь файл до 4-5 тысяч строк.. 

А вы запускайте прайс от сюда: http://prntscr.com/7zaagv

Тогда размер не имеет значения :)

[Leanidas]

Вопрос решил.

Змінено 31 липня 2015 користувачем Leanidas

[Leanidas]

Новый вопрос) как спарсить фотографии с этого сайта у товара? 

http://smartshoes.moscow/catalog/brendy/timberland/classic+6/timberland_classic_sneakers_blue/

[Leanidas]

И еще вопрос как парсить с сайтов где url на русском?

Пишет такую ошибку

 

 

 | curl contens error = Couldn't resolve host 'многоног.рф' 
3 | The Product passed: Row ~= 1 url = http://многоног.рф/converse/nizkie-kedy/converse-classic-low-white.html Site no answer 

Змінено 31 липня 2015 користувачем Leanidas

[dmvik]

Повторю свой вопрос - может, кто-то сталкивался?!

Мой поставщик присылает прайс в PDF и когда у него получится. 

 

Задача для модуля: 

1. брать цены с сайта поставщика  - настроено, берется 

2. контролировать цены Конкурентов и выводить среднее значение. 

 

Сделал, файл-импорта, в котором связаны: Арт., URL-донора, URL-конкурента

 

При запуске модуля - получаю ошибку, которая дублируется в зависимости от количество строк в файле импорта. 

Please, set the column number, containing the purchase price in price-list

 

Настройка вкладок следующая: 

"Основные"

http://joxi.ru/RmzzgbVF4WplmO

Установить цену, на основании анализа цен конкурентов: "Меньше средней" на 1

Использовать ссылки: "Сохраненные в товаре" 

Если цена у конкурентов оказалась меньше цены закупки: "Установить минимальную цену конкурентов"

Если цену определить не удалось: "Не обновлять цену и количество" 

 

"Цены конкурентов"

http://joxi.ru/82Qq7ONho1l52d

Номер колонки, содержащей ссылку на страницу сайта: Указал колонку в которой прописана ссылка на страницу товара на сайте конкурента"

Сайт: "www.donor.name"

Параметры парсинга: "Цена,USD"

Введите текст, обозначающий отсутствие цены: Пусто, т.к. на у донора не видел товаров без цены 

Использовать, как цену закупки: "Нет"

Тексты начала и конца парсинга, через запятую: НЕ ЗНАЮ, ЧТО ПИСАТЬ, оставил пустой

Параметры парсинга: НЕ ЗНАЮ, ЧТО ПИСАТЬ, оставил пустой

Тексты начала и конца парсинга, через запятую: НЕ ЗНАЮ, ЧТО ПИСАТЬ, оставил пустой 

[Romek]

Добрый день, подскажите пожалуйста как для товара ( одного производителя ), который находится в определенной категории массово поменять категорию. При заливки указали не верную категорию, можно в принципе удалить весь товар и добавить заново, но может есть проще вариант. Спасибо.

[Otvet]

В инструментах должен быть выбор категории, производителя и целевой категории

[Romek]

В инструментах должен быть выбор категории, производителя и целевой категории

Да, я сразу выбрал категорию и целевую категорию, но вот что выбирать в "Действие" ?

[Otvet]

Сразу не мог вспомнить и написать, оказалось потому что нечего вспоминать))

[knopic]

Спасибо огромное разработчику. Мне очень помогает этот модуль, без него не представляю как бы работала с магазином. Я использую модуль для обновления остатков и цен. Обновление магазина происходит в считанные минуты, сейчас это очень актуально, т.к курс не стабилен и поставщики цены меняют почти каждый день. Поддержка оперативная, разработчик реагирует мгновенно. Все просьбы по модулю дорабатывает спокойно и без претензий. Спасибо :-)

Змінено 4 серпня 2015 користувачем knopic

[Grime]

Нужна инфа по данному модулю.

Ибо я в этой теме не очень пока шарю.

В общем есть 2 вида прайсов:

Первый это основной с помощью которого заполнялся магазин: категории, название  товара, артикул, фото, описание, хар-ки и т.д.

И есть прайсы(название, артикул, цена) с ценами которые присылают поставщики. Ибо вбивать новые цены постоянно в основной прайс долговато будет, можно ли брать цены из данных прайсов?

[Nomandvs]

Нужна инфа по данному модулю.

Ибо я в этой теме не очень пока шарю.

В общем есть 2 вида прайсов:

Первый это основной с помощью которого заполнялся магазин: категории, название  товара, артикул, фото, описание, хар-ки и т.д.

И есть прайсы(название, артикул, цена) с ценами которые присылают поставщики. Ибо вбивать новые цены постоянно в основной прайс долговато будет, можно ли брать цены из данных прайсов?

Можно. Модуль будет искать по артикулу товар и обновлять цены.

[ZanSuro]

Всем доброе время суток )))

Хочу приобрести данный модуль, все почитал, видео посмотрел. Может , что то не дочитал или не досмотрел, но появилось несколько вопросов. 

1) Для вывода цен на товар где присутствую разные опции, я использую связку модулей - Обновление цены при выборе опции, без AJAX (vqmod) v1.5.x v2.0.x (для того что бы при выборе опции в ИМ изменялась цена в карточке товара) и [vQMod] Дополнительные действия с ценой опции 1.5.3.1_5 (для того что бы цена для опции в Admin-ке задавалась целым число). Вопрос: будет ли дружить модуль "Автоматическая обработка прайс-листов."  с этими модулями.

Немного подробностей в чем моя задача и почему я спрашиваю.

Прайс поставщика выглядит примерно так

Артикул/модель | Название                          |  Цена

1234                   |  Плюшка с маком, 100гр. |   100 руб.

5678                   |  Плюшка с маком, 200гр. |   200 руб.

У меня в ИМ товар выглядит так 

Плюшка с маком и две опции: 1) 100гр. ценна =110р. 2) 200гр. ценна = 210р.

Хочу обновлять цены по для каждого артикула делать на него нужную мне наценку (это посмотрел модуль умеет вроде)  и выводить их точным числом.

Змінено 4 серпня 2015 користувачем ZanSuro

[zamez]

Вчера модуль работал отличною

Сегодня я решил обновиться, нго в ерорс получил вот такую ошибку:

The Product passed: Row ~= 7 url = http://поставщик.com.ua/Batareya_universalnaya_APC_10000_mAh_Li-Polimer_M10WH-EC-p177680.html Site no answer

 

Я думал что забанили, и в suppler дописал след строки:

$err = " HEAD = " . $head ." \n";
$this->adderr($err);

 

В результате этого ерорс стал выдавать вот такую ошибку:

 

The Product passed: Row ~= 7 url = http://поставщик.com.ua/Batareya_universalnaya_APC_10000_mAh_Li-Polimer_M10WH-EC-p177680.html Site no answer
HEAD = HTTP/1.1 403 Forbidden
Server: nginx/1.4.6 (Ubuntu)
Date: Tue, 04 Aug 2015 11:50:51 GMT
Content-Type: text/html
Content-Length: 177
Connection: keep-alive
Vary: Accept-Encoding

 

Я так и не понял банят мен или нет, ссылка в ручном режиме открывается без проблем.

Если это не бан, то что?

[zamez]

Кхе кхе , а возможно ли попросить  ввести в версию 8.3 кнопочку  "Кирдык защите" , поле " задержка", чтобы не слишком быстро ходить по страницам донора и возможность использовать проксюхи ???  Честно сказать понимаю, что это гемор для разработчика но.......  но..... но..... ну очень уж хочется что бы не  модифицировать файл движка, а чих, пых где надо включил, где ненадо не включил. Более того, менеджерам такой инструмент совсем не нужен, а вот нам - демпингерам  ой-ей как было бы в тему.  Готов ради такого случая проплатить еще одну лицензию модуля, уж очень хочется. 

поддерживаю, куплю новую лицензию -)

[neveshaynos]

Уважаемый, автор.

Вроде как подумал, что с модулем разобрался полностью, однако, сейчас не могу решить одну проблему.

Проблема заключается в парсинге цены и статуса, а конкретно в обновлении цены: если количество товара спарсилось как 0 штук (статус "нет в наличии" - товара на сайте донора нет в наличии, а цена есть), то цена ни в какую не обновляется. У товаров, которые в наличии на сайте донона, цены обновляются без всяких проблем.

Прошу помочь, никак не додумаюсь в чём ошибка моя. Выкладываю свои настройки для поставщика.

[Otvet]

Попробуйте принудительное обновление