Jump to content

Recommended Posts

4 минуты назад, sakhmadjanov сказал:

я сделал это, все равно ошибку показывает:

2020-06-23 11:21:29| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 15003 milliseconds with 0 bytes received | Ссылка - https://www.trendyol.com/
 

значит сайт донор за 15 секунд не прислал вам данные.
такое может быть если сайт донор добавил вас в блокировку и не отвечает на запросы.
тогда нужно пробовать через прокси.
 

Share this post


Link to post
Share on other sites

а чем отличается обычная версия от беты?

какую ставить?

Share this post


Link to post
Share on other sites

Я попробовал разные прокси сервера но никакой не работает, они все выдают вот такие ошибки

Можете посоветовать какой нибудь хороший?

 

Screenshot_183.png

Share this post


Link to post
Share on other sites
1 минуту назад, sakhmadjanov сказал:

Я попробовал разные прокси сервера но никакой не работает, они все выдают вот такие ошибки

Можете посоветовать какой нибудь хороший?

Здравствуйте.
У меня нет своего списка прокси серверов, так что я не могу посоветовать. Возможно кто то из пользователей посоветует вам.

От себя добавлю что часто сайты делают первичную проверку запроса перед тем как отдавать информацию. Как правило проверяют что бы запрос содержал стандартные параметры такие как юсер агент.
К примеру у меня этот сайт тоже не отдавал информацию пока я не включил отправку юсер агента в настройках браузера.
 

Спойлер

1DXCQ2T.png

После чего сайт стал отправлять код страницы.

Где взять актуальные юсер агенты вы можете найти по ссылке.
https://simplepars.top/index.php?page=note&note_id=16

Share this post


Link to post
Share on other sites

Здравствуйте, почему у меня CSV/Парсинг после скачивания показывает непонятные шрифты вместо названий колонок, я попробовал и Windows-1251 и UTF-8  и почему все описания помещаются только в одну колонку, а не разделяются по колонам?

Screenshot_1.png

Share this post


Link to post
Share on other sites
1 час назад, sakhmadjanov сказал:

Здравствуйте, почему у меня CSV/Парсинг после скачивания показывает непонятные шрифты вместо названий колонок, я попробовал и Windows-1251 и UTF-8  и почему все описания помещаются только в одну колонку, а не разделяются по колонам?

Screenshot_1.png

Здравствуйте.
Пришлите этот прайс подозрение на то что тут криво отрабатывает ваш эксель. Суть в том что даже на скриншоте видно разделительный символ ;
И внешне нет причин такой кривости.

Share this post


Link to post
Share on other sites
Posted (edited)

Доброго времени суток! Из хотелок.... 

Хотелось бы чтобы при парсинге в ИМ оператор {|} можно было использовать не только для цены, но и для количества.

Edited by Yaroslavna

Share this post


Link to post
Share on other sites
8 часов назад, Yaroslavna сказал:

Доброго времени суток! Из хотелок.... 

Хотелось бы чтобы при парсинге в ИМ оператор {|} можно было использовать не только для цены, но и для количества.

Ближайшие время я не смогу это внедрить.
Но как возможность буду рассматривать.

Share this post


Link to post
Share on other sites
On 6/27/2020 at 5:22 PM, Rassol2 said:

Здравствуйте.
Пришлите этот прайс подозрение на то что тут криво отрабатывает ваш эксель. Суть в том что даже на скриншоте видно разделительный символ ;
И внешне нет причин такой кривости.

 

price-1 (1).csv

Share this post


Link to post
Share on other sites
5 часов назад, sakhmadjanov сказал:
Спойлер

8A4i7IW.png

так что тут больше вопрос к вашему экселю чем к парсеру.

Share this post


Link to post
Share on other sites
22 minutes ago, Rassol2 said:
  Hide contents

8A4i7IW.png

так что тут больше вопрос к вашему экселю чем к парсеру.

Я попробовал на excel 2016г, на двух разных компьютерах, но на обоих выходит по разному и показывает непонятные символы как на скринах, которые я отправил. Какую версию excel мне необходимо скачать, чтобы как у вас все получилось?

 

Share this post


Link to post
Share on other sites
1 минуту назад, sakhmadjanov сказал:

Я попробовал на excel 2016г, на двух разных компьютерах, но на обоих выходит по разному и показывает непонятные символы как на скринах, которые я отправил. Какую версию excel мне необходимо скачать, чтобы как у вас все получилось?

 

я не знаю.
У меня все работает из коробки.

Тут только могу подсказать следующие.
Парсинг в csv выбирайте кодировку

Спойлер

e2c12xy.png

 

если у вас операционная система виндоус. Она как правило ничего не понимает кроме своей кодировки.

В остальном.
Можете скинуть файл настроек я у себя попробую спарсить тоже самое и скину файл как сформируется у меня.
Но большого смысла в этом пока не вижу, но сделать можно.
 

Share this post


Link to post
Share on other sites
Posted (edited)

Купил модуль, купил прокси. Прокси исправен. Есть скриншот поверки.

Настраиваю приватный - с логином и паролем.

В логах это: Received HTTP code 407 from proxy after CONNECT

Сайт на localhost (OpenServer).

Парсинг настроен правильно. Какое-то время назад - срабатывал и данные с донора скачивал.

Потом, видимо, забанил... Перестал отдавать данные..

Донор - в сети.

Edited by e40in

Share this post


Link to post
Share on other sites
2 часа назад, e40in сказал:

Купил модуль, купил прокси. Прокси исправен. Есть скриншот поверки.

Настраиваю приватный - с логином и паролем.

В логах это: Received HTTP code 407 from proxy after CONNECT

Сайт на localhost (OpenServer).

Парсинг настроен правильно. Какое-то время назад - срабатывал и данные с донора скачивал.

Потом, видимо, забанил... Перестал отдавать данные..

Донор - в сети.

Настраивал этот донор на своем тестовом сайте. Все шло нормально, передал настройки. Там тоже нормально парсил. Сейчас и на моем тестовом не работает

Share this post


Link to post
Share on other sites
1 час назад, partshez сказал:

Настраивал этот донор на своем тестовом сайте. Все шло нормально, передал настройки. Там тоже нормально парсил. Сейчас и на моем тестовом не работает

Здравствуйте.

там можете донор начал бороться с прасингом ?
 

Share this post


Link to post
Share on other sites
2 hours ago, Rassol2 said:

Здравствуйте.

там можете донор начал бороться с прасингом ?
 

И как победить?

Share this post


Link to post
Share on other sites
Только что, e40in сказал:

И как победить?

Использовать все возможные настройки запроса.
https://simplepars.top/index.php?page=notes&tag_id=21
 

и искать по какому параметру донор определяет вас.
Это процесс сложный учитывая что все будете делать в слепую и каждый раз донор будет банить ip и записывать вас в список вредителей.

Но все возможности для настройки запросов в модуле есть.
Всегда луче стараться не доводить до этого.

  • +1 1

Share this post


Link to post
Share on other sites

Обновление v3.5-5

Хорошие новости мы возвращаемся к активной разработке модуля. Я месяц я не имел возможность полноценно заниматься модуле но все позади!!!

Эта версия включает в себя мелкие фиксы которые я делал за последний месяц ничего глобального тут не менялось.
Но так или иначе версия 3.5-4_beta показала себя очень хорошо так что можно с мелкими изменениями обозвать ее стабильной.
Что я и сделал.

Плохие новости по мимо того что не было возможность активно пилить модуль я потерял нить развития и пошаговый план на реализацию.
Сразу извиняюсь если что то писал что сделаю и не сделал, просто потерялась нить развития.
Все будет реализовано так или иначе поскольку основные задачи постоянно фигурируют в личке и без работы я не останусь )))

Так же ненужно сейчас мне вываливать все хотелки сразу услышав что потеряна нить, все по степенно наладится.

Глобальные планы.
1. Парсинг фото в описаниях.
2. Разделение ссылок на спаренные с ошибками или без для повторного парсинга.
 

  • +1 1

Share this post


Link to post
Share on other sites

@Rosbiz Это нормально, поскольку не все сайты позволяют открывать себя внутри другого сайта, в ifram окне.
На парсинг не волияет. Влияет только на пред просмотр страницы.
Но вы можете нажать сюда и страница сайта откроется в отдельной вкладке браузера, и можете там смотреть.
 

Спойлер

i5Dp0ax.png


не вижу вас в списке покупателей модуля, надеюсь это ошибка ?

Share this post


Link to post
Share on other sites

Обновление 3.5-6

Внес еше правки в код описанные пользователями.

Так же переименовал вкладку в модуле с Настройки браузера в Настройка запросов
А то старое название создавало проблемы при объяснении что нужно включить в модуле.
 

Спойлер

QC15Lex.png


В самой вкладке была убрана настройка


Ожидать соединения - эта настройка указывалась в секундах и отвечала за время которое модуль выделял CURL для установки соединения с сайтом донором. Если модуль не успевал установить соединение с донором за указанное время вы получали ошибку в логах 28 - не установленное соединение за 1000000 мили секунд.

 

Эту настройку я убрал поскольку в модуле есть аналогичная.

Макс. время выполнения запроса - тоже указывается в секундах и отвечает за время в течении которого модуль должен обратится к сайту донору и получить ответ, если ну за это время не успевает получить ответ от донора вы получите все ту же ошибку 28.

 

Новое
Так же было встречено пару сайтов которые упорно не хотели отдавать информацию ссылаясь на то что модуль делал неправильный запрос на сайт донор.
В связи с эти была добавлена еше одна настройка где вы можете выбрать версию протокола, по которому модуль будет обращаться к сайту донору.
BeI9kuB.png

Первый пункт :
По умолчанию CURL сам пытается определить версию (Не рекомендую)
Помечен как не рекомендуется поскольку именно он почему то давал сбой, то есть curl не всегда угадывает какой протокол нужен.
По умолчанию стоит
Использование HTTP/1.1 (По умолчанию)
Он на данный момент самый распространенный.

Модуль работает на php 5,6 и новее. Но последние два варианта работают только с версии php 7.0
Я не знаю зачем они могут пригодится но на всякий случай добавил.

По сути из всех протоколов
вас интересует
1.1
2.0
Остальные это из ряда диковинки, но добавил их сразу что бы потом отдельно не добавлять.

При обновлении необходимо выполнить ./inst.php
 

  • +1 2

Share this post


Link to post
Share on other sites
В 01.07.2020 в 18:00, Rassol2 сказал:

Если у кого то есть ссылка на сайт донор с фото в описании скиньте мне.
Нужно для тестов.

Странно как то. То всем не хватает парсинга фотов описании. А когда нужны примеры сайтов доноров что бы реализовать никто не отзывается.
Значит эта задача не такая востребованная ?

Share this post


Link to post
Share on other sites
5 часов назад, Rassol2 сказал:

Странно как то. То всем не хватает парсинга фотов описании. А когда нужны примеры сайтов доноров что бы реализовать никто не отзывается.
Значит эта задача не такая востребованная ?

https://rc-go.com.ua/ru/kvadrokopter-sg-907-s-gps-dvojnoj-kameroj-4k-i-hd-fpv-wifi-5

https://xiacom.ru/catalog/product/xiaomi-mi-notebook-pro-15-6-enhanced-edition-i7-10510u-1tb-16gb-geforce-mx250-grey

https://roger-boat.ru/katalog-produkcii/motornye-lodki-pvh/zefir-ndnd/motornaya-lodka-pvh-zefir-3600-pod-aeroustanovku   Добавить в описание Преимущества лодки и картинку...

Edited by partshez

Share this post


Link to post
Share on other sites

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By legioner26
      1 499.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By Chigan
      1. Что надо? 
      - Наполнить сайт ассортиментом поставщика;
      - Возможность выгружать остатки, тем самым скрывать карточки, которых нет в наличии и отображать, которые есть;
      - Автоматически создать категории и подкатегории, атрибуты по характеристикам, производители, бренды и т.д., что необходимо;
      - Определять позиции из прайса, где нет карточек;
      - Сделать так, чтобы сайт не ложился и выдерживал нагрузку. Работал нормально.
      * Возможно рассмотрение предложений, как решить эти задачи Вашим методом.
       
      2. Что есть от поставщика? 
      Для начала возьмем 1 поставщика. От него есть: 
      - Excel остатков на 188 тысяч строк со столбцами Бренд - Каталожный номер - Описание - Остаток - Кратность отгрузки - Валюта - Цена - странный Штрихкод, скорее это артикул (конечно будет постепенная загрузка, по мере этого и место будет увеличиваться);
      - Личный кабинет, где оформляться будут заказы, с каталогом и картинками для парсинга.
       
      3. Что еще есть?
      - Виртуальный хостинг пока что с 2 Гб. Естественно этого мало и по мере загрузки будем увеличивать;
      - Модуль Автоматической обработки прайс-листов.
       
       
      ** также на очереди еще 3 поставщика с ассортиментом до 10 000.

    • By MaxD
      Внимание! Проект закрывается. Поддержка будет осуществляться только для пользователей с активными лицензиями, также у них будет возможность продлевать лицензии. Через несколько дней дополнение будет удалено с площадки.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
  • Recently Browsing   1 member

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.