Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Авторизация с токеном

Yanch

By Yanch,
in Парсеры

 Share Followers 2

Recommended Posts

Yanch    0

Yanch
Posted

Столкнулся с поставщиком, у которого при авторизации обязательно требуется генерируемый его сайтом токен. Без него парсер выбрасывается обратно на страницу авторизации и нельзя спарсить ни контент, ни картинку. Это в-принципе возможно решить?

Link to post
Share on other sites

Yanch    0

Yanch
  • Author
Posted (edited)

Насколько я понял, при входе по логину и паролю, ресурсом поставщика каждый раз генерируется новый токен, который потом запрашивается во время входа на  очередную страницу в течение каждой непрерывной сессии (если парсить). Хотя есть поставщик, api которого дает токен на несколько месяцев. И таких у меня уже сейчас 5 или 6. С каждым свои танцы с бубном. Единственное, что их всех объединяет, это JSON запросы. По сути из них нужны только id товара, цена, количество. Обновление ассортимента тоже было бы неплохо, но не всегда каталог на сайте поставщика совпадает с каталогами магазина. Но за этим будущее. Чтобы не отвлекаться на рутину и большую часть времени уделять именно продажам.

Edited by Yanch
Link to post
Share on other sites

nikifalex    982

nikifalex
Posted
2 часа назад, Yanch сказал:

Насколько я понял

да вы не пытайтесь догадаться, вы делайте, пробуйте, спрашивайте у них, изучайте куки, способы авторизации, читайте это их API

2 часа назад, Yanch сказал:

С каждым свои танцы с бубном

тяжела и неказиста жизнь простого программиста. :cry:

Link to post
Share on other sites
1

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Followers 2
Go to topic listing

  • Similar Content

    • Rassol2
      [Поддержка] SimplePars - Универсальный парсер для ИМ
      By Rassol2
      1960 26
      Скачать/Купить дополнение


      SimplePars - Универсальный парсер для ИМ
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение или обновление товаров в интернет магазине.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в Excel таблицу для дальнейшей обработки. 
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      - Полноценный парсер позволяющий парсить сайты и наполнять магазин товарами.
      - Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и других элементов товара.
      - Автоматическое создание категорий, производителей, атрибутов, опций, загрузка изображений и многое другое....
      - Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
      - Возможно идентификация товара по разным значениям, подробнее об всех идентификаторах вы можете узнать здесь - Идентификаторы
      - Доступна установка наценок любой сложности.
      - Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL
      - Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
      - Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть вы можете изменять информацию которую вы парсите на лету.
      - Поиск замена полностью поддерживает регулярные выражения.
      - Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым!
      - Возможность настроить запросы для обхода блокировок со стороны донора.
      - Поддержка работы с прокси.
      - Собственный прокси чекер, позволяющий отобрать прокси сервера которые будут работать с конкретным донором.
      - Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers
      - Система логирования позволяющая контролировать процесс парсинга на любом этапе.
      - Система кэширования сайта донора для безопасного парсинга.
      - Встроенный редактор ссылок, позволяющий группировать ссылки по спискам, и производить загрузку определенных групп ссылок. Так же отслеживать ссылки которые парсятся с ошибками.
      - NEW Автоматический парсинг по расписанию, при помощи CRON
      - NEW Встроенный редактор товаров. Редактор товаров поможет сделать финальную правку товаров. Инструкция к редактору товаров
      - NEW Парсер XML/YML документов от поставщика.
      - NEW Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации
      - NEW Парсинг сайтов с изображениями в формате WEBP !!!! Подробнее
      - NEW Расширение возможностей парсера собственными PHP скриптами Подробнее!!!
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      SimplePars адаптирован под работ с модулями.
      HYPER PRODUCT MODELS - NEW
      AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2
      AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3
      HYPER MULTI PRODUCT MODELS - NEW
      HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2
      HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3
      Цены в опция.
      Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2
      Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3
      Изображение в опциях.
      Опции с вводом количества, артикулом и изображением OC 2
      Опции с вводом количества, артикулом и изображением OC 3
      Изображения опций PRO
      Закупочная цена товара.
      CostPrice - закупочная цена товаров в opencart
       
      И это малая часть тех задач которые может выполнить данный модуль.
      SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты зависит только от вас.
       
      Полная инструкция к модулю доступна по ссылке
      Инструкция к модулю SimplePars
       
      Видео-уроки по работе с модулем доступны по ссылке
      Видео уроки по работе с модулем SimplePars
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Лицензионное соглашение.
      Ознакомится
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр Разрешить редактировать Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все, модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
       
      После установки или обновления я вижу белый экран или ошибку 500
      Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.
      Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.
      Добавил Rassol2 Добавлено 28.10.2018 Категория Парсеры Системные требования PHP >= 5.6 Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Да  
    • Rassol2
      SimplePars - Универсальный парсер для ИМ
      By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение или обновление товаров в интернет магазине.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в Excel таблицу для дальнейшей обработки. 
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      - Полноценный парсер позволяющий парсить сайты и наполнять магазин товарами.
      - Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и других элементов товара.
      - Автоматическое создание категорий, производителей, атрибутов, опций, загрузка изображений и многое другое....
      - Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
      - Возможно идентификация товара по разным значениям, подробнее об всех идентификаторах вы можете узнать здесь - Идентификаторы
      - Доступна установка наценок любой сложности.
      - Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL
      - Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
      - Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть вы можете изменять информацию которую вы парсите на лету.
      - Поиск замена полностью поддерживает регулярные выражения.
      - Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым!
      - Возможность настроить запросы для обхода блокировок со стороны донора.
      - Поддержка работы с прокси.
      - Собственный прокси чекер, позволяющий отобрать прокси сервера которые будут работать с конкретным донором.
      - Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers
      - Система логирования позволяющая контролировать процесс парсинга на любом этапе.
      - Система кэширования сайта донора для безопасного парсинга.
      - Встроенный редактор ссылок, позволяющий группировать ссылки по спискам, и производить загрузку определенных групп ссылок. Так же отслеживать ссылки которые парсятся с ошибками.
      - NEW Автоматический парсинг по расписанию, при помощи CRON
      - NEW Встроенный редактор товаров. Редактор товаров поможет сделать финальную правку товаров. Инструкция к редактору товаров
      - NEW Парсер XML/YML документов от поставщика.
      - NEW Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации
      - NEW Парсинг сайтов с изображениями в формате WEBP !!!! Подробнее
      - NEW Расширение возможностей парсера собственными PHP скриптами Подробнее!!!
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      SimplePars адаптирован под работ с модулями.
      HYPER PRODUCT MODELS - NEW
      AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2
      AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3
      HYPER MULTI PRODUCT MODELS - NEW
      HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2
      HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3
      Цены в опция.
      Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2
      Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3
      Изображение в опциях.
      Опции с вводом количества, артикулом и изображением OC 2
      Опции с вводом количества, артикулом и изображением OC 3
      Изображения опций PRO
      Закупочная цена товара.
      CostPrice - закупочная цена товаров в opencart
       
      И это малая часть тех задач которые может выполнить данный модуль.
      SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты зависит только от вас.
       
      Полная инструкция к модулю доступна по ссылке
      Инструкция к модулю SimplePars
       
      Видео-уроки по работе с модулем доступны по ссылке
      Видео уроки по работе с модулем SimplePars
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Лицензионное соглашение.
      Ознакомится
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр Разрешить редактировать Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все, модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
       
      После установки или обновления я вижу белый экран или ошибку 500
      Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.
      Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.
    • ocbot
      Нужно спарсить код блока товара из файла шаблона category.twig
      By ocbot
      Подскажите лучший способ как c помощью php спарсить кусок кода, отвечающий за вывод блока товара, из файла шаблона product/category.twig
      По идее, нужно спарсить все что находится внутри цикла {% for product in products %} и записать этот код в отдельный файл, чтобы потом подключать его через include в других шаблонах.
      Изначально получаю код файла и записыю в переменную:
      $content = file_get_contents(DIR_CATALOG . 'view/theme/'.$this->config->get('config_theme').'/template/product/category.twig');
      А дальше регулярку писать или есть другие варианты? Если регулярка, то помогите составить выражение.
      Спасибо всем, кто отзовется!
    • kost594
      [Ищу исполнителя] парсинг отзывов товаров с сайта донора
      By kost594
      Здравствуйте, у нас на сайте был парсинг товаров с Ситилинка с категорий Комплектующие для пк и жесткие диски и SSD.
       
      Комплектующие для пк: https://www.citilink.ru/catalog/komplektuyuschie-dlya-pk/?ref=mainmenu
      Жесткие диски и SSD: https://www.citilink.ru/catalog/zhestkie-diski-i-ssd/
       
      Данные товары уже загружены на сайт у меня.
       
      Мне нужно спарсить с этих категорий также и отзывы к этим товарам и добавить их мне на сайт.
       
      Версия Opencart: OcStore 3.0.
       
      Кто сможет помочь с данным вопросом? 
       
      PS: можно написать в личные сообщение сроки и стоимость
    • amPeach
      Парсинг товаров на ocStore 3.0.x.x
      By amPeach
      Всем привет. Необходим разовый парсинг товаров с сайта донора ( https://www.sklad-generator.ru )
      Нужно не все,а именно: 
      1 главная категория - Электростанции
      И 4 подкатегории :
      Дизельные генераторы
      Газовые генераторы
      Бензиновые генераторы
      Сварочные генераторы
      Все категории 3 уровня на доноре сделаны в виде производителей. Наша задача - аналогична.
      Что нужно забрать?
      Товары:
      1. Фото
      2. Характеристики товара
      3. Цена ( при отсутствии - прописать 0)
      4. Описание ( только там, где есть, что логично )
      5. Опции ( варианты исполнения товара, пример: вложил картинку variant.png )
      6. Производители - здесь все просто - у донора, категории 3 уровня сделаны - производителями. Логично, при нажатии на вкладку производители, или просто пользуясь поиском - товары одного производителя должны показываться. Не просто через характеристику, а именно заполнено поле: производитель.
      Все достаточно просто. 
      Куда грузим, что есть?
      Самый обычный и дефолтный ocStore 3.0.x.x ( предоставим ) - полностью чистый сайт без всего.
      Модуль для вывода опций, как ссылка на товар имеется. Не в том виде, что у донора. Но для парсинга - достаточно.
      Жду предложений по цене, и сроку.

  • Recently Browsing   0 members

    No registered users viewing this page.

Покупателям

Разработчикам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept