Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

HemHem

Новичок
  
  • Публикаций

    1
  • Зарегистрирован

  • Посещение

Посетители профиля

Блок последних посетителей выключен и не отображается другим пользователям.

Достижения HemHem

Explorer

Explorer (4/14)

  • One Month Later
  • Dedicated Редкая
  • Week One Done

Последние медали

1

Репутация

  1. HemHem

    Competitor parser - парсинг сайтів для OpenCart/OcStore

    Пользуюсь этим модулем для своих интернет-магазинов на OpenCart, парсю несколько сайтов-доноров. Очень доволен. Нравится гибкость: работает и CSS, и XPath, а суффикс [атрибут] позволяет взять значение любого атрибута (href, data-href, data-src). Это выручает, когда фото лежат не в src. Особенно удобны тесты: тест страницы категории показывает найденные товары и пагинацию, тест страницы товара выводит все поля, атрибуты и фото с размером. Селекторы подбираю быстро, без пробных запусков. Хорошо, что есть режимы импорта (только новые, обновление, синхронизация), создание категорий по хлебным крошкам и парсинг атрибутов. На большом каталоге с сотней страниц пагинации работает стабильно. Рекомендую. Хочу предложить две доработки по итогам своей работы с модулем. Поддержка JS-заглушек «challenge_passed». Некоторые доноры при первом запросе отдают не страницу, а короткий скрипт, который ставит cookie challenge_passed и делает перезагрузку. Парсер получал пустой ответ (около 500 байт). Я решил это у себя в curlGet: делаю запрос, нахожу в ответе значение defaultHash из скрипта, повторяю запрос с cookie challenge_passed=<хеш>. Важно: хеш разный для каждого URL, поэтому брать его нужно заново на каждый запрос. На одном из сайтов заглушка двухступенчатая (сначала challenge_passed_cat, затем challenge_passed). Было бы здорово, если бы вы добавили это в модуль, например отдельной галочкой в настройках профиля. Свою реализацию могу показать. Возможность импортировать новые товары сразу с выключенным статусом. Сейчас после парсинга товары становятся активными и сразу появляются на сайте, хотя их нужно сначала проверить: описание, цены, фото, атрибуты, категории. Хотелось бы переключатель в настройках профиля «Статус новых товаров: включён / выключен», чтобы можно было спокойно проверить результат и включить товары вручную или пачкой.
Гость
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.