[Поддержка] SimplePars - Универсальный парсер для ИМ

[Bookert]

Здравствуйте. Подскажите пожалуйста - я закупаюсь у поставщика, на его сайте есть все мои товары + еще десятки тысяч других товаров. 

Поставщик мне отправляет в excel-е различные выгрузки с 1С, там я могу взять артикулы всех купленных мной товаров. Могу ли я используя только артикулы, спарсить все купленные мной товары? На сайте поставщика артикул присутствует в каждой карточке товара, а также "вшит" в ссылку каждого товара. 

Заранее благодарю за информацию. 

[Axelenz]

32 минуты назад, Bookert сказал:

Здравствуйте. Подскажите пожалуйста - я закупаюсь у поставщика, на его сайте есть все мои товары + еще десятки тысяч других товаров. 

Поставщик мне отправляет в excel-е различные выгрузки с 1С, там я могу взять артикулы всех купленных мной товаров. Могу ли я используя только артикулы, спарсить все купленные мной товары? На сайте поставщика артикул присутствует в каждой карточке товара, а также "вшит" в ссылку каждого товара. 

Заранее благодарю за информацию. 

Конечно можете, если сайт имеет примерно такую форму ссылки:

site.com.ua/catalog/product/view/id/10691/

где 10691 и есть интересующий артикул.

[partshez]

4 минуты назад, Axelenz сказал:

Конечно можете, если сайт имеет примерно такую форму ссылки:

site.com.ua/catalog/product/view/id/10691/

где 10691 и есть интересующий артикул.

Если в коде страницы товара в любом месте есть соответствующий артикул. Иногда на странице пользователю он не показывается, а в коде присутствует в виде  sku или id=

[partshez]

53 минуты назад, Bookert сказал:

Здравствуйте. Подскажите пожалуйста - я закупаюсь у поставщика, на его сайте есть все мои товары + еще десятки тысяч других товаров. 

Поставщик мне отправляет в excel-е различные выгрузки с 1С, там я могу взять артикулы всех купленных мной товаров. Могу ли я используя только артикулы, спарсить все купленные мной товары? На сайте поставщика артикул присутствует в каждой карточке товара, а также "вшит" в ссылку каждого товара. 

Заранее благодарю за информацию. 

Добавлю. Не все так просто. Чтобы был только товар с нужными артикулами есть несколько решений. Создать товар с нужным артикулом вручную или при помощи какой- либо программы. Потом в этот пустой товар загрузить информацию с донора только для соответствующих артикулов. Другой вариант. Спарсить с донора все товары нужной категории, поизводителя или еще каким-то параметрам. Затем оставить включенными только тоаары с нужными артикулами. Но последний пункт нужно выполнить опять же сторонней программой или вручную отсортировать товары. Ненужное отключить или удалить. Принцип поимерно такой. Создать товар и загрузить с донора информацию. Или загрузить с донора товары, оставить только нужные.

Змінено 1 серпня 2020 користувачем partshez

[root1211]

Подскажите пожалуйста проблема такого рода:

При загрузки страницы по ссылке загружается почему то главная вместо страницы товара.

[partshez]

4 часа назад, root1211 сказал:

Подскажите пожалуйста проблема такого рода:

При загрузки страницы по ссылке загружается почему то главная вместо страницы товара.

Ссылка на страницу донора? Ваши настройки?

[Bookert]

6 часов назад, Axelenz сказал:

Конечно можете, если сайт имеет примерно такую форму ссылки:

site.com.ua/catalog/product/view/id/10691/

где 10691 и есть интересующий артикул.

Да, примерно такой url и имеет, спасибо.

 

6 часов назад, partshez сказал:

Добавлю. Не все так просто. Чтобы был только товар с нужными артикулами есть несколько решений. Создать товар с нужным артикулом вручную или при помощи какой- либо программы. Потом в этот пустой товар загрузить информацию с донора только для соответствующих артикулов. Другой вариант. Спарсить с донора все товары нужной категории, поизводителя или еще каким-то параметрам. Затем оставить включенными только тоаары с нужными артикулами. Но последний пункт нужно выполнить опять же сторонней программой или вручную отсортировать товары. Ненужное отключить или удалить. Принцип поимерно такой. Создать товар и загрузить с донора информацию. Или загрузить с донора товары, оставить только нужные.

А нельзя напрямую с сайта донора чтобы парсер собрал товары согласно требуемых артикулов, а потом создал соответствующие товары в моем ИМ?

[VerKigi]

Здравствуйте. Возможно вопрос уже был, но я не смог найти похожий. Как добавить один товар в две категории. Допустим сайт запчастей, запчасть( допустим шестерня) подходит и в одну категорию(допустим для мотоблока 200) и в другую категорию (мотоблок 300). После парсинга в одну категорию, в другую он уже не парсит. Спасибо!

[Kiyoshi]

6 минут назад, VerKigi сказал:

Здравствуйте. Возможно вопрос уже был, но я не смог найти похожий. Как добавить один товар в две категории. Допустим сайт запчастей, запчасть( допустим шестерня) подходит и в одну категорию(допустим для мотоблока 200) и в другую категорию (мотоблок 300). После парсинга в одну категорию, в другую он уже не парсит. Спасибо!

Движок магазин не допускает чтобы товар находился сразу в двух родительских категориях.

[Kiyoshi]

Можно конечно поискать модуль которые решает этот вопрос но задавать две родительских категорий придется в ручную.

[VerKigi]

То есть вот это можно сделать только вручную?

[Kiyoshi]

7 минут назад, VerKigi сказал:

То есть вот это можно сделать только вручную?

Пока да.

[Kiyoshi]

2 часа назад, Bookert сказал:

А нельзя напрямую с сайта донора чтобы парсер собрал товары согласно требуемых артикулов, а потом создал соответствующие товары в моем ИМ?

Возможно но не во всех случаях.

[root1211]

8 часов назад, partshez сказал:

Ссылка на страницу донора? Ваши настройки?

 

Да конечно, прикрепил настройки и как примеры ссылка:

https://spec.drom.ru/naberezhnye-chelny/truck/loader-crane/lomovoz-kamaz-65115-s-manipuljatorom-velmash-vm10-v-nalichii-69016391.html

Заранее благодарю, в долгу не останусь

 

SPsetting-1 (3).json

[Bookert]

11 часов назад, Kiyoshi сказал:

Возможно но не во всех случаях.

От чего это зависит? Просто перед покупкой хотелось бы понимать что я смогу этим парсером делать.

[partshez]

13 часов назад, VerKigi сказал:

Здравствуйте. Возможно вопрос уже был, но я не смог найти похожий. Как добавить один товар в две категории. Допустим сайт запчастей, запчасть( допустим шестерня) подходит и в одну категорию(допустим для мотоблока 200) и в другую категорию (мотоблок 300). После парсинга в одну категорию, в другую он уже не парсит. Спасибо!

Редактор товаров модуля. Изменить категории. Выбираете, в каких категориях и подкатегориях показывать товар. Товар кладется в одну категорию. Но показывать его можно в разных. 

Шестерня кладем в категорию Запчасти для мотоблоков. Дополнительно показываем в категориях Мотоблок200 и Мотоблок300

А в Редакторе товаров предварительно фильтруете товар по производителю, наличию слов в наименовании, количеству и т.д.

Чтобы назначенные через редактор категории не изменялись при обновлении, выставляем соответствующие настройки 

Змінено 2 серпня 2020 користувачем partshez

[partshez]

1 час назад, Bookert сказал:

От чего это зависит? Просто перед покупкой хотелось бы понимать что я смогу этим парсером делать.

От грамотной настройки модуля и от структуры страниц сайта донора.

Для надежности желательно иметь несколько доноров с однотипным товаром. Например, с одного донора взять описание, атрибуты, но на нем фото с логотипом сайта. Тогда нужные фото добавить с другого донора. А реальные цены взять из прайса поставщика... Но это уже другие программы.

Змінено 2 серпня 2020 користувачем partshez

[partshez]

8 часов назад, root1211 сказал:

 

Да конечно, прикрепил настройки и как примеры ссылка:SPsetting-1 (3).json 232 \u043a\u0411 · 1 download

Ответил в личке

[partshez]

17 часов назад, Bookert сказал:

Да, примерно такой url и имеет, спасибо.

 

А нельзя напрямую с сайта донора чтобы парсер собрал товары согласно требуемых артикулов, а потом создал соответствующие товары в моем ИМ?

Можно попробовать забить все артикулы в фильтры Сбор ссылок  http://prntscr.com/tsl4gs  Или в верхнее окно, или в нижнее. Зависит от вида ссылок на доноре. Нужно пробовать на конкретном проекте. Варианты есть. Нужно пробовать

Змінено 2 серпня 2020 користувачем partshez

[Kiyoshi]

39 минут назад, partshez сказал:

Можно попробовать забить все артикулы в фильтры Сбор ссылок  http://prntscr.com/tsl4gs  Или в верхнее окно, или в нижнее. Зависит от вида ссылок на доноре. Нужно пробовать на конкретном проекте. Варианты есть. Нужно пробовать

Способ безусловно хорош на малом количестве товаров но если у него 20 000 тогда сайт его помрет из-за нагрузки или упрется в ограничение тарифа.

Змінено 2 серпня 2020 користувачем Kiyoshi

[Kiyoshi]

Можно конечно извратится и разбить их через Менеджер URL создав внушительное количество шаблонов для отсеивания

Змінено 2 серпня 2020 користувачем Kiyoshi

[partshez]

2 часа назад, Kiyoshi сказал:

Можно конечно извратится и разбить их через Менеджер URL создав внушительное количество шаблонов для отсеивания

Нам неизвестно количество товаров, исходные данные и конечные пожелания человека. Поэтому и предлагаю только примерный алгоритм

[Kiyoshi]

17 минут назад, partshez сказал:

Нам неизвестно количество товаров, исходные данные и конечные пожелания человека. Поэтому и предлагаю только примерный алгоритм

Вполне соглашусь нам этого не известно но беря в тот факт что поставщик ему присылает прайс можно предположить что товаров как минимум не меньше 2000, атак как артикул обязан быть уникальным то я бы не рискнул даже 1000 вариантов закидывать хотя и сам подумывал об этом варианте.

[radosti]

Здравствуйте! Пару месяцев назад без проблем спарсил сайт, сейчас необходимо обновить 1 параметр в карточках товара, но парсеру не удается прочитать страницы. Выбивает 2 типа ошибки:

Спойлер

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 47
3. Текст ошибки = Maximum (100) redirects followed
4. Ссылка = https://...........
5. Больше информации можно получить в логах модуля SimplePars

и

Спойлер

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 56
3. Текст ошибки = GnuTLS recv error (-110): The TLS connection was non-properly terminated.
4. Ссылка = https://.........
5. Больше информации можно получить в логах модуля SimplePars

 

При этом логи дублируют текст ошибки. Добавил несколько юзер агентов и включил использование куков, после чего загружается несколько раз предпросмотр и код на вкладке "Настройки парсинга", после чего те же 2 ошибки и больше не подгружаются УРЛы. Может необходимо настроить собственные заголовки, но по вашему гайду не смог найти в браузере их (нет кнопок GET запрос на вкладке Сеть и т.д.).

[partshez]

1 час назад, Kiyoshi сказал:

Вполне соглашусь нам этого не известно но беря в тот факт что поставщик ему присылает прайс можно предположить что товаров как минимум не меньше 2000, атак как артикул обязан быть уникальным то я бы не рискнул даже 1000 вариантов закидывать хотя и сам подумывал об этом варианте.

Берем АОП. Создаем все товары по прайсу с возможной информацией. Настраиваем парсинг через Симплпарс или АОП. Добавляем все, что нужно. 

Если грамотно, то я бы сделал имено так