[Поддержка] SimplePars - Универсальный парсер для ИМ

[ZloyNoDobriy]

1 час назад, Rassol2 сказал:

И вот вам сразу же правильный вопрос задали.

Я почему задал данный вопрос так как не все парсинги тянут данный сайт. Он блокирует соединения. DataCol даже перестал парсить.

Змінено 27 жовтня 2019 користувачем ZloyNoDobriy

[Rassol2]

25 минут назад, ZloyNoDobriy сказал:

Я почему задал данный вопрос так как не все парсинги тянут данный сайт. Он блокирует соединения. DataCol даже перестал парсить.

значит и мой будут блокировать.

Вот так мне больше нравится.

Значит и мой будут блокировать.
для того что бы обойти блокировку в моем модуле есть уже много инструментов.

1. паузы парсинга. Что бы не попасть под блокировку за аномальную активность.
2. возможность использовать прокси при парсинге.
3. Есть возможность указывать разные юсер агенты и отправлять разные заголовки что не позволяет сайту донору определить что запрос пришел от одного и тоже же парсера.

тем самым можете обойти блокировки.
Все эти возможности есть на вкладке браузер в версии модуля от 2.9-2
Описаны в этих заметках можете ознакомится.
https://simplepars.top/index.php?page=notes&tag_id=21

[Alexcctv]

Добрый день, проблема следующего характера, использую идентификатор в артикуле название товара, так вот название в поле артикул обрезается и при каждом обновлении товаров появляются дубли, лимит увеличил в базе до 200 символов, но ничего не помогло, возможно в парсере где подправить лимиты поля?

[atomelectro]

День добрый!

Можно ли при помощи модуля так же переносить, и в дальнейшем обновлять   «опции» товара такие как «вкус, цвет»  товар один и тот-же, но каждая опция имеет отдельный артикул и «наличие на складе». К сожалению в вашем промо ролике ответа не нашел.

Вот пример: http://fit-snab.ru/products/optimum-nutrition-100-whey-gold-standard-2270gr

[Rassol2]

4 часа назад, Alexcctv сказал:

Добрый день, проблема следующего характера, использую идентификатор в артикуле название товара, так вот название в поле артикул обрезается и при каждом обновлении товаров появляются дубли, лимит увеличил в базе до 200 символов, но ничего не помогло, возможно в парсере где подправить лимиты поля?

Да в коде нужно тоже править. Поскольку поле артикул подразумевает длину строки в 64символа.

Но тут так же подход не правильный. Для таких случаев я создал функцию хеширования. Она получает хеш код из любых данных. И вы можете захешировать имя и записать в артикул хеш любой длины и это позволит создавать правильные артикула и не боятся за длину.
 

Спойлер

Вот этот метод я рекомендую и он как раз создан для подобных случаев.

если нет тогда попытаюсь расписать гед править.

[Rassol2]

37 минут назад, atomelectro сказал:

День добрый!

 

Можно ли при помощи модуля так же переносить, и в дальнейшем обновлять   «опции» товара такие как «вкус, цвет»  товар один и тот-же, но каждая опция имеет отдельный артикул и «наличие на складе». К сожалению в вашем промо ролике ответа не нашел.

 

Вот пример: http://fit-snab.ru/products/optimum-nutrition-100-whey-gold-standard-2270gr

 

да есть возможность обновлять опции.
Но на данный момент это еше первая реализация опций и еше нету всех механик работы с опциями.

Присвоение опциям артикул и работа с ним не поддерживаются.
так же мы можем обновить опцию, но все сравнения идут по имени опции а не по артикулу.

[Rassol2]

А нам сегодня годик!!!


Неожиданно конечно, но уже прошел год с первой версии модуля.
В то время я еше и не думал что он будет хоть кому то интересен, и модуль разрабатывался по фану.

 

Изначально модуль был как программа в которой можно было запустить сбор ссылок и все.
Но даже эта функция была тепло встречена, и посыпались просьбы на реализацию возможностей, и теплые слова в сторону модуля.
Большинство идей мне понравились и я подумал почему бы и не попробовать.

И вот весь тот громадный набор возможностей (Не побоюсь так написать спустя год) был реализован всего за один годик.
За что хочу сказать спасибо всем вам, в первую очередь тем кто изначала поддержал проект и вдохновили на работу.

Большая часть то что сегодня есть в модуле это ваши предложения, и было бы здорово что бы вы продолжали принимать активное участие в разработке модуля, только благодаря вашим отзывам, идеям и советам что не мало важно модуль сегодня такой как вы видите.

А каким он  будет через год зависит только от вас.

Если вы считаете что все зависит от разработчика модуля вы сильно ошибаетесь все зависит только от вас.
Без пользователей модуля не будет смысла его разрабатывать, без ваших идей просьб и отзывов я не буду знать что делать дальше.
Ну и как можно игнорировать потребности людей которые поддерживают вас в разработке, советуют и пишут такие отзывы.

С днем рождения SImplePars !
Выпьем!

[Stin]

С Днем рожденя! И приятно быть в лице первых покупателей.

Ну а теперь к проблеме моей. Ну и донор мне попался, так перекраил сайт, что я в тупике

https://th-tool.by/index.php?route=product/product&path=1294_1305&product_id=597 и https://th-tool.by/index.php?route=product/product&path=1209_1294&product_id=597, это один и тот же товар, отличие одно, в отображении вложенности категорий. 

Как мне спарсить этот товар, но чтобы были видны вся цепочка вложенности? На данный момент с помощью автора модуля, получается только как в первой ссылке достучаться. До второй ссылки в модуле вообще не могу долезть. 

[Rassol2]

3 минуты назад, Stin сказал:

С Днем рожденя! И приятно быть в лице первых покупателей.

Ну а теперь к проблеме моей. Ну и донор мне попался, так перекраил сайт, что я в тупике

https://th-tool.by/index.php?route=product/product&path=1294_1305&product_id=597 и https://th-tool.by/index.php?route=product/product&path=1209_1294&product_id=597, это один и тот же товар, отличие одно, в отображении вложенности категорий. 

Как мне спарсить этот товар, но чтобы были видны вся цепочка вложенности? На данный момент с помощью автора модуля, получается только как в первой ссылке достучаться. До второй ссылки в модуле вообще не могу долезть. 

не совсем ясен вопрос, что значит не можете долезть ?

Суть в том что если вы загружаете товары. Тогда модуль загрузит товар в ту категорию в ссылку на которую первой попадется в парсер. Вторую проигнорирует. Напишет что такой товар уже есть.

Что именно вы хотите сделать и у вас не получается ?

[Nomandvs]

12 минут назад, Rassol2 сказал:

не совсем ясен вопрос, что значит не можете долезть ?

Суть в том что если вы загружаете товары. Тогда модуль загрузит товар в ту категорию в ссылку на которую первой попадется в парсер. Вторую проигнорирует. Напишет что такой товар уже есть.

Что именно вы хотите сделать и у вас не получается ?

Мне кажется, что нужно 1 товар показывать в нескольких категориях. Что то вроде такого http://prntscr.com/ppi1mt

[Rassol2]

1 минуту назад, Nomandvs сказал:

Мне кажется, что нужно 1 товар показывать в нескольких категориях. Что то вроде такого http://prntscr.com/ppi1mt

Суть хотелки я понимаю. Но мне кажется все остальные меня не понимают.

откуда на сайте доноре вы взмете информацию по нескольким категориям ?
или вы хотите парсить одну категорию с сайта донора а вторую указать всем товарам вне зависимости откуда она была спарсена.
Это же немного не логично.

[Stin]

У меня не получается вытянуть всю цепочку категорий.

К примеру к этой цепочке надо еще добавить 1" Воротки, что бы вся цепочка была видна.

[Stin]

3 минуты назад, Rassol2 сказал:

Суть хотелки я понимаю. Но мне кажется все остальные меня не понимают.

откуда на сайте доноре вы взмете информацию по нескольким категориям ?
или вы хотите парсить одну категорию с сайта донора а вторую указать всем товарам вне зависимости откуда она была спарсена.
Это же немного не логично.

 

Если на этом сайте пройтись по меню - главная-ручной инструмент-Воротки, удлинители, трещотки-1"Вороток, то теряется еще подпункт (1"Воротки) И если же пройтись по пути 

главная-ручной инструмент-1''Вороток шарнирный 1000мм, То теряется пункт меню (Ручной инструмент) 

А мне надо главная-ручной инструмент-Воротки, удлинители, трещотки-1"Вороток-1''Вороток шарнирный 1000мм

[Rassol2]

1 минуту назад, Stin сказал:

У меня не получается вытянуть всю цепочку категорий.

К примеру к этой цепочке надо еще добавить 1" Воротки, что бы вся цепочка была видна.

а вы уверены что сайт донор отдает информацию в таком виде ?
Просто тут вопрос уже не к парсеру. А к сайту донору.

Вы же не можете украсть Мерседес у того у кого его нету. Верно ?
Хлебные крошки в товаре зависят от ссылки, а точнее от параметров указанных в ссылке. В вашем случаи.
 

Спойлер

Но если движок донора не формирует так ссылки то вы и спарсить так не сможете.

[Stin]

Да я понимаю это, что сайт донор не выдает. Есть ли возможность тогда спарсить товар, что бы он был по двум ссылкам? Ну а дальше уже было бы просто, в Excel, сравнить, склеить и выдать в нужном мне формате.

Есть возможность так сделать?

[Rassol2]

1 минуту назад, Stin сказал:

Да я понимаю это, что сайт донор не выдает. Есть ли возможность тогда спарсить товар, что бы он был по двум ссылкам? Ну а дальше уже было бы просто, в Excel, сравнить, склеить и выдать в нужном мне формате.

Есть возможность так сделать?

не совсем понимаю что значить спарсить по двум ссылкам ?

если в эксель файл то хоть по четырем ссылка. Тут нет ограничения

[Stin]

Подскажите, как мне получить на этот товар две ссылки?

https://th-tool.by/index.php?route=product/product&path=1294_1305&product_id=597 и https://th-tool.by/index.php?route=product/product&path=1209_1294&product_id=597,

[Rassol2]

Обновление 2.9-3_beta

 

Логи

При парсинге товара в интернет магазин логов стало еше больше. И логи стали более подробные.
При создании товара модуль создает категории , производителей и многое другое, и теперь обо всем этом у вас будет информация в логе.
Пример полного лога при создании всех элементов.

Спойлер

А это пример блока на один товар когда все вспомогательные данные созданы. Здесь модуль только сообщает какие данные есть в этом товаре.
 

Спойлер

Блок информации при обновлении товара.
 

Спойлер

Настройка параметров парсинга.

И это наверное самое долгожданное улучшение модуля.
Я переписал странницы настроек парсинга так что бы при выборе разных переключателей не было перезагрузки страницы.
Это то что хотели все. Даже не буду перечислять весь список людей кто задавал вопросы по поводу этой страницы.
Хочу сразу предупредить некоторые переключатели все же требуют обновление страницы но по сути все теперь бесшовное.

 

Коротко об этом

 

[Rassol2]

3 минуты назад, Stin сказал:

Подскажите, как мне получить на этот товар две ссылки?

https://th-tool.by/index.php?route=product/product&path=1294_1305&product_id=597 и https://th-tool.by/index.php?route=product/product&path=1209_1294&product_id=597,

Настроить фильтры что бы модуль прошел по сайту по нужным путям и собрал эти ссылки.
как и любые другие ссылки.
 

[Stin]

Создал два проекта, один с максимальной информацией, а второй только код товара да недостающая категория. и фильтры сбора ссылок разные. Затем выгрузка в Power Qweri, и одно нажатие кнопки и у меня нужный мне файл.

[atomelectro]

В 28.10.2019 в 15:55, Rassol2 сказал:

да есть возможность обновлять опции.
Но на данный момент это еше первая реализация опций и еше нету всех механик работы с опциями.

Присвоение опциям артикул и работа с ним не поддерживаются.
так же мы можем обновить опцию, но все сравнения идут по имени опции а не по артикулу. 

Я правильно понимаю, что при парсинге с данного сайта, я могу перенести товар с одним артикулом а опции (наличие вкуса) так-же будет перенесено и будет обновляться, но просто без присвоение отдельных артикулов.

[Rassol2]

5 часов назад, atomelectro сказал:

Я правильно понимаю, что при парсинге с данного сайта, я могу перенести товар с одним артикулом а опции (наличие вкуса) так-же будет перенесено и будет обновляться, но просто без присвоение отдельных артикулов.

да верно.

[atomelectro]

Сколько времени на тестовый домен, и как потом получить ключ на основной?

[Rassol2]

10 минут назад, atomelectro сказал:

Сколько времени на тестовый домен, и как потом получить ключ на основной?

Сейчас я не ограничиваю по времени тестовые домены.
на данный момент ненужно получать ключ.

[partshez]

В 29.09.2019 в 17:03, Rassol2 сказал:

нельзя спарсить то чего нету.
значит три варианта.

1. грузить без категории а потом вручную проставлять.
2. Выбрать категорию по умолчанию - https://prnt.sc/pcgsyd
3. Указать категорию вручную, и модуль ее создает если ее нет. И все товары загрузит туда.  https://prnt.sc/pcgtjd
 

Все решаемо

Привет знатокам! Подскажите, пожалуйста!

Нужно в существующие подкатегории разложить товар. Не могу сообразить уже несколько дней. 

Вопрос первый. На доноре в хлебных крошках прописано Главная -Пружинные матрасы -Зависимые пружины -ххххххх ,   Главная -Беспружинные матрасы - ххххх,   Главная -Матрасы на диван - хххххххх ,  Главная -Пружинные матрасы -Независимые пружины- хххххххх Т.е. мне нужно выбрать последнее вхождение в границах ( или третье с начала, или второе). Как настроить *Пропустить вхождения*, *Где пропускать*, *Порядок вывода* , чтобы я получал только последнее значение в границе? Типа 3-1, 2-1... или -1...?

Вопрос второй. Из этих же категорий с донора нужно показывать товар в главной категории Матрасы и одновременно в одной из подкатегорий - Беспружинные матрасы, -Зависимые пружины и т.д. Как это реализовать при парсинге в ИМ? Пока получается положить в Категорию по умолчанию, а потом ручками добавлять в карточке товара подкатегории. 

Спойлер

http://prntscr.com/pq1es1

***Скармливаете ему путь категорий. В и он сам создает всю структуру.*** Как это реализовать?

 

Змінено 30 жовтня 2019 користувачем partshez