[Поддержка] SimplePars - Универсальный парсер для ИМ

[ackmatoff]

Здравствуйте, кто-нибудь может помочь, Как можно получить ссылку на изображение?

Внизу коды...

А вот ссылка на товар: https://www2.hm.com/tr_tr/productpage.0738899005.html

Спасибо заранее

<div class="layout pdp-wrapper product-detail sticky-footer-wrapper js-reviews">

<div class="module product-description sticky-wrapper">

<figure class="pdp-image product-detail-images product-detail-main-image"><div class="product-detail-main-image-container">

<img width="768" height="1152" alt="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" class="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" src="//lp2.hm.com/hmgoepprod?set=source[/41/60/416086d58d02670c539d6abd8ff15f870c27ace7.jpg],origin[dam],category[ladies_dresses_mididresses],type[LOOKBOOK],res[m],hmver[1]&call=url[file:/product/main] " />

</div>

 

[ackmatoff]

Здравствуйте, кто-нибудь столкнулся с Javascript?
Как можно спарсить данные с Javascript?
Спасибо заранее!

[ackmatoff]

On 6/25/2019 at 9:40 AM, Rassol2 said:

Нет такого не будет. По нескольким причинам.
1. нет такого поля в товаре что бы сделать привязку.

2. Ссылка на товар в нормальных магазинах не исчезает. Потому что это выкидывает сайт из поисковика. Слепые ссылки. Так что товар в 90% случаев всегда будет по ссылке.

 а значит ее нужно парсить и смотреть какие значения на этой странице. Там может появится товар больше не производится или еше что то. И вам нужно цеплятся за это значение.

3. Товар можете остаться а ссылка изменится. К примеру магазин поменял структуру категорий. И в сео url теперь добавлена категория. По старой ссылке будет отдавайся заголовок. 302 или 301 редирект, не помню какой для постоянного переезда страницы. То есть опять для вас это мертвый товар. Хотя это не так.

 

Так же в планах есть реализовать что то вроде выполнения своих sql запросов в момент парсинга. Или сделать возможным добавлять собственные скрипты.
И через это можно будет реализовать. Но на данный момент это не главные задачи. Они пока лежат в ящике.

 

Здравствуйте, решили этот вопрос? Заранее спасибо!
Или есть кто нашел выход? Спасибо

Змінено 8 липня 2019 користувачем ackmatoff

[Rassol2]

4 часа назад, ackmatoff сказал:

Здравствуйте, кто-нибудь столкнулся с Javascript?
Как можно спарсить данные с Javascript?
Спасибо заранее!

если текст js выводится на странице то парсится так же как и любой другой текст html
 

[Rassol2]

4 часа назад, ackmatoff сказал:

Здравствуйте, кто-нибудь может помочь, Как можно получить ссылку на изображение?

Внизу коды...

А вот ссылка на товар: https://www2.hm.com/tr_tr/productpage.0738899005.html

Спасибо заранее

<div class="layout pdp-wrapper product-detail sticky-footer-wrapper js-reviews">

<div class="module product-description sticky-wrapper">

<figure class="pdp-image product-detail-images product-detail-main-image"><div class="product-detail-main-image-container">

<img width="768" height="1152" alt="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" class="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" src="//lp2.hm.com/hmgoepprod?set=source[/41/60/416086d58d02670c539d6abd8ff15f870c27ace7.jpg],origin[dam],category[ladies_dresses_mididresses],type[LOOKBOOK],res[m],hmver[1]&call=url[file:/product/main] " />

</div>

 

попробуйте через повторяющиеся границы парсинга.
Начало
'zoom': isDesktop ? '//
Конец
'

[Rassol2]

1 час назад, ackmatoff сказал:

 

Здравствуйте, решили этот вопрос? Заранее спасибо!
Или есть кто нашел выход? Спасибо

вы как раз цитировали мое сообщения почему подобную вешь нельзя реализовывать.

[Rassol2]

Вынужден призаца что что моя затея с ускорением сбора ссылок потерпела крах.
Сильно много хостинго и вдс серверов используют старые движка базы данных.

так что приступаю переписывать алгоритм.

[Nomandvs]

1 час назад, Rassol2 сказал:

Вынужден призаца что что моя затея с ускорением сбора ссылок потерпела крах.
Сильно много хостинго и вдс серверов используют старые движка базы данных.

так что приступаю переписывать алгоритм.

А есть ли вариант иметь 2 алгоритма? Вначале идёт проверка на использование быстрого алгоритма, если не проходит, то используется старый.

[Rassol2]

9 минут назад, Nomandvs сказал:

А есть ли вариант иметь 2 алгоритма? Вначале идёт проверка на использование быстрого алгоритма, если не проходит, то используется старый.

Алгоритм будет быстры. Просто изначально не хотелось загружать базу данных лишней информацией.

Суть проблемы заключается в том что MySql до версии 5.7 использует длину ключа 765байт. А это примерно 250 символов в utf8
Новые версии поддерживают длину ключа 3000байт это уже 1000 символов. Я рассчитывал на это.
Но как оказалось у многих модуль начал крашится поскольку у них старая версия mysql и многие используют свои vds и обновлять базу данных никто не будет.
А длина 250 символов для ссылки это очень мало, есть ссылки которые намного длиннее.

Теперь я создал отдельное поле key_md5 где будет храниться md5 хеш ссылки. И сравнение будет идти по нему. md5 спокойно помешается в 250байт.

Мне это изначально не понравилось из за того что в базе нужно будет хранить хеш сумму ссылок, которая по сути кроме сравнение ненужна. (может потом придумаю куда ее присобачить еше )
Уже почти закончил переписывать.
Ну и еше один минус опять при обновлении будут удалены все ссылки что бы записать их заново.

Вот это я не хотел изначально хранить в бд.
Но по сути это ничего страшного.
 

Спойлер

 

[Rassol2]

А из полюсов очевидно что все смогут использовать модуль в не зависимости от версии mysql
Или MariaDB предыдущих версий.

[Rassol2]

Обновление v2.5-3_Beta

Переработал сбор ссылок.
Внимание при обновлении будут удалены все ссылки из очереди сканирован и выдачи. Перед обновлением сделайте экспорт формы.
В данном обновлении необходимо выполнить inst.php

Измене алгоритм в сборе ссылок, теперь модуль будет работать как на старых версия Mysql так и на новых.
Так же будет прекрасно работать на базе данных MariaDB в не зависимости от версии
(Ну кроме наверное самых древних и допотопных)
Так что все кто пользуется модулем на локальном сервере могут обновятся, их проблемы с старой версией БД пофикшены.

Так же устранил все недочеты в парсинге в ИМ с категориями, и атрибутами. За что спасибо - @mazioka

На странице Сбора ссылок появилась новая настройка. Сколько показывать ссылок.
Поскольку это первая страница при заходе в настройки проекта, и если у вас там больше 10 000ссылок собрано, то страница изрядно тормозила. Теперь нет
Это сделал для вас - @Shyharenko  так что обновляетесь.

По умолчанию стоит выводить по 5т ссылок в окне очереди сканирования и ссылок на товар. Но можно выбрать по желанию
Показывать все ссылки
Показывать 100 ссылок
Показывать 500 ссылок
Показывать 1000 ссылок
Показывать 2000 ссылок
Показывать 3000 ссылок
Показывать 4000 ссылок
Показывать 5000 ссылок
Показывать 10 000 ссылок
Показывать 20 000 ссылок
Показывать 50 000 ссылок
Показывать 100 000 ссылок
Показывать 500 000 ссылок
Показывать 1 000 000 ссылок

Правда я не уверен что браузер потянет вывод 500 000 ссылок. Но вот 200 000 у меня браузер выводил.
В зависимости от мощности вашего ПК вы можете выбрать сколько ссылок хотите что бы браузер вам отображал.

 

Это значение определяет сколько ссылок будет в форме выдачи и в форме ссылок на товары.
То есть если вы выберите 1000 то будет показывается только первая тысяча ссылок в форме выдачи и первая тысяча ссылок на товары.

Если у вас слабенький ноут, тогда выберите 1000 ссылок. И форма будет работать быстро, и не будет тормозит при открытии.
Мелочь а приятно, ставьте лайк кому хотелось что бы страница сбора ссылок работала быстрее

[Rassol2]

А если еше поставить для вывода мало ссылок то можно сделать такое.
Открыть модуль в мобильном телефоне. И запустить парсинг. Даже смартфон теперь потянет открывать форму с 100 000ссылок.

 

Выглядит смешно, запуск парсинга с мобильного. Но работает

[urlmy]

Добрый день! Скажите, а почему у меня не копируются в магазин мета теги и h1 Title товара? ничего из раздела SEO

[urlmy]

39 minutes ago, urlmy said:

Добрый день! Скажите, а почему у меня не копируются в магазин мета теги и h1 Title товара? ничего из раздела SEO

Все ок, разобрался

[urlmy]

Возник вопрос еще один, есть Название товара вида "GWS3108 Юбка для девочек "Once in provence" " Как отрезать первое слово? в данном случае "GWS3108", на каждом товаре он уникальный. Делаю как в скрине, но что то не то))

Змінено 9 липня 2019 користувачем urlmy

[Axelenz]

Собственно... поставил последний OpenServer 5.3.0 и последнюю версию ocStore 3.0.2.0 и максимально php7.3 (64) и MarianDB-10.3 (64). И не парсит ни предыдущая версия ни v2.5-3_Beta...

И не экспортирует... " Неправильный формат файла настроек. "

Откатился на v2.5-1  - экспортирует, но не парсит.

Змінено 9 липня 2019 користувачем Axelenz

[ackmatoff]

11 hours ago, Rassol2 said:

Обновление v2.5-3_Beta

Переработал сбор ссылок.
Внимание при обновлении будут удалены все ссылки из очереди сканирован и выдачи. Перед обновлением сделайте экспорт формы.
В данном обновлении необходимо выполнить inst.php

Измене алгоритм в сборе ссылок, теперь модуль будет работать как на старых версия Mysql так и на новых.
Так же будет прекрасно работать на базе данных MariaDB в не зависимости от версии
(Ну кроме наверное самых древних и допотопных)
Так что все кто пользуется модулем на локальном сервере могут обновятся, их проблемы с старой версией БД пофикшены.

Так же устранил все недочеты в парсинге в ИМ с категориями, и атрибутами. За что спасибо - @mazioka

На странице Сбора ссылок появилась новая настройка. Сколько показывать ссылок.
Поскольку это первая страница при заходе в настройки проекта, и если у вас там больше 10 000ссылок собрано, то страница изрядно тормозила. Теперь нет
Это сделал для вас - @Shyharenko  так что обновляетесь.

По умолчанию стоит выводить по 5т ссылок в окне очереди сканирования и ссылок на товар. Но можно выбрать по желанию
Показывать все ссылки
Показывать 100 ссылок
Показывать 500 ссылок
Показывать 1000 ссылок
Показывать 2000 ссылок
Показывать 3000 ссылок
Показывать 4000 ссылок
Показывать 5000 ссылок
Показывать 10 000 ссылок
Показывать 20 000 ссылок
Показывать 50 000 ссылок
Показывать 100 000 ссылок
Показывать 500 000 ссылок
Показывать 1 000 000 ссылок

Правда я не уверен что браузер потянет вывод 500 000 ссылок. Но вот 200 000 у меня браузер выводил.
В зависимости от мощности вашего ПК вы можете выбрать сколько ссылок хотите что бы браузер вам отображал.

 

Это значение определяет сколько ссылок будет в форме выдачи и в форме ссылок на товары.
То есть если вы выберите 1000 то будет показывается только первая тысяча ссылок в форме выдачи и первая тысяча ссылок на товары.

Если у вас слабенький ноут, тогда выберите 1000 ссылок. И форма будет работать быстро, и не будет тормозит при открытии.
Мелочь а приятно, ставьте лайк кому хотелось что бы страница сбора ссылок работала быстрее

 

{skip} классная вещь! Упростил всю работу, спасибо за это!

 

[Rassol2]

@Axelenz

ставьте 2.5.3 и запускайп парсинг. И смотрите логи.
По поводу не экспортирует. Вы же знаете что у вас на локалке как то по иному определяет формат файла экспорта и модуль выдает неправильный формат файла.
Я вам вырезал эту функцию.
 

[ackmatoff]

Spoiler

 

Люди добрые, нужна помощь, как можно спарсить размер товара отсюда? Если кто сталкивался с подобным кодом? 

 

"name":" ---- " не помогает, так как есть много таких кодов.

Змінено 9 липня 2019 користувачем ackmatoff

[Rassol2]

3 часа назад, urlmy сказал:

Возник вопрос еще один, есть Название товара вида "GWS3108 Юбка для девочек "Once in provence" " Как отрезать первое слово? в данном случае "GWS3108", на каждом товаре он уникальный. Делаю как в скрине, но что то не то))

Понятное дело что не то.
на скрине у вас написано
Удалить все что угодно.
Но в таком случаи нечего удалять, вы не задали за что зацепится.

В подобных ситуациях нужно использовать регулярные выражения.
{reg[#^(.*?) #]}|
Это правило обозначает.
Вырезать все, от начала строки, до первого пробела. Это как раз то что вы просили вырезать первое слово.
 

Спойлер

Что такое регулярные выражения  - https://ru.wikipedia.org/wiki/Регулярные_выражения

[Rassol2]

3 минуты назад, ackmatoff сказал:

'sizes':[
                     
                     {
                       "sizeCode": "0770857002002",
                       "size": "002",
                       "name": "XS"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002003",
                       "size": "003",
                       "name": "S"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002004",
                       "size": "004",
                       "name": "M"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002005",
                       "size": "005",
                       "name": "L"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002006",
                       "size": "006",
                       "name": "XL"
                     }
                     
                     ],

Люди добрые, нужна помощь, как можно спарсить размер товара отсюда? Если кто сталкивался с подобным кодом? 

 

"name":" ---- " не помогает, так как есть много таких кодов.

покажите как вы настраиваете. Я вообще не вижу проблемы в парсинге этого блока.
Выбираете повторяющиеся границы парсинга
Начала "name": "
Конец "

[ackmatoff]

6 minutes ago, Rassol2 said:

покажите как вы настраиваете. Я вообще не вижу проблемы в парсинге этого блока.
Выбираете повторяющиеся границы парсинга
Начала "name": "
Конец "

 

Такой вариант уже есть, отлично работает, самый первый в коде он и выдает "название" товара. 

К тому же, много таких кодов, выдает разные данные.

 

Змінено 9 липня 2019 користувачем ackmatoff

[ackmatoff]

On 7/4/2019 at 1:30 PM, urlmy said:

Да, спасибо, так оно и есть.

Столкнулся еще с одной проблемой при загрузке в магазин, а именно с фото.

 

 

 

 

 

 

 

 

В предпросмотре картинка есть, но на сайт картинки не добавились((

 

Из 13 товаров, добавились только 2 картинки (почему не 13?) и даже при наличии этих 2х картинок, они не прикрепились к товарам

 

 

Прошу прощения за длинную портянку

 

 

У меня такая же проблема.

 

[Rassol2]

1 минуту назад, ackmatoff сказал:

У меня такая же проблема.

Я вам уже написал в лс, ответ почему это.
Это связано с ссылкой на фото.
Либо поставьте конец парсинга знак ?
Либо в поиск замене этой границе применить правило {reg[#\?(.*)#]}|
Это удалит все хвостики, и все будет ок.

[Rassol2]

@ackmatoff Если много больших скриншотов выкладываете. Можете для удобства прятать их под спойлер.