Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

Здравствуйте, кто-нибудь может помочь, Как можно получить ссылку на изображение?

Внизу коды...

А вот ссылка на товар: https://www2.hm.com/tr_tr/productpage.0738899005.html

Спасибо заранее


<div class="layout pdp-wrapper product-detail sticky-footer-wrapper js-reviews">

<div class="module product-description sticky-wrapper">

<figure class="pdp-image product-detail-images product-detail-main-image"><div class="product-detail-main-image-container">

<img width="768" height="1152" alt="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" class="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" src="//lp2.hm.com/hmgoepprod?set=source[/41/60/416086d58d02670c539d6abd8ff15f870c27ace7.jpg],origin[dam],category[ladies_dresses_mididresses],type[LOOKBOOK],res[m],hmver[1]&call=url[file:/product/main] " />

</div>

 

Ссылка на комментарий
Поделиться на других сайтах


On 6/25/2019 at 9:40 AM, Rassol2 said:

Нет такого не будет. По нескольким причинам.
1. нет такого поля в товаре что бы сделать привязку.


2. Ссылка на товар в нормальных магазинах не исчезает. Потому что это выкидывает сайт из поисковика. Слепые ссылки. Так что товар в 90% случаев всегда будет по ссылке.

 а значит ее нужно парсить и смотреть какие значения на этой странице. Там может появится товар больше не производится или еше что то. И вам нужно цеплятся за это значение.


3. Товар можете остаться а ссылка изменится. К примеру магазин поменял структуру категорий. И в сео url теперь добавлена категория. По старой ссылке будет отдавайся заголовок. 302 или 301 редирект, не помню какой для постоянного переезда страницы. То есть опять для вас это мертвый товар. Хотя это не так.

 

Так же в планах есть реализовать что то вроде выполнения своих sql запросов в момент парсинга. Или сделать возможным добавлять собственные скрипты.
И через это можно будет реализовать. Но на данный момент это не главные задачи. Они пока лежат в ящике.

 

Здравствуйте, решили этот вопрос? Заранее спасибо!
Или есть кто нашел выход? Спасибо

Изменено пользователем ackmatoff
Ссылка на комментарий
Поделиться на других сайтах


4 часа назад, ackmatoff сказал:

Здравствуйте, кто-нибудь столкнулся с Javascript?
Как можно спарсить данные с Javascript?
Спасибо заранее!

если текст js выводится на странице то парсится так же как и любой другой текст html
 

Ссылка на комментарий
Поделиться на других сайтах

4 часа назад, ackmatoff сказал:

Здравствуйте, кто-нибудь может помочь, Как можно получить ссылку на изображение?

Внизу коды...

А вот ссылка на товар: https://www2.hm.com/tr_tr/productpage.0738899005.html

Спасибо заранее


<div class="layout pdp-wrapper product-detail sticky-footer-wrapper js-reviews">

<div class="module product-description sticky-wrapper">

<figure class="pdp-image product-detail-images product-detail-main-image"><div class="product-detail-main-image-container">

<img width="768" height="1152" alt="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" class="İşlemeli Elbise - Beyaz - KADIN | H&amp;M TR" src="//lp2.hm.com/hmgoepprod?set=source[/41/60/416086d58d02670c539d6abd8ff15f870c27ace7.jpg],origin[dam],category[ladies_dresses_mididresses],type[LOOKBOOK],res[m],hmver[1]&call=url[file:/product/main] " />

</div>

 

попробуйте через повторяющиеся границы парсинга.
Начало
'zoom': isDesktop ? '//
Конец
'

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, ackmatoff сказал:

 

Здравствуйте, решили этот вопрос? Заранее спасибо!
Или есть кто нашел выход? Спасибо

вы как раз цитировали мое сообщения почему подобную вешь нельзя реализовывать.

Ссылка на комментарий
Поделиться на других сайтах

Вынужден призаца что что моя затея с ускорением сбора ссылок потерпела крах.
Сильно много хостинго и вдс серверов используют старые движка базы данных.

так что приступаю переписывать алгоритм. :(

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

Вынужден призаца что что моя затея с ускорением сбора ссылок потерпела крах.
Сильно много хостинго и вдс серверов используют старые движка базы данных.

так что приступаю переписывать алгоритм. :(

А есть ли вариант иметь 2 алгоритма? Вначале идёт проверка на использование быстрого алгоритма, если не проходит, то используется старый.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


9 минут назад, Nomandvs сказал:

А есть ли вариант иметь 2 алгоритма? Вначале идёт проверка на использование быстрого алгоритма, если не проходит, то используется старый.

Алгоритм будет быстры. Просто изначально не хотелось загружать базу данных лишней информацией.

Суть проблемы заключается в том что MySql до версии 5.7 использует длину ключа 765байт. А это примерно 250 символов в utf8
Новые версии поддерживают длину ключа 3000байт это уже 1000 символов. Я рассчитывал на это.
Но как оказалось у многих модуль начал крашится поскольку у них старая версия mysql и многие используют свои vds и обновлять базу данных никто не будет.
А длина 250 символов для ссылки это очень мало, есть ссылки которые намного длиннее.

Теперь я создал отдельное поле key_md5 где будет храниться md5 хеш ссылки. И сравнение будет идти по нему. md5 спокойно помешается в 250байт.

Мне это изначально не понравилось из за того что в базе нужно будет хранить хеш сумму ссылок, которая по сути кроме сравнение ненужна. (может потом придумаю куда ее присобачить еше :) )
Уже почти закончил переписывать.
Ну и еше один минус опять при обновлении будут удалены все ссылки что бы записать их заново.

Вот это я не хотел изначально хранить в бд.
Но по сути это ничего страшного.
 

Спойлер

1D1Rfwb.png

 

Ссылка на комментарий
Поделиться на других сайтах

А из полюсов очевидно что все смогут использовать модуль в не зависимости от версии mysql
Или MariaDB предыдущих версий.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Обновление v2.5-3_Beta

Переработал сбор ссылок.
Внимание при обновлении будут удалены все ссылки из очереди сканирован и выдачи. Перед обновлением сделайте экспорт формы.
В данном обновлении необходимо выполнить inst.php


Измене алгоритм в сборе ссылок, теперь модуль будет работать как на старых версия Mysql так и на новых.
Так же будет прекрасно работать на базе данных MariaDB в не зависимости от версии
(Ну кроме наверное самых древних и допотопных)
Так что все кто пользуется модулем на локальном сервере могут обновятся, их проблемы с старой версией БД пофикшены.

Так же устранил все недочеты в парсинге в ИМ с категориями, и атрибутами. За что спасибо - @mazioka

На странице Сбора ссылок появилась новая настройка. Сколько показывать ссылок.
Поскольку это первая страница при заходе в настройки проекта, и если у вас там больше 10 000ссылок собрано, то страница изрядно тормозила. Теперь нет :-o
Это сделал для вас - @Shyharenko  так что обновляетесь.

По умолчанию стоит выводить по 5т ссылок в окне очереди сканирования и ссылок на товар. Но можно выбрать по желанию
Показывать все ссылки
Показывать 100 ссылок
Показывать 500 ссылок
Показывать 1000 ссылок
Показывать 2000 ссылок
Показывать 3000 ссылок
Показывать 4000 ссылок
Показывать 5000 ссылок
Показывать 10 000 ссылок
Показывать 20 000 ссылок
Показывать 50 000 ссылок
Показывать 100 000 ссылок
Показывать 500 000 ссылок
Показывать 1 000 000 ссылок


Правда я не уверен что браузер потянет вывод 500 000 ссылок. Но вот 200 000 у меня браузер выводил.
В зависимости от мощности вашего ПК вы можете выбрать сколько ссылок хотите что бы браузер вам отображал.
CJA7VsP.png

 

Это значение определяет сколько ссылок будет в форме выдачи и в форме ссылок на товары.
То есть если вы выберите 1000 то будет показывается только первая тысяча ссылок в форме выдачи и первая тысяча ссылок на товары.

Если у вас слабенький ноут, тогда выберите 1000 ссылок. И форма будет работать быстро, и не будет тормозит при открытии.
Мелочь а приятно, ставьте лайк кому хотелось что бы страница сбора ссылок работала быстрее :-D

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

А если еше поставить для вывода мало ссылок то можно сделать такое.
Открыть модуль в мобильном телефоне. И запустить парсинг. Даже смартфон теперь потянет открывать форму с 100 000ссылок.
LXhUl3LVwrg.thumb.jpg.b40828c65bddd1e4aee4e75c6dd7c2b2.jpg

 

Выглядит смешно, запуск парсинга с мобильного. Но работает :-D

Ссылка на комментарий
Поделиться на других сайтах

39 minutes ago, urlmy said:

Добрый день! Скажите, а почему у меня не копируются в магазин мета теги и h1 Title товара? ничего из раздела SEO

Screenshot_24.png

Все ок, разобрался

Ссылка на комментарий
Поделиться на других сайтах


Возник вопрос еще один, есть Название товара вида "GWS3108 Юбка для девочек "Once in provence" " Как отрезать первое слово? в данном случае "GWS3108", на каждом товаре он уникальный. Делаю как в скрине, но что то не то))

Screenshot_25.png

Изменено пользователем urlmy
Ссылка на комментарий
Поделиться на других сайтах


Собственно... поставил последний OpenServer 5.3.0 и последнюю версию ocStore 3.0.2.0 и максимально php7.3 (64) и MarianDB-10.3 (64). И не парсит ни предыдущая версия ни v2.5-3_Beta...

И не экспортирует... " Неправильный формат файла настроек. "

Откатился на v2.5-1  - экспортирует, но не парсит.

0101.thumb.jpg.b834c27e36ee35d2b6caa7fec4f2a26f.jpg

Изменено пользователем Axelenz
Ссылка на комментарий
Поделиться на других сайтах


11 hours ago, Rassol2 said:

Обновление v2.5-3_Beta

Переработал сбор ссылок.
Внимание при обновлении будут удалены все ссылки из очереди сканирован и выдачи. Перед обновлением сделайте экспорт формы.
В данном обновлении необходимо выполнить inst.php


Измене алгоритм в сборе ссылок, теперь модуль будет работать как на старых версия Mysql так и на новых.
Так же будет прекрасно работать на базе данных MariaDB в не зависимости от версии
(Ну кроме наверное самых древних и допотопных)
Так что все кто пользуется модулем на локальном сервере могут обновятся, их проблемы с старой версией БД пофикшены.

Так же устранил все недочеты в парсинге в ИМ с категориями, и атрибутами. За что спасибо - @mazioka

На странице Сбора ссылок появилась новая настройка. Сколько показывать ссылок.
Поскольку это первая страница при заходе в настройки проекта, и если у вас там больше 10 000ссылок собрано, то страница изрядно тормозила. Теперь нет :-o
Это сделал для вас - @Shyharenko  так что обновляетесь.

По умолчанию стоит выводить по 5т ссылок в окне очереди сканирования и ссылок на товар. Но можно выбрать по желанию
Показывать все ссылки
Показывать 100 ссылок
Показывать 500 ссылок
Показывать 1000 ссылок
Показывать 2000 ссылок
Показывать 3000 ссылок
Показывать 4000 ссылок
Показывать 5000 ссылок
Показывать 10 000 ссылок
Показывать 20 000 ссылок
Показывать 50 000 ссылок
Показывать 100 000 ссылок
Показывать 500 000 ссылок
Показывать 1 000 000 ссылок


Правда я не уверен что браузер потянет вывод 500 000 ссылок. Но вот 200 000 у меня браузер выводил.
В зависимости от мощности вашего ПК вы можете выбрать сколько ссылок хотите что бы браузер вам отображал.
CJA7VsP.png

 

Это значение определяет сколько ссылок будет в форме выдачи и в форме ссылок на товары.
То есть если вы выберите 1000 то будет показывается только первая тысяча ссылок в форме выдачи и первая тысяча ссылок на товары.

Если у вас слабенький ноут, тогда выберите 1000 ссылок. И форма будет работать быстро, и не будет тормозит при открытии.
Мелочь а приятно, ставьте лайк кому хотелось что бы страница сбора ссылок работала быстрее :-D

 

{skip} классная вещь! Упростил всю работу, спасибо за это!

 

Ссылка на комментарий
Поделиться на других сайтах


@Axelenz

ставьте 2.5.3 и запускайп парсинг. И смотрите логи.
По поводу не экспортирует. Вы же знаете что у вас на локалке как то по иному определяет формат файла экспорта и модуль выдает неправильный формат файла.
Я вам вырезал эту функцию.
 

Ссылка на комментарий
Поделиться на других сайтах

Spoiler

 

Люди добрые, нужна помощь, как можно спарсить размер товара отсюда? Если кто сталкивался с подобным кодом? 

 

"name":" ---- " не помогает, так как есть много таких кодов.

Изменено пользователем ackmatoff
Ссылка на комментарий
Поделиться на других сайтах


3 часа назад, urlmy сказал:

Возник вопрос еще один, есть Название товара вида "GWS3108 Юбка для девочек "Once in provence" " Как отрезать первое слово? в данном случае "GWS3108", на каждом товаре он уникальный. Делаю как в скрине, но что то не то))

Понятное дело что не то.
на скрине у вас написано
Удалить все что угодно.
Но в таком случаи нечего удалять, вы не задали за что зацепится.

В подобных ситуациях нужно использовать регулярные выражения.
{reg[#^(.*?) #]}|
Это правило обозначает.
Вырезать все, от начала строки, до первого пробела. Это как раз то что вы просили вырезать первое слово.
 

Спойлер

njj1OGJ.png

Что такое регулярные выражения  - https://ru.wikipedia.org/wiki/Регулярные_выражения

Ссылка на комментарий
Поделиться на других сайтах

3 минуты назад, ackmatoff сказал:

'sizes':[
                     
                     {
                       "sizeCode": "0770857002002",
                       "size": "002",
                       "name": "XS"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002003",
                       "size": "003",
                       "name": "S"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002004",
                       "size": "004",
                       "name": "M"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002005",
                       "size": "005",
                       "name": "L"
                     }
                     
                     	,
                     
                     {
                       "sizeCode": "0770857002006",
                       "size": "006",
                       "name": "XL"
                     }
                     
                     ],

Люди добрые, нужна помощь, как можно спарсить размер товара отсюда? Если кто сталкивался с подобным кодом? 

 

"name":" ---- " не помогает, так как есть много таких кодов.

покажите как вы настраиваете. Я вообще не вижу проблемы в парсинге этого блока.
Выбираете повторяющиеся границы парсинга
Начала "name": "
Конец "

Ссылка на комментарий
Поделиться на других сайтах

6 minutes ago, Rassol2 said:

покажите как вы настраиваете. Я вообще не вижу проблемы в парсинге этого блока.
Выбираете повторяющиеся границы парсинга
Начала "name": "
Конец "

 

Такой вариант уже есть, отлично работает, самый первый в коде он и выдает "название" товара. 

К тому же, много таких кодов, выдает разные данные.

 

Screen Shot 2019-07-09 at 18.08.59.png

Изменено пользователем ackmatoff
Ссылка на комментарий
Поделиться на других сайтах


On 7/4/2019 at 1:30 PM, urlmy said:

Да, спасибо, так оно и есть.

Столкнулся еще с одной проблемой при загрузке в магазин, а именно с фото.

 

 

Screenshot_19.thumb.png.1a48ceef54824c4be937c3f1b8934f53.png

 

 

 

Screenshot_20.thumb.png.13c066a5893d38fc449e68155423a43f.png

 

 

Screenshot_21.thumb.png.d8d3e9d2eb094eff9dea19474c664512.png

 

В предпросмотре картинка есть, но на сайт картинки не добавились((

Screenshot_22.png.6489b699527c3513718503b7acc3683d.png

 

Из 13 товаров, добавились только 2 картинки (почему не 13?) и даже при наличии этих 2х картинок, они не прикрепились к товарам

 

Screenshot_23.png.fa5371616976b9e3eec944099797b0f9.png

 

Прошу прощения за длинную портянку

 

 

У меня такая же проблема.

 

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, ackmatoff сказал:

У меня такая же проблема.

Я вам уже написал в лс, ответ почему это.
Это связано с ссылкой на фото.
Либо поставьте конец парсинга знак ?
Либо в поиск замене этой границе применить правило {reg[#\?(.*)#]}|
Это удалит все хвостики, и все будет ок.

Ссылка на комментарий
Поделиться на других сайтах

@ackmatoff Если много больших скриншотов выкладываете. Можете для удобства прятать их под спойлер.

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.