Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

18 минут назад, Nomandvs сказал:

@Rassol2 а тег {br} работает только в поиск-замене или его можно использовать и в границах парсинга?

только в поиск замена.

Надіслати
Поділитися на інших сайтах

Присоединяюсь к благодарностям за поддержку старых баз !!! Но вот очень интересно, почему же всё таки принято решение пойти по пути хэширования ссылок, а не переходить на динамическую длину ключа ?

Надіслати
Поділитися на інших сайтах


4 часа назад, Djek сказал:

Присоединяюсь к благодарностям за поддержку старых баз !!! Но вот очень интересно, почему же всё таки принято решение пойти по пути хэширования ссылок, а не переходить на динамическую длину ключа ?

Даже само понятие индексировать поля varchar больше 255 считается неправильным подходом, и не эффективным.
И принудительно отлавливать версии mysql и указывать длину ключа больше 765 байт не хотел.
Затем нужно будет всегда помнить про это.

Надіслати
Поділитися на інших сайтах

@Axelenz
Создал виртуалку, с подобными настройками как у вас.
На ней стояла версия 5.2 и я обновил ее до 5.3
Затем запустил и все работает.
 

Спойлер

XpuixEv.png

 

Все что я пока могу сказать это нужно что бы вы открыли веб консоль в вашем браузере. И посмотрели вывод что там.
Есть ошибка или нет. Возможно что то не так обновили.
Плохо что на локалку я не могу зайти и отловить в чем проблема.

Надіслати
Поділитися на інших сайтах

error1.thumb.jpg.9106b070c159fd7448bab51cfcded42c.jpg

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


@Axelenz
Эх локалка.
Эта ошибка
 

Спойлер

lcO7PWL.png

Говорит о том что проблема в  определении кодировки.
И это в функции которая не изменялась много месяцев. Так что проблема не в новой версии модуля.
Что то специфической в этом домене. Или этой ссылке на которой модуль виснет.
Скиньте мне настройки этой формы я проверю у себя.

Надіслати
Поділитися на інших сайтах

И это не на одном сайте... я сброшу в личку минимум 2 сайта с подобной проблемой.

Надіслати
Поділитися на інших сайтах


Только что, Axelenz сказал:

И это не на одном сайте... я сброшу в личку минимум 2 сайта с подобной проблемой.

за одно ссылку на второй сайт.

Надіслати
Поділитися на інших сайтах

20 hours ago, ackmatoff said:
  Reveal hidden contents

 

Люди добрые, нужна помощь, как можно спарсить размер товара отсюда? Если кто сталкивался с подобным кодом? 

 

"name":" ---- " не помогает, так как есть много таких кодов.

 

 

Вопрос все еще актуален. "name:" ---"  не вариант, написано выше почему.

пс: Автору большой респект и спасибо за поддержку, особенно за устранение проблем с фотки.

Надіслати
Поділитися на інших сайтах


19 минут назад, ackmatoff сказал:

 

 

Вопрос все еще актуален. "name:" ---"  не вариант, написано выше почему.

пс: Автору большой респект и спасибо за поддержку, особенно за устранение проблем с фотки.

можно использовать повторяющиеся границы внутри обычных. А обычными отрезать тот кусок с name что вам нужен.
дайте ссылку покажу как это сделать.

Надіслати
Поділитися на інших сайтах

29 минут назад, ackmatoff сказал:

 

 

Вопрос все еще актуален. "name:" ---"  не вариант, написано выше почему.

пс: Автору большой респект и спасибо за поддержку, особенно за устранение проблем с фотки.

Могу пред положить что это уникальный текст.
создаете обычную гарницу где
Начало
'sizes':[
Конец.
],

 

И называем ее Граница размера


Затем создаете повторяющуюся границу парсинга. Внутри обычной. Что только что создали.
В повторяющейся
Начало
"name:"
Конец


И у этой повторяющейся границы вот здесь выбираете обычную, то есть что бы эта граница искала нужные теги не на всей странице, а только в указанной области.
Вот так.
 

Спойлер

2Lc34rp.png

 

Надіслати
Поділитися на інших сайтах

1 минуту назад, ackmatoff сказал:
  Показать контент

 

 

 

Супер! Решил задачу! Спасибо большое!

 

не за что.
рад был помочь.

Надіслати
Поділитися на інших сайтах

Извините, уже как-то неудобно спрашивать, вышла еще одна ошибка, вроде получаю ссылки фоток в модуле, и если открыть одну ссылку в браузере фото нормально открывается, вроде все ок, после парсинга получаю все нужные данные кроме фоток. 

Вот ссылка на сайт: https://www2.hm.com/tr_tr/productpage.0770857002.html

 

Кстати, вы мне дали подсказку: 'zoom': isDesktop ? '// ---- ', тот тоже дает такой же результат, фоток не получаю.

 

 

 

Spoiler

Screen Shot 2019-07-10 at 22.05.45.png

 

 

Spoiler

Screen Shot 2019-07-10 at 22.09.24.png

 

Змінено користувачем ackmatoff
Надіслати
Поділитися на інших сайтах


7 часов назад, ackmatoff сказал:

Извините, уже как-то неудобно спрашивать, вышла еще одна ошибка, вроде получаю ссылки фоток в модуле, и если открыть одну ссылку в браузере фото нормально открывается, вроде все ок, после парсинга получаю все нужные данные кроме фоток. 

Вот ссылка на сайт: https://www2.hm.com/tr_tr/productpage.0770857002.html

 

Кстати, вы мне дали подсказку: 'zoom': isDesktop ? '// ---- ', тот тоже дает такой же результат, фоток не получаю.

Здесь через чур хитрый способ отдачи фото.
Если есть возможность сгрузить их. То я разберу и выпушу обновление модуля который сможете разбирать подобные конструкции.

Надіслати
Поділитися на інших сайтах

4 hours ago, Rassol2 said:

Здесь через чур хитрый способ отдачи фото.
Если есть возможность сгрузить их. То я разберу и выпушу обновление модуля который сможете разбирать подобные конструкции.

 

1. Я так и думал, сложный у них сайт в этом плане. Они работают с этой компанией, https://www.liquidpixels.com/.  

2. Спасибо, будем ждать!

Надіслати
Поділитися на інших сайтах


14 минут назад, ackmatoff сказал:

Вот такая вот беда у меня (((

Ошибок в работе модуля я пока не увидел.

А то что у вас нету ссылок на товар. Так никто не гарантирует что они будут. Все зависит от ваших настроек. Может под ваши фильтра ни одна ссылка не попадает.
Вы луче скиньте настройки что бы посмотреть.

Надіслати
Поділитися на інших сайтах

16 minutes ago, Rassol2 said:

Ошибок в работе модуля я пока не увидел.

А то что у вас нету ссылок на товар. Так никто не гарантирует что они будут. Все зависит от ваших настроек. Может под ваши фильтра ни одна ссылка не попадает.
Вы луче скиньте настройки что бы посмотреть.

 

Настройки видны на видео. Еще, иногда получаю данные, иногда нет, с чем это может быть связано?

 

Вопрос: Кстати, как можно собрать ссылок только одной категории? 

На пример, хочу парсить товары только этой категории https://www.zara.com/tr/tr/kadin-elbiseler-l1066.html?v1=1296529
В нашей работе очень важно чтобы мы знали какие категории парсим, чтобы могли обновлять потом, да и знать куда, под какую категорию нужно добавлять товары.



Спасибо

Змінено користувачем ackmatoff
Надіслати
Поділитися на інших сайтах


1 минуту назад, ackmatoff сказал:

Настройки видны на видео.

комон. :(

Если вам нужно что бы я подсказал какие настройки поставить, то можно постараться облегчить мне жизнь.

Я не сильно горю желанием вбивать вручную все. И смотреть не видел.

 

Цитата

Кстати, как можно собрать ссылок только одной категории?

Указав соответствующие фильтры.

Цитата

Еще, иногда получаю данные, иногда нет, с чем это может быть связано?

смотря что вы имеете в виду.
Иногда вы правильно настраиваете фильтры иногда нет.
Скорее связано с опытом. Все приходит с опытом.

Надіслати
Поділитися на інших сайтах

4 minutes ago, Rassol2 said:

комон. :(

Если вам нужно что бы я подсказал какие настройки поставить, то можно постараться облегчить мне жизнь.

Я не сильно горю желанием вбивать вручную все. И смотреть не видел.

 

Я думал легче будет Вам посмотреть на деле, на видео. ОК, буду знать. 

Надіслати
Поділитися на інших сайтах


1 минуту назад, ackmatoff сказал:

 

Я думал легче будет Вам посмотреть на деле, на видео. ОК, буду знать. 

все что нужно вам сделать это нажать
nTfmR6M.png

и скинуть файл. И я проверю.

Видео это прекрасно. Когда есть ошибки в работе модуля. Которые сложно объяснить.
В данном случаи не перелетают ссылки, и первое подозрение это настройки фильтров. А как я их могу проверить. Либо вручную перепечатать все вплоть до стартовой ссылки. И наедятся что не ошибся в воде.
Либо вы нажмете 2 кнопки скините я нажму 2 кнопки и у меня будет полная копия ваших настроек и я могу тестировать.
А после дать вам ответ.

Надіслати
Поділитися на інших сайтах

Spoiler

 

 

Понял! Файл прикренлен. 

Одним словом, хочу парсить товары только этой категории: https://www.zara.com/tr/tr/kadin-elbiseler-l1066.html?v1=1296529
Также, парсить все товары таким же образом, чтобы у меня была хоть какая-то фильтрация на потом.

Спасибо

пс: А нельзя-ли просто поставить одну ссылку в "Очередь сканирования ссылок" и начинать сразу же парсить (ссылка одной категории и парсить только ее товары)?

 

 

SPsetting-10 (1).json

Змінено користувачем ackmatoff
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.