Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

13 минут назад, REVO123 сказал:

Здравствуйте.
Вы же сами можете перейти по ссылки на фото из ваших логов и увидеть что такого фото нет.
 

Спойлер

R05ZkR4.png

 

Все модуль делает верно.
Проверяйте внимательно свои настройки.

Надіслати
Поділитися на інших сайтах

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

Надіслати
Поділитися на інших сайтах


8 минут назад, Rassol2 сказал:

Здравствуйте.
Вы же сами можете перейти по ссылки на фото из ваших логов и увидеть что такого фото нет.
 

  Показать контент

R05ZkR4.png

 

Все модуль делает верно.
Проверяйте внимательно свои настройки.

Да не понятно почему ещё светится вторая ссылка после прочерка и откуда берётся вообще прочерк не понятно, я вам скинул же настройки вроде всё правильно 

Надіслати
Поділитися на інших сайтах


2 минуты назад, g2grs сказал:

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

Тут всё идеально для парсинга 

Надіслати
Поділитися на інших сайтах


1 минуту назад, REVO123 сказал:

Да не понятно почему ещё светится вторая ссылка после прочерка и откуда берётся вообще прочерк не понятно, я вам скинул же настройки вроде всё правильно 

Она берется от ваших настроек.
Проверяйте их.
То что вы скинули ни о чем не говорит. Но в логе видно какая ссылка попала на скачивание фото, и видно что ссылки такой не существует.

Проверяйте внимательно свои настройки.

Надіслати
Поділитися на інших сайтах

3 минуты назад, g2grs сказал:

Подскажите плиз ни могу ни за что зацепиться при сборе товара ((((( да и категорий 

http://a2dm.ru/http://a2dm.ru/category/aromatizatory/aromatizatory-pennye-pod-sidenie/parfyum/

 

может я тупой ))

Не понятно на что отвечать
Вы можете задать конкретный вопрос, что именно вы не можете сделать. И тогда можно будет рассмотреть.

Надіслати
Поділитися на інших сайтах

5 минут назад, Rassol2 сказал:

Не понятно на что отвечать
Вы можете задать конкретный вопрос, что именно вы не можете сделать. И тогда можно будет рассмотреть.

 

Ну я пытаюсь со страницы спарсить ссылки на товары - задаю границы - как я понял это row catalogTovar - начало и .paging-nav ul  а это конец ссылок ... только он чего то ничего не выводит....

 

Надіслати
Поділитися на інших сайтах


2 минуты назад, g2grs сказал:

 

Ну я пытаюсь со страницы спарсить ссылки на товары - задаю границы - как я понял это row catalogTovar - начало и .paging-nav ul  а это конец ссылок ... только он чего то ничего не выводит....

 


Вот сделал.
 

Спойлер

btB47oR.png


 

  • +1 1
Надіслати
Поділитися на інших сайтах

Вот допустим код 

  1. <a class="main-image" href="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" data-number="0"><img class="img-responsive" src="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-400x400.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" alt="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" itemprop="image" />

Я ставлю границу

<a class="main-image" href="

и закрываю "

В предпросмтре страницы получаю результат 

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg

А в предпросмотре парсинга я получаю битое изображение и ссылки на них

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg
  (вот с таким пробелом)                              https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg 
https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-300-3-750x750-800x800.jpg
 

 

Надіслати
Поділитися на інших сайтах


1 минуту назад, REVO123 сказал:

Вот допустим код 

  1. <a class="main-image" href="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" data-number="0"><img class="img-responsive" src="https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-400x400.jpg" title="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" alt="Электроводонагреватель накопительный Atlantic Steatite Floor Standing VSRS 200L" itemprop="image" />

Я ставлю границу

<a class="main-image" href="

и закрываю "

В предпросмтре страницы получаю результат 

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg

А в предпросмотре парсинга я получаю битое изображение и ссылки на них

https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg
  (вот с таким пробелом)                              https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-200-750x750-800x800.jpg 
https://vsemteplo.kh.ua/image/cache/catalog/111/boyler-atlantic-vsrs-300-3-750x750-800x800.jpg

берет одну и туже ссылку с одними и теми же настройками, вставляете в пред просмотр
Затем парсите ее.
И смотрите два лога. И они будут идентичны. По другому быть не может.

То что вы сверху прислали мне ни о чем не говорит, так как я не вижу действительной настройки вашего проекта.
Но тут 100500% вопрос с настройкой.

Хотите присылайте доступ к фтп и админке магазина и я посмотрю как будет время.

Надіслати
Поділитися на інших сайтах

@REVO123 И что же оказалось.
Оказалось ровно то что я вам и писал. Ваши настройки :( и в пред просмотре и в парсинге в интернет магазин, все одинаково а не так как вы пишите.

Это касается не только него, ребята ну если написали проверьте настройки, но возьмите да проверьте их.
По проблеме видно где она может быть технической, а где нет.

Вот вам пример!

Спойлер

4Rm3S6i.png


Смотрим лог, видем проблему о которой говорит пользователь. @REVO123
Копируем ссылку на товар из лога и идем в пред просмотр товара.

Вставляем ссылку и включаем пред просмотр.
И видим вот эта же битое фото!!!
 

Спойлер

aM2F71s.png


Все мы уверены что с ссылкой что то не так. Идем смотреть что там в поиск замене по этому вопросу с этой границей парсинга
Смотрим какие границы парсинга используются для фото.
 

Спойлер

z4L80tf.png


Открываем поиск замену, первую границу парсинга, вставляем туже ссылку из лога жмем преобразовать и смотрим что у нас.
 

Спойлер

jMoFUs0.png

И видем что в первой границе одна ссылка.
Но в логе склеено две.

Что это значит ?
правильно нет разделителя между первой границей парсинга и второй в настройках им.

Идем в настройки интернет магазина.
И вставляем разделитель так как это написано в инструкции, так как об этом говорится в виде, так как это делается во всех границах парсинга.
 

Спойлер

jGknX9y.png



Вот так!!!!
 

Спойлер

4mFnMwx.png


Запускае и видем, о чудо все заработало!
 

Спойлер

j4Dis33.png



Главный меседж, если попросили проверить настройки.
Откройте инструкцию пересмотрите видео освежите память, и возьмите и проверьте настройки.


Если написано в логе кривая ссылка на фото, то черт побери она кривая приходит. И именно ваши настройки отвечают за то какая ссылка будет отправлена на парсинг фото. И именно настройки. Все что вам нужно сделать это пройтись по все настройкам и найти где вы глупость написали.
И это быстрее чем продолжать задавать один и тот же вопрос ожидая какой то новый ответ. :-(

  • +1 1
Надіслати
Поділитися на інших сайтах

@Rassol2 Добрый день.

Есть предложение по внедрению нового функционала. Возможно это будет полезно для кого-то ?

Рассмотрите, пожалуйста, возможно добавить управление количеством и периодами повторных авторизаций, в случае, если при сборе ссылок и парсинге произошёл сбой авторизации. Я заметил, что у меня периодически вылетает авторизация. После двух - трёх попыток повторной авторизации самого модуля - модуль завершает работу и переходит к следующему заданию.

И если Вам не трудно - подскажите, пожалуйста, как решить такую задачу:

 

1. Парсим цену. Получаем исходный текст "2 500 руб."
2. Удаляем лишнее с помощью регулярного выражения {reg[#([\s\D])#]}|
3. Делим число и округляем вверх до 1 с помощью наценки {1|>}*0.000000001

 

На выходе я получу значение 1 , в случае, если цена была. И 0, если цены не было.
Задача чтобы 1 умножалась на 9999, что по итогу эта граница использовалась для количества товара.
В случае, если исходное число было бы равно нулю, то умножение на 9999 приводит к нулю и количество ноль.

Добавить в начало или в конец значение 9999 не подходит, так как в случае, если значение после обработки равно нулю - к нему прибавляется 9999 и мы получаем 09999 или 99990. Что не подходит.

Подскажите, пожалуйста, как решить эту задачу.

Надіслати
Поділитися на інших сайтах


20 минут назад, Starychenko сказал:

Есть предложение по внедрению нового функционала. Возможно это будет полезно для кого-то ?

Рассмотрите, пожалуйста, возможно добавить управление количеством и периодами повторных авторизаций, в случае, если при сборе ссылок и парсинге произошёл сбой авторизации. Я заметил, что у меня периодически вылетает авторизация. После двух - трёх попыток повторной авторизации самого модуля - модуль завершает работу и переходит к следующему заданию.

Управления количество авторизацией будет но это уже в следующем цикле по работе с авторизацией.
Теперь нужно много времени что бы попользоваться этим и определить что было удачным что нет, и как дальше развивать этот функционал.
Будет но не скоро.

 

23 минуты назад, Starychenko сказал:

И если Вам не трудно - подскажите, пожалуйста, как решить такую задачу:

 

1. Парсим цену. Получаем исходный текст "2 500 руб."
2. Удаляем лишнее с помощью регулярного выражения {reg[#([\s\D])#]}|
3. Делим число и округляем вверх до 1 с помощью наценки {1|>}*0.000000001

 

На выходе я получу значение 1 , в случае, если цена была. И 0, если цены не было.
Задача чтобы 1 умножалась на 9999, что по итогу эта граница использовалась для количества товара.
В случае, если исходное число было бы равно нулю, то умножение на 9999 приводит к нулю и количество ноль.

Добавить в начало или в конец значение 9999 не подходит, так как в случае, если значение после обработки равно нулю - к нему прибавляется 9999 и мы получаем 09999 или 99990. Что не подходит.

Подскажите, пожалуйста, как решить эту задачу.

Как я понимаю вам глубоко все равно сколько будет количество, главное что бы много.
Странная задача, я бы просто указал в количество цену. При желении умножил бы ее на 100 для уверенности что количества будет овер много.
То есть если цена 2500*100 = 250000
А если цена 0 * 100 = 0

Товары без цены имею  количество, 0 товары с ценой количество овер много.
Если говорить о добавлении в начало или в конец, вы всегда можете сделать добавление вот так {+}9999 и это число будет складывается а не склеивается.

Если я конечно правильно понял вашу задачу.

  • +1 1
Надіслати
Поділитися на інших сайтах

31 минуту назад, Rassol2 сказал:

Управления количество авторизацией будет но это уже в следующем цикле по работе с авторизацией.
Теперь нужно много времени что бы попользоваться этим и определить что было удачным что нет, и как дальше развивать этот функционал.
Будет но не скоро.

 

Как я понимаю вам глубоко все равно сколько будет количество, главное что бы много.
Странная задача, я бы просто указал в количество цену. При желении умножил бы ее на 100 для уверенности что количества будет овер много.
То есть если цена 2500*100 = 250000
А если цена 0 * 100 = 0

Товары без цены имею  количество, 0 товары с ценой количество овер много.
Если говорить о добавлении в начало или в конец, вы всегда можете сделать добавление вот так {+}9999 и это число будет складывается а не склеивается.

Если я конечно правильно понял вашу задачу.

 

Спасибо большое за совет. Я слишком сильно зациклился на своей идеи с умножением единицы и даже не подумал про умноженную цену или просто цену в количество. Одна из тех ситуаций когда нужен свежий взгляд ))

Надіслати
Поділитися на інших сайтах


5 минут назад, Shulz80 сказал:

Здравствуйте. Подскажите что делать если донор заблокировал доступ за аномальную активность. Крест на доноре или это временное явление?

Здравствуйте.
Использовать прокси. Что такое прокси можете прочесть в интернете.
Как отобрать прокси в модуле, описано здесь.
https://simplepars.top/index.php?page=note&n=13


Ну и не злоупотреблять.
PS. Кстати некоторые сайты сбрасывают списки заблокированных ip так что периодически бывают разблокировки от донора.

  • +1 1
Надіслати
Поділитися на інших сайтах

7 минут назад, Shulz80 сказал:

Здравствуйте. Подскажите что делать если донор заблокировал доступ за аномальную активность. Крест на доноре или это временное явление?

Не за что.
Рад что помог.

  • +1 1
Надіслати
Поділитися на інших сайтах

Добрый день. Вопрос по проксям.
Предположим я купил пачку проксей. Какие то донор банит.
Как ведет себя парсер в том случае если ссылка обрабатывается проксей, которая забанена, просто переходит к следующей ссылке, или пытается повторить с помощью других прокси из списка?
Спасибо.

Надіслати
Поділитися на інших сайтах


4 минуты назад, Reanimaster сказал:

Добрый день. Вопрос по проксям.
Предположим я купил пачку проксей. Какие то донор банит.
Как ведет себя парсер в том случае если ссылка обрабатывается проксей, которая забанена, просто переходит к следующей ссылке, или пытается повторить с помощью других прокси из списка?
Спасибо.

Насколько я помню, переходит к следующей ссылке и берет следующий прокси.

Время от времени производите проверку прокси и использовать из списка проверенных

Надіслати
Поділитися на інших сайтах


1 час назад, Reanimaster сказал:

помощью других прокси из списка?

Пропускает и переходит к следующей.
 

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:

Пропускает и переходит к следующей.

Я правильно понял, пытается обработать ссылку с помощью первой найденной живой прокси?

Надіслати
Поділитися на інших сайтах


15 минут назад, Reanimaster сказал:

Я правильно понял, пытается обработать ссылку с помощью первой найденной живой прокси?

Нет. Попробовал ссылку и прокси. Не получилось. Бросил, пошел дальше. Ссылка не обработана. Прокси в следующий раз по очереди опять попытается отработать ссылку. Не получилось. Уже две ссылки не обработаны... И так далее. Этот прокси срочно отключить

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.