Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

5 часов назад, Axelenz сказал:

Уважаемый автор, подскажите, пожалуйста.

Возникла необходимость увеличить в базе в таблице oc_pars_replace размер поля arithm varchar(256) до 512 (ну не влезает то, что необходимо расписать клиенту по наценкам). Этого изменения достаточно или нужно ещё куда заглянуть ?

Просьба увеличить этот параметр в следующих релизах до размера 512... (

Здравствуйте.
Да достаточно, модуль контролирует размер только тех таблиц что могут быть использованы в роли идентификатора, остальные размеры полей он не контролирует, и увеличив их в базе вы увеличиваете возможность записи.

 

Не обешаю что сделаю в следующих релизах. Когда вернусь к работе над модулем все буду с нуля собирать.
Все пожелания и хотелки. Пока что так.

Надіслати
Поділитися на інших сайтах

Вопрос по выдергиванию ссылок из XML при сборе ссылок
image.png.6bffe491e1ad2ff923be51f72b3dfd6e.png

 

Суть вот в чём!

1) при обработке раздела каталога на который есть XML  - работает и выгружает все ссылки   
2) при обработке всего каталога на который также есть отдельный XML  - не работает по выгрузке
может потому что файл очень большой?  в нем 136000 строк

Спойлер

image.png.df9b0914ef92e6ee2ebc9d25ada85f57.png

.

настройки все идентичны

Надіслати
Поділитися на інших сайтах


5 часов назад, travkovs сказал:

2) при обработке всего каталога на который также есть отдельный XML  - не работает по выгрузке
может потому что файл очень большой?  в нем 136000 строк

На этот вопрос как всегда может ответить лог модуля. Если там есть сообщение что модуль не успел скачать файл за 25 сек тогда да, может быт  такая проблема. А В данном случаи еше вам стоит посмотреть тег внутри которого заключена ссылка.
Как вы можете наблюдать из названия Метода, тег должен быть <URL>ссылка</URL>

Надіслати
Поділитися на інших сайтах

Здравствуйте. Понимаю проблему мультиязычного парсинга. Вижу несколько решений:

1. Переводить характеристики и атрибуты модулем перевода текста через платные Api Google или Yandex. (ежемесячные платежи за Апи смущают).

2. Перевести ручками категории, а вот атрибуты и их значения попробовать перевести модулями с функцией поиск/замена.

 

Поделитесь опытом как кто решил эту проблему? Может кто подскажет свой вариант или как он делает. Буду очень благодарен. Любая информация будет полезная. Если найдем хорошее решение, может автор добавит в FAQ и облегчит жизнь многим.  Спасибо большое

 

  • +1 1
Надіслати
Поділитися на інших сайтах


16 часов назад, Rassol2 сказал:

На этот вопрос как всегда может ответить лог модуля. Если там есть сообщение что модуль не успел скачать файл за 25 сек тогда да, может быт  такая проблема. А В данном случаи еше вам стоит посмотреть тег внутри которого заключена ссылка.
Как вы можете наблюдать из названия Метода, тег должен быть <URL>ссылка</URL>

.

Код ответа = 28...  Что это означает?

.
 

Спойлер

image.thumb.png.f1005689657a4f2bab98027d4030618b.png

.

С тегом <URL> всё впорядке...   он выглядит так <DETAIL_PAGE_URL> 
ранее мы парсер перенастроили чтоб он работал на этот вид тега
 

Спойлер

image.png.06cf3e6070e7f5a7e1296182b46ec776.png

.

Думаю проблема как раз с временем обработки... как это время можно увеличить чтоб он успел всё обработать?

Надіслати
Поділитися на інших сайтах


Добрый вечер, подскажите есть ли возможность парсить старницы с автоматическим открытием следующей порции товаров вместо страниц пагинации?
Как например на этой странице:

Спойлер

https://audiofoto.ru/naruchnye-chasy/korejskie/chasy-essence/essence-zhenskie/

 

Надіслати
Поділитися на інших сайтах


4 минуты назад, Kiyoshi сказал:

Вряд ли если выключить js там пусто попробуйте посмотреть через карту сайта.

Поправка можно добавьте ?page= в Шаблон ссылок очереди

 

Надіслати
Поділитися на інших сайтах


Привет, я из Болгарии и плохо говорю по-русски, у меня есть вопрос Мой донор https://www.bfcflyfishing.com/bg/home/789-Hends-Grall-010mm--Red-307.html  Я не могу вынести хлебные крошки. Текст начала парсинга <div class="breadcrumb clearfix"> Текст конца парсинга </div> Я все вижу хлебные крошки.jpg но парсер не все видит simplepars.jpg  Парсер видит только конец кода   <span class="navigation_page">Hends Grall 0.10mm - Червен 307</span> Не могу видеть хлебные крошки Материали>Конци>Hends Grall 0.10>Hends Grall 0.10mm - Червен 307 Прошу вашей помощи. 

хлебные крошки.jpg

simplepars.jpg

Надіслати
Поділитися на інших сайтах


В 08.12.2021 в 23:18, Denkof сказал:

Если разлогиниться и снова залогиниться, даже с повторным вводом пароля - данные rsa остаются идентичны. Но если сбросить кеш или зайти с другого браузера или в режиме инкогнито, то данные уже другие.

Спасибо всем, кто откликнулся на мой вопрос и помогал в решении задачи. Решение все же нашлось, во всяком случае пока что работает.

Решил отписаться о решении, может кому-то будет полезно.

Задача стояла парсить текущие цены с донора и лить их в базу другого магазина с наценкой. Сайт для сбора цены требовал авторизацию.
Проблема заключалась в том, что используя авторизацию методом POST, модуль авторизовался только 12 часов после чего авторизация слетала. Пока пытался решить задачу выяснилось такое:
- при смене браузера или сбросе кеша менялось значение rsa_data в заголовках запроса

- при каждой новой авторизации менялись куки

- авторизация методом POST срабатывала, лишь тогда, когда в разделе "настройка запросов" были добавлены куки.
- автоматическая авторизация работала только 12 часов.

- с какой-то периодичностью менялось значение ssid

Проблем была решена следующим образом: отследил время активной сессии, для этого залогинился в браузере и оставим открытую вкладу периодически поглядывая разлогинело меня или нет. Спустя 12 часов браузер написал "время сессии завершено из-за отсутствия активности ...." и еще чего-то там. Т.е. меня разлогинело потому что браузер "не проявил активности". Соответственно нужно было всего лишь проявить активность. Т.к. задача моего проекта заключается в актуализации цены - я сменил частоту обновления и  добавил задачу в планировщик с периодическим запуском через 8 часов. т.е.  с таким интервалом, что бы сессия никогда не истекла и всегда оставалась активной.

Не знаю на сколько рабочий вариант и долго ли проживет такое решение, но пока что 5 дней полет нормальный.

  • +1 2
Надіслати
Поділитися на інших сайтах


1 час назад, xandr62 сказал:

Добрый вечер! Нужен исполнитель для настройки парсинга с нескольких сайтов и дальнейшей загрузки на мой сайт.  

Здравствуйте обратитесь к @Axelenz  и @partshez возможно они смогут помочь пока я занят.

  • +1 2
Надіслати
Поділитися на інших сайтах


10 минут назад, Kiyoshi сказал:

Здравствуйте обратитесь к @Axelenz  и @partshez возможно они смогут помочь пока я занят.

Написал ему в личку. Пока молчит

Надіслати
Поділитися на інших сайтах


Добрый день. Может кто подсказать, как собрать ссылки с https://schneider-samara.ru/. К товару не привязаться тк не содержит ни .html ни одинакового обозначения в url. Пробовал указать глубину ссылки 4-5, но на 4 есть как ссылки на товар, так и категории, которые не нужны. Единственный вижу выход - собирать в Шаблон ссылок на товар все категории ..../товар, но это трудоемко, их много..

Надіслати
Поділитися на інших сайтах


2 часа назад, Mixxxa163 сказал:

Добрый день. Может кто подсказать, как собрать ссылки с https://schneider-samara.ru/. К товару не привязаться тк не содержит ни .html ни одинакового обозначения в url. Пробовал указать глубину ссылки 4-5, но на 4 есть как ссылки на товар, так и категории, которые не нужны. Единственный вижу выход - собирать в Шаблон ссылок на товар все категории ..../товар, но это трудоемко, их много..

Пробуйте с карт сайта собирать.

https://schneider-samara.ru/sitemap.xml

  • +1 1
Надіслати
Поділитися на інших сайтах


Добрый день.
Пролистал бегло ветку, не нашёл ответа на свой возникший вопрос....
Выскакивает следующая ошибка, при парсинге.
" Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - https:..............."
Можно попросить совета, куда ковырять, чтоб данная ошибка "исчезла"? 
Заранее благодарен.

Змінено користувачем werterboy
Надіслати
Поділитися на інших сайтах


8 часов назад, werterboy сказал:

Добрый день.
Пролистал бегло ветку, не нашёл ответа на свой возникший вопрос....
Выскакивает следующая ошибка, при парсинге.
" Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - https:..............."
Можно попросить совета, куда ковырять, чтоб данная ошибка "исчезла"? 
Заранее благодарен.

Здравствуйте.

Пришлите мне в ЛС номер заказа и где вы покупали модуль.
так же ссылку на донора о котором идет речь и я проверю.

Надіслати
Поділитися на інших сайтах

1 минуту назад, Zetx сказал:

подскажите, можно ли как то задействовать в фильтре Редактора товаров акцеонную цену? сейчас там доступна только обычная цена

Нет в редакторе товаров нет возможности работать с акционными ценами.

Надіслати
Поділитися на інших сайтах

Подскажите по ошибке, вижу что ругается на отсутствие таблицы. Inst.php повторно запускал.

 

Fatal error: Uncaught exception 'Exception' with message 'Error: Table 'globa1_new.oc_simplepars' doesn't exist<br />Error No: 1146<br />SELECT simplepars_id AS id FROM oc_simplepars ORDER BY simplepars_id DESC LIMIT 1' in /home/global81/*****.com/www/system/library/db/mysqli.php:40 Stack trace: #0 

/home/global81/*****.com/www/system/storage/modification/system/library/db.php(205): DB\MySQLi->query('SELECT simplepa...', Array) #1 

/home/global81/*****.com/www/system/storage/modification/admin/model/setting/setting.php(5): DB->query('SELECT simplepa...') #2 

[internal function]: ModelSettingSetting->getLastId('simplepars', 'simplepars') #3 
/home/global81/*****.com/www/system/storage/modification/system/engine/loader.php(207): call_user_func_array(Array, Array) #4 

[internal function]: Loader->{closure}(Array, Array) #5 /home/global81/******.com/www/system/engine/proxy.php(25): call_user_func_array(Object(Closure), Array) #6 /home/global81/*******.com/www/system/storage/modi in /home/global81/*******.com/www/system/library/db/mysqli.php on line 40

 

Надіслати
Поділитися на інших сайтах


1 минуту назад, yurok79 сказал:

Подскажите по ошибке, вижу что ругается на отсутствие таблицы. Inst.php повторно запускал.

Здравствуйте.
Определяйте кто ругается и исправляйте. 

В моем модуле нет такой таблицы.  Для работы моего модуля она не нужна. Так что это кто то сторонний. 
Ну или можете создать эту таблицу что бы тот кто запрашивал не ругался.  

Надіслати
Поділитися на інших сайтах

Требуется помощь, бьюсь уже неделю. Похожая тема была, но был затронута не с той стороны. Про изображения WebP

Сайт донор, ссылка на страницу парсинга:

https://wallytally.ru/catalog/product/stenka-khit-leyden-mdf/

 

это страница после парсинга

https://mebeli-shop.ru/stenki/stenka-hit-lejden-mdf

 

 

Все настроил, в предпросмотре изображения отображаются, при парсинге закачиваются на сервер. Но не отображаются !!! Пишет изображение не может быть загружено.

Перерыв все увидел что ссылка на изображение не совпадает с адресом картинки на хостинге:

ссылка с сайта на картинку после парсинга

https://mebeli-shop.ru/home/httpd/vhosts/mebeli-shop.ru/httpdocs/image/catalog/product/3/1m5f6s2f9tti4tf74nwc77zdw5rbm1lz.webp

 

реальный адрес куда попадает картинка после парсинга

 

https://mebeli-shop.ru/image/catalog/product/3/1m5f6s2f9tti4tf74nwc77zdw5rbm1lz.webp

 

Как я понял при парсинге присваивается не правильный адрес ссылки на изображение.

Не могу понять это защита от парсинга или проблема изображений webp. Может кто подскажет как решить эту проблему.

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.