[Поддержка] SimplePars - Универсальный парсер для ИМ

Aspirinnka1 · 17 травня 2021

Скажите, а вы не думали реализовать в редакторе товаров фильтр по поиску товаров без фото?

Когда много товаров, то очень удобно было бы сразу найти которые спарсились без фото. Особенно когда 2-3К товаров и больше

yurok79 · 17 травня 2021

Здравствуйте, возникла такая ситуация.

Обработчик XML обрабатывает ссылку с авторизацией. Происходит нормально деление на товары.

Но когда пытаюсь эти ссылки загрузить в настройки парсинга получаю ошибку:

#[url]http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml[/url]
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml">here</a>.</p>
<hr>
<address>Apache/2.4.10 (Unix) Server at sportum.ru Port 80</address>
</body></html>

В логах:

2021-05-17 12:39:48| Парсинг : РЕДИРЕКТ | Ваш запрос перенаправлен. Ответ сервера [301] Ссылка входа - http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml Адрес куда перенаправлен запрос | https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml

При чем в браузере данные ссылки открываются нормально. Пробовал настроить границы по открытой в браузере ссылке, но предпросмотр также их не видит.

Подскажите в чем проблема.

Змінено 17 травня 2021 користувачем yurok79

Rassol2 · 17 травня 2021

13 минут назад, Aspirinnka1 сказал:

Скажите, а вы не думали реализовать в редакторе товаров фильтр по поиску товаров без фото?

Когда много товаров, то очень удобно было бы сразу найти которые спарсились без фото. Особенно когда 2-3К товаров и больше

Думал и не один раз. Но это все разбивается когда начинаю уточнять, а что считается товаром без изображений ?

Там где нет изображения в записи базы даннх ?
Там где есть запись но самого фото физически нет на диске ?
Там где есть и то и другое но фото не рабочие ?

Все это в опенкарте будет выглядеть как товар без фото.

Но.
1. Это можно отловить в фильтре.
2. Это можно, но очень дорого по ресурсам.
3. Это невозможно отловить.

Как то так.

Rassol2 · 17 травня 2021

5 минут назад, yurok79 сказал:
Здравствуйте, возникла такая ситуация.

Обработчик XML обрабатывает ссылку с авторизацией. Происходит нормально деление на товары.

Но когда пытаюсь эти ссылки загрузить в настройки парсинга получаю ошибку:
#[url]http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml[/url]
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml">here</a>.</p>
<hr>
<address>Apache/2.4.10 (Unix) Server at sportum.ru Port 80</address>
</body></html>
В логах:
2021-05-17 12:39:48| Парсинг : РЕДИРЕКТ  | Ваш запрос перенаправлен. Ответ сервера [301] Ссылка входа - http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml Адрес куда перенаправлен запрос | https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml
При чем в браузере данные ссылки открываются нормально. Пробовал настроить границы по открытой в браузере ссылке, но предпросмотр также их не видит.

Подскажите в чем проблема.

Ваш сайт сам себя редиректит. Прикольно.
Отключите переход по редиректам в настройках запросов.
Там и такое тоже есть.

У меня кстати все открывается нормально.

Спойлер

yurok79 · 17 травня 2021

1 час назад, Rassol2 сказал:

Отключите переход по редиректам в настройках запросов.

У меня было отключено. Помогло включение)

Rassol2 · 17 травня 2021

Только что, yurok79 сказал:

У меня было отключено. Помогло включение)

Да действительно это я тупанул.
У вас же в логе видно что веб сервер перебрасывает с http на https
А это сообщение в логе можно видеть только в том случаи если вас перенаправляют, а вы указали что переходить запрещено.

Kiyoshi · 17 травня 2021

3 часа назад, nivera5bonn сказал:

Доброго времени суток! А установка и настройка модуля под конкретный сайт Вы сможете сделать? За отдельную плату...

Здравствуйте если вопрос актуален могу рассмотреть ваше предложение по настройке парсера с наполнением

ditex · 18 травня 2021

Добрый день,

Подскажите пожалуйста как правильно спарсить размер упаковки для подстановки в поля Длина/Ширина/Высота, если он на странице выдаётся вот так:

<tr itemprop="additionalProperty" itemscope
                                                                            itemtype="http://schema.org/PropertyValue">
                                                                            <td class="char_name">
                                                                                                                                                                <div
                                                                                    class="props_item ">
                                                                                    <span
                                                                                        itemprop="name">Размер упаковки</span>
                                                                                </div>
                                                                            </td>
                                                                            <td class="char_value">
                                                                        <span itemprop="value">
                                                                                                                                                            длина 157 см, ширина 9 см, высота 141 см.                                                                                                                                                    </span>
                                                                            </td>
                                                                        </tr>

Сначала думал через вложенные границы, но они же только для повторяющихся и теперь не понимаю, как это сделать.

Змінено 18 травня 2021 користувачем ditex

Rassol2 · 18 травня 2021

16 минут назад, ditex сказал:

Добрый день,

Подскажите пожалуйста как правильно спарсить размер упаковки для подстановки в поля Длина/Ширина/Высота, если он на странице выдаётся вот так:



<tr itemprop="additionalProperty" itemscope
                                                                            itemtype="http://schema.org/PropertyValue">
                                                                            <td class="char_name">
                                                                                                                                                                <div
                                                                                    class="props_item ">
                                                                                    <span
                                                                                        itemprop="name">Размер упаковки</span>
                                                                                </div>
                                                                            </td>
                                                                            <td class="char_value">
                                                                        <span itemprop="value">
                                                                                                                                                            длина 157 см, ширина 9 см, высота 141 см.                                                                                                                                                    </span>
                                                                            </td>
                                                                        </tr>

Сначала думал через вложенные границы, но они же только для повторяющихся и теперь не понимаю, как это сделать.

Здравствуйте.
Все просто.

Создаете 3 границы париснга которые будут одинаково получать текст.
длина 157 см, ширина 9 см, высота 141 см.
Примеряете правила поиск замены
{reg[#^(.*?),(.*?),(.*)#]}|$2

Где $2 порядковый номер.
$1 - длина 157 см

$2 - ширина 9 см

$3 - высота 141 см.

Ну а дальше добавляете правила что бы очистить цифры от текста, если нужно.
{reg[#[^0-9.,]#]}|

Пример.

Спойлер

Rassol2 · 18 травня 2021

17 минут назад, ditex сказал:

Сначала думал через вложенные границы, но они же только для повторяющихся и теперь не понимаю, как это сделать.

Кстати эта мысль является заблуждением.
Они не только, для повторений.
Там можно воспользоваться вот пропуском вхождения. И если указать
0-1 то модуль пропустит 0 вхождений и везмет 1. А это имитация обычной границы париснга.

(PS. По сути так и есть внутри кода модуля, когда вы используете обычную границу.)
Об этом я рассказываю здесь

Спойлер

Так что эту задачу вы можете так же решить и через повторяющиеся границы парсинга.
Это тоже возможно.

Rassol2 · 18 травня 2021

11 минут назад, ditex сказал:

Добрый день,

Подскажите пожалуйста как правильно спарсить размер упаковки для подстановки в поля Длина/Ширина/Высота, если он на странице выдаётся вот так:

Ну и рас пошла такая пляска.
Эту задачу можно решить и третим путем, непосредственно через настройку границ париснга. Если у вас версия модуля свежая.

Примерно так.

Спойлер

Да тут получается эту задачу можно решить как минимум тремя способами, и все зависит от того что вам удобнее в данный момент.
Хотя я честно говоря больше поклонник первого метода.

ditex · 18 травня 2021

Спасибо большое.

kostya242 · 18 травня 2021

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве идентификатора название товара оно должно быть абсолютно идентичным на обоих сайтах?

Будет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Спойлер

Rassol2 · 18 травня 2021

6 минут назад, kostya242 сказал:

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве идентификатора название товара оно должно быть абсолютно идентичным на обоих сайтах?

Будет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Скрыть контент

Конечно не будет.

Что общего между этими строками ?

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Общее у них только то что обе строки используют русские и английские буквы + цифры, все остальное в строках разное.

Rassol2 · 18 травня 2021

@kostya242 Относитесь к идентификатору как к мобильному номеру телефона.

Вот возмем номер телефона
+10457153746

+10457153764

Вы же позвонив на первый номер телефона, а затем на второй. Попадете совершенно к разным людям.
Но при это оба телефона используют одинаковые цифры. В некоторых местах они в том же порядке.
Но это совершенно разные абоненты.

то же самое и идентификатор.
Даже вот это разные идентификаторы.
Rassol2 != rassol2 - все это разные товары.

partshez · 18 травня 2021

29 минут назад, kostya242 сказал:

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве идентификатора название товара оно должно быть абсолютно идентичным на обоих сайтах?

Будет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Скрыть контент

FK-4942 поместитьв поле upc оба проекта и использовать в качестве идентификатора

amd4 · 19 травня 2021

Доброго дня! Где то помню читал в этой ветке о том что шла речь о переводе описания , если парсить с иностранных сайтов.

Точно не помню о чем шла речь но точно об этом разговор был. Напомните пожалуйста как вообще из такого положения выйти и перевести описание.

partshez · 19 травня 2021

1 час назад, amd4 сказал:

Доброго дня! Где то помню читал в этой ветке о том что шла речь о переводе описания , если парсить с иностранных сайтов.

Точно не помню о чем шла речь но точно об этом разговор был. Напомните пожалуйста как вообще из такого положения выйти и перевести описание.

Напишите в личку. Поделюсь своим опытом

Dmitry76 · 19 травня 2021

Добрый день.
Подскажите, хочу проверить прокси, что за "проверочный текст" нужно вводить в поле?

Rassol2 · 19 травня 2021

11 минут назад, Dmitry76 сказал:

Добрый день.
Подскажите, хочу проверить прокси, что за "проверочный текст" нужно вводить в поле?

любой текст который есть на странице донора, по ссылке что вы записали здесь

Спойлер

Та как прокси могут подменять страницы. И отдавать не ту страницу которую вы парсите, это нужно что бы убедится в правильной работе прокси.
И что именно страницу донора вы получили в итоге.

Dmitry76 · 19 травня 2021

Спасибо.
Подскажите, что-то прокси не нравится, в проверенные не заходят. Хотя прокси дорогие, подходят и для авито и для ВК.
Еще версию протокола не знаю какую ставить в настройках.

Перенес сайт на новый сервер и теперь что-то не спарсить никак, то редиректы какие-то, то еще что-то. Ошибки 47, 28, 100 в логах.

Rassol2 · 19 травня 2021

Спасибо.
Подскажите, что-то прокси не нравится, в проверенные не заходят. Хотя прокси дорогие, подходят и для авито и для ВК.
Еще версию протокола не знаю какую ставить в настройках.

Перенес сайт на новый сервер и теперь что-то не спарсить никак, то редиректы какие-то, то еще что-то. Ошибки 47, 28, 100 в логах.

Если на локальном сервере работает а на хостинге нет то скорее всего закрыты порты на хостинге.
Так уж случилось а что прокси работать через нестандартные порты а хостинге как правило закрывает все нестандартные порты.

Отправлено с телефона через Tapatalk

Dmitry76 · 19 травня 2021

3 минуты назад, Rassol2 сказал:

Если на локальном сервере работает а на хостинге нет то скорее всего закрыты порты на хостинге.
Так уж случилось а что прокси работать через нестандартные порты а хостинге как правило закрывает все нестандартные порты.

Отправлено с телефона через Tapatalk

все, этот вопрос снят. Добавился один из прокси в доверенные - сразу все парсится, НО...
В логах все хорошо, а вот на сайт не закачиваются изображения, кроме главного фото. Хотя в логах не вижу никаких и намеков на ошибки. Формат Jpeg.

Rassol2 · 19 травня 2021

1 минуту назад, Dmitry76 сказал:

все, этот вопрос снят. Добавился один из прокси в доверенные - сразу все парсится, НО...
В логах все хорошо, а вот на сайт не закачиваются изображения, кроме главного фото. Хотя в логах не вижу никаких и намеков на ошибки. Формат Jpeg.

значит где то не там смотрите.
Заходите в товар и смотрите что там записано, что за фото, есть ли оно в фтп.

Так как модуль если пишет что скачал и ошибок нет, то он это сделал. А если не работает то это уже вопрос в плоскости вывода изображений.

Dmitry76 · 19 травня 2021

11 минут назад, Rassol2 сказал:

значит где то не там смотрите.
Заходите в товар и смотрите что там записано, что за фото, есть ли оно в фтп.

Так как модуль если пишет что скачал и ошибок нет, то он это сделал. А если не работает то это уже вопрос в плоскости вывода изображений.

понял, спасибо

Вхід

[Поддержка] SimplePars - Универсальный парсер для ИМ

Recommended Posts

Надіслати

Поділитися на інших сайтах

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2

Rassol2

Rassol2

Posted Images

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Схожі публікації

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information