[Поддержка] SimplePars - Универсальный парсер для ИМ

Fantazm · 5 квітня 2021

На локалке всё,

Инспектором по картинке бах, получаем (код с локалки) парсинг

Змінено 5 квітня 2021 користувачем Fantazm

Fantazm · 5 квітня 2021

3 минуты назад, Rassol2 сказал:

Покажите скриншот этого участка у вас в описании, в инспектре.

Rassol2 · 5 квітня 2021

@Fantazm Вот теперь все становится интереснее.
Видно что доменное имя не меняется на ваще.
И тут 2 варианта, если настройки указаны верно. И проблема чисто в попавшихся пробелах то можно через поиск замену вырезать эти пробелы.

К примеру заменить в границе парсинга описания с изображениям.
src=" |src="
И заменить.
" class="|" class="
тем самым в исходном тексте на парсинг.

Вот здесь.

Спойлер

Мы удалим эти пробелы.

panasys · 5 квітня 2021

Ребята, чет я туплю.... Подскажите как настроить вывод атрибутов в СSV - сверху название атрибута, а под ним значения. (Для ИМ все нормально получается)

Спойлер

Rassol2 · 5 квітня 2021

1 минуту назад, panasys сказал:

Ребята, чет я туплю.... Подскажите как настроить вывод атрибутов в СSV - сверху название атрибута, а под ним значения. (Для ИМ все нормально получается)

Показать контент

Так не выйдет сделать.
Объясняю почему.
допустим вы парсите 100 товаров в первом товаре 3 атрибута, а в сотом к примеру их двесте.
Как модулю правильно зарезервировать колонки под каждый атрибут. При том что неизвестно сколько атрибутов будет дальше.
неизвестно вообще будет ли парсится сотая строка или вы остановитесь на первой.

А если после атрибутов вы хотите вывести цену. В какой колонке ее записать ? ведь неизвестно сколько их будет дальше.
Я бы мог написать код который все это решил бы, но тут есть главная проблема.
Для решения такой задачи нужно в памяти держать информацию о всех колонках прайса а это занимает много оперативной памяти, чем больше прайс тем больше нужно памяти. А на хостингах иее выдают мало.

У меня есть один концепт который протестирован для этой реализации, но пока что он в долгом ящике.

panasys · 5 квітня 2021

У меня не большой прайс, я делаю парсинг по каждой категории отдельно, и атрибутов в товаре не больше 20, со всеми полями нормально а вот с атрибутами затык, Может можно средствами OpenOffice решить проблему?

Rassol2 · 5 квітня 2021

1 минуту назад, panasys сказал:

У меня не большой прайс, я делаю парсинг по каждой категории отдельно, и атрибутов в товаре не больше 20, со всеми полями нормально а вот с атрибутами затык, Может можно средствами OpenOffice решить проблему?

может но я не силен в формулах экселя.

todaymars · 6 квітня 2021

Доброе утро, подскажите, в чем может быть проблема. На предпросмотре ссылки все данные есть, парсинг в ИМ товара проходит без ошибок, но товар не создается.

Предпросмотр:

Спойлер

Лог:

Спойлер

Результат:

Спойлер

partshez · 6 квітня 2021

25 минут назад, todaymars сказал:

Доброе утро, подскажите, в чем может быть проблема. На предпросмотре ссылки все данные есть, парсинг в ИМ товара проходит без ошибок, но товар не создается.

Предпросмотр:

Скрыть контент

Лог:

Скрыть контент

2021-04-06 06:18:02| Парсинг : УСПЕШНЫЙ ЗАПРОС | Код ответа [200] Ссылка | https://totobi.com.ua/podorozh-ta-vdpochinok/termosi-ta-termokruzhki/termokruzhka-alaska-tm-discover/
2021-04-06 06:18:02| ->ПРОИЗВОДИТЕЛЬ СОЗДАН : ID=12 Название = Discover
2021-04-06 06:18:02| ->[SEO_URL Создан] : manufacturer_id=12 | SEO_URL= discover
2021-04-06 06:18:02| ->[ДОБАВЛЕН ТОВАР] ID = 55 | Идентификатор model = [55]
2021-04-06 06:18:02| -->Данные | Код товара [model] = 55
2021-04-06 06:18:02| -->Данные | Артикул [sku] = 2506-01
2021-04-06 06:18:02| -->Данные | Название = Термокружка Alaska, TM Discover
2021-04-06 06:18:02| -->Данные | Количество = 6
2021-04-06 06:18:02| -->Данные | Производиетль id = 12
2021-04-06 06:18:02| -->Данные | Цена = 397
2021-04-06 06:18:02| -->Данные | UPС = 2506-01
2021-04-06 06:18:02| -->Данные | EAN =
2021-04-06 06:18:02| -->Данные | JAN =
2021-04-06 06:18:02| -->Данные | ISBN =
2021-04-06 06:18:02| -->Данные | MPN =
2021-04-06 06:18:02| -->Данные | Location = Тотобі
2021-04-06 06:18:02| -->Данные | Минимальный заказ = 1
2021-04-06 06:18:02| -->Данные | Вычитать со склада = 1
2021-04-06 06:18:02| -->Данные | Длина = 0
2021-04-06 06:18:02| -->Данные | Ширина = 0
2021-04-06 06:18:02| -->Данные | Высота = 0
2021-04-06 06:18:02| -->Данные | Единица длины = 1
2021-04-06 06:18:02| -->Данные | Вес = 0
2021-04-06 06:18:02| -->Данные | Единица веса = 1
2021-04-06 06:18:02| -->Данные | Сортировка = 0
2021-04-06 06:18:02| -->Данные | Статус = 1
2021-04-06 06:18:02| -->Данные | Закупочная цена = 0
2021-04-06 06:18:02| -->Данные | Описание = Добавлено (описание в лог не пишется)
2021-04-06 06:18:02| -->Данные | Теги товара =
2021-04-06 06:18:02| -->Данные | Категории = 0,
2021-04-06 06:18:02| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://totobi.com.ua/images/thumbnails/500/470/detailed/6/3c405eb6-ab54-11e8-80d1-000c295c9c78_fe5dee6e-0a1b-11ea-83e3-000c29fc72a4..jpg
2021-04-06 06:18:02| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://totobi.com.ua/images/thumbnails/500/470/detailed/6/3c405eb6-ab54-11e8-80d1-000c295c9c78_b5036836-d927-11e9-83df-000c29fc72a4..jpg
2021-04-06 06:18:02| ->[SEO_URL Создан] : product_id=55 | SEO_URL= termokrugka-alaska-tm-discover

Результат:

Показать контент

Посмотрите в Редакторе товаров проекта.

И дайте настройки во вложении

Проверьте права для записи в папках на сервере

Змінено 6 квітня 2021 користувачем partshez

todaymars · 6 квітня 2021

47 минут назад, partshez сказал:

Посмотрите в Редакторе товаров проекта.

И дайте настройки во вложении

Проверьте права для записи в папках на сервере

Редактор тоже пустой:

Спойлер

47 минут назад, partshez сказал:

И дайте настройки во вложении

Настройки чего?

По правам для записи проблем нет:

В БД товар создался:

Спойлер

Rassol2 · 6 квітня 2021

3 минуты назад, todaymars сказал:

В БД товар создался:

Здравствуйте.
убедитесь что товар создается в той лоакализации в которой работает админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переключитесь на укр.
То есть что бы увидеть товар в админке, в опенкарт нужно что бы товар был заполнен в той локализации в которой работает админка.
вот такая особенность движка.

partshez · 6 квітня 2021

7 минут назад, Rassol2 сказал:

Здравствуйте.
убедитесь что товар создается в той лоакализации в которой работает админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переключитесь на укр.
То есть что бы увидеть товар в админке, в опенкарт нужно что бы товар был заполнен в той локализации в которой работает админка.
вот такая особенность движка.

Точно! Сталкивался с подобным явлением. Выставил парсинг в оба языка.. в моем случае

Змінено 6 квітня 2021 користувачем partshez

todaymars · 6 квітня 2021

19 минут назад, Rassol2 сказал:

Здравствуйте.
убедитесь что товар создается в той лоакализации в которой работает админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переключитесь на укр.
То есть что бы увидеть товар в админке, в опенкарт нужно что бы товар был заполнен в той локализации в которой работает админка.
вот такая особенность движка.

Да, действительно так

Reanimaster · 6 квітня 2021

Всем добрый день. Назрела идея. Сейчас мучию сайт. 55к товаров. Г*Битрикс. Разные шаблоны верстки у товаров. Соответственно делаю несколько заходов. Так вот. Было бы отлично сделать возможность включить удаление ссылок успешно загруженных/обновленных товаров.
Ибо по несколько раз прогоняю все 55к ссылок. Хотя 13500 уже загружено по первому шаблону.

Rassol2 · 6 квітня 2021

8 минут назад, Reanimaster сказал:

Всем добрый день. Назрела идея. Сейчас мучию сайт. 55к товаров. Г*Битрикс. Разные шаблоны верстки у товаров. Соответственно делаю несколько заходов. Так вот. Было бы отлично сделать возможность включить удаление ссылок успешно загруженных/обновленных товаров.
Ибо по несколько раз прогоняю все 55к ссылок. Хотя 13500 уже загружено по первому шаблону.

Нет такого не будет.
Это уже автоматизация во вред.

farshmac · 6 квітня 2021

Подскажите пожалуйста.

Пример ссылки

Парсинг : ОШИБКА ответа  | Код ответа = 23

Предпросмотр, настройка, все работает хорошо. Но при любом парсинге (в кеш, в csv) ответ 23.

С разных сайтов (хостингов) пробовал.

Через прокси:

Прокси = [91.206.148.243:59175] | Код ответа = 56 | Текст ответа = Proxy CONNECT aborted

В чем может быть проблема, куда копать?

Спасибо.

Змінено 6 квітня 2021 користувачем farshmac

Rassol2 · 6 квітня 2021

9 минут назад, farshmac сказал:
Подскажите пожалуйста.

Пример ссылки
Парсинг : ОШИБКА ответа  | Код ответа = 23
Предпросмотр, настройка, все работает хорошо. Но при любом парсинге (в кеш, в csv) ответ 23.

С разных сайтов (хостингов) пробовал.

Через прокси:
Прокси = [91.206.148.243:59175] | Код ответа = 56 | Текст ответа = Proxy CONNECT aborted
В чем может быть проблема, куда копать?

Спасибо.

Функция одна и та же.
что при парсинге в пред просмотр что в все остальные.
Запрос отравляется один и тот же.
Кроме случаев когда в пред просмотре данные берутся из кеша.

farshmac · 6 квітня 2021

7 минут назад, Rassol2 сказал:

Функция одна и та же.
что при парсинге в пред просмотр что в все остальные.
Запрос отравляется один и тот же.
Кроме случаев когда в пред просмотре данные берутся из кеша.

От этого не легче))) Все действия на скринах проделаны только что. Не получается у меня спарсить. А куда копать и не знаю.

Спойлер

Змінено 6 квітня 2021 користувачем farshmac

Rassol2 · 6 квітня 2021

2 минуты назад, farshmac сказал:

От этого не легче))) Все действия на скринах проделаны только что. Не получается у меня спарсить. А куда копать и не знаю.

Похоже на магию.
но есть подозрения. Сейчас напишу тест.
Подозрение в том что есть когда сайт отдает ошибку 23 при этом он и код отдает.

Rassol2 · 6 квітня 2021

@farshmac curl.php.zip
закиньте этот файл в корень сайта и выполните.
То что увидите покажите на скриншоте.

Выполнять так.
Ваш_сайт/curl.php

farshmac · 6 квітня 2021

2 минуты назад, Rassol2 сказал:

@farshmac curl.php.zip
закиньте этот файл в корень сайта и выполните.
То что увидите покажите на скриншоте.

Выполнять так.
Ваш_сайт/curl.php

Спойлер


Array
(
    [url] => https://dantexgroup.ru/catalog/kaminy/elektrokaminy/ochagi/klassicheskie/dimplex/ochag-atherton/
    [content_type] => text/html; charset=UTF-8
    [http_code] => 200
    [header_size] => 646
    [request_size] => 280
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 0.284097
    [namelookup_time] => 0.000138
    [connect_time] => 0.002233
    [pretransfer_time] => 0.025885
    [size_upload] => 0
    [size_download] => 20498
    [speed_download] => 72176
    [speed_upload] => 0
    [download_content_length] => -1
    [upload_content_length] => -1
    [starttransfer_time] => 0.283213
    [redirect_time] => 0
    [redirect_url] => 
    [primary_ip] => 185.63.190.79
    [certinfo] => Array
        (
        )

    [primary_port] => 443
    [local_ip] => 37.140.192.213
    [local_port] => 41046
    [http_version] => 3
    [protocol] => 2
    [ssl_verifyresult] => 0
    [scheme] => HTTPS
    [appconnect_time_us] => 24924
    [connect_time_us] => 2233
    [namelookup_time_us] => 138
    [pretransfer_time_us] => 25885
    [redirect_time_us] => 0
    [starttransfer_time_us] => 283213
    [total_time_us] => 284097
    [errno] => 23
    [errmsg] => 
    [content] => 
)

Змінено 6 квітня 2021 користувачем farshmac

Rassol2 · 6 квітня 2021

@farshmac странная ситуация. Я так понимаю вы еще чере прокси работает.
А это полить не хочется.
Если дадите доступ к фтп и алдминке я посмотрю у вас.

Но даже по запросу видно уже что косяк с выводом этой ошибки 23 в курле. Хотя по сути запрос выполнен и ответ от донора 200
Что то не так в самой библиотеке curl подобных случаев за все время было около 3-4 и в каждом можно было заглушить этот ответ.

Reanimaster · 6 квітня 2021

5 часов назад, Rassol2 сказал:

Это уже автоматизация во вред.

Прошу прощения, могу поинтересоваться в чем вред? Я же не предлагаю сделать функцию обязательной)

Rassol2 · 6 квітня 2021

Только что, Reanimaster сказал:

Прошу прощения, могу поинтересоваться в чем вред? Я же не предлагаю сделать функцию обязательной)

тем не мение дальнейшая разработка модуля должна подразумевать возможность такого подход.
так же это нужно внедрять в крон.

Есть такое негласное правило 5 на 95 реализовывать то что пригодится 95 процентам пользователей. И откладывать то что нужно 5%
Поймите правильно внедрения таких тонких вещей требует много сил, и в дальнейшем усложняет разработку. Как и любая другая функция.
Но скольким это нужно ....

А второй момент я уже вижу кучу сообщений "Куда делись ссылки!!!" :grin:

И самое не смешное, что ко мне приходят до сих пор такие сообщения по поводу товаров. Так как люди составляют правила по удалению товара подключают их по крону.
Проделывают колоссальную осознанную работу, а потом приходится разбираться.

Так что нет, я точно не готов реализовывать возможность удаления ссылок после того как отработают в автоматическом режиме.

kostya242 · 6 квітня 2021

При добавлении товаров проставляется статус Нет в наличии:

Спойлер

Это из-за такой настройки?

Спойлер

При этом количество парсится отдельно и оно выше 0.

Вхід

[Поддержка] SimplePars - Универсальный парсер для ИМ

Recommended Posts

Надіслати

Поділитися на інших сайтах

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2

Rassol2

Rassol2

Posted Images

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Схожі публікації

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information