[Поддержка] SimplePars - Універсальний парсер для ІМ

[CtFelix]

Всё равно лыжи не едут

[Rassol2]

  В 08.01.2020 в 14:50, CtFelix сказав:

Всё равно лыжи не едут

Expand  

быть не может скиньте настройки проекта. И в какой границе нужно смотреть. И я вам сделаю.

[Rassol2]

Первое удаляем табуляцию, грубо копируя ее из окна исходного текста и после ставим вертикальную черту.
Второе правило удаляем все переносы строк, они вроде как не нужны в атрибутах.
И все работает как надо.

  Показати вміст

 

[CtFelix]

Блин, я же знал, что проблема в табах, но не получалось его выделить в браузере.....

Сейчас заработало, спасибо!

Змінено 8 січня 2020 користувачем CtFelix

[BJIAD]

Добрый день. 

 

С али работает данный модуль?

[Rassol2]

  В 11.01.2020 в 15:59, BJIAD сказав:

Добрый день. 

 

С али работает данный модуль?

Expand  

И да и нет.
Парсить можно ровно до того момента когда али начнет вас банить за аномальную активность.
Плюс много сложностей при парсинге кода али, они там все так завертели что легче вручную.

Мое мнение за али экспресс я бы не брался. И свой модуль я бы не рекомендовал для али. Они все же не хотят что бы их сайт парсили. Это факт.

[rozario888]

У меня какая-то проблема со спарсенным и выгруженным файлом. Максимум два раза откроется, потом критичные ошибки и хана файлу. Только с этим такое.

Было у кого?

 

[Rassol2]

  В 12.01.2020 в 09:44, rozario888 сказав:

У меня какая-то проблема со спарсенным и выгруженным файлом. Максимум два раза откроется, потом критичные ошибки и хана файлу. Только с этим такое.

Было у кого?

 

 

  Показати вміст

 

Expand  

Здравствуйте.
У меня есть странный вопрос к вам. А с какой стороны это относится к модулю SimplePars ?
Если :

На скриншоте видно что вы пытаетесь открыть файл формата xml хотя модуль создает формат csv
Второе, проблема то в экселе, а не в модуле.

Вот как то так, я не много в ступоре.

[rozario888]

  В 12.01.2020 в 09:54, Rassol2 сказав:

Если :

На скриншоте видно что вы пытаетесь открыть файл формата xml хотя модуль создает формат csv

Expand  

Проблема и в оригинальном файле. Это уже пробовал пересохранить в другие форматы.

 

  В 12.01.2020 в 09:54, Rassol2 сказав:

Второе, проблема то в экселе, а не в модуле.

Expand  

Да вот и непонятно, потому что во всех других такой проблемы нет. Хотя есть файлы почти по 20 мегов с кучей формул и связей. Думал может при парсинге файл криво собирается.

 

Попробую заново перепарсить

[Rassol2]

  В 12.01.2020 в 10:05, rozario888 сказав:

Проблема и в оригинальном файле. Это уже пробовал пересохранить в другие форматы.

 

Да вот и непонятно, потому что во всех других такой проблемы нет. Хотя есть файлы почти по 20 мегов с кучей формул и связей. Думал может при парсинге файл криво собирается.

 

Попробую заново перепарсить

Expand  

тогда можете скинуть мне файл ОРИГИНАЛ.
И написать какие действия нужно сделать что бы получить эту ошибку.

Но по сути не может быть проблем такого рода из за модуля, поскольку модуль создает файл в формате csv
А это формат простого текстового файла где вставляются точки с запятой что бы потом эксель или другой офис представил его в виде таблицы.
И если к примеру поставить неправильно запятые (а это единственное что делает модуль) То файл все равно будет открыт, только таблица будет не верно выглядеть. Но точно не ошибка открытия.

Вот пример прайса на 200мб +
 

  Показати вміст

Любой прайс модуля можно открыть простым текстовым редактором и увидеть что там внутри.

 

[CtFelix]

Доработка: при парсинге изображений, было бы идеально если бы можно было генерировать свое название для фото.

Например название фото = "Граница+N" N случайная или порядковая цифра если фото несколько

[CtFelix]

Ещё заметил, что почему то Title через сео вкладку не генерится, туда вставляется только граница, без текста 

[Rassol2]

  В 12.01.2020 в 15:03, CtFelix сказав:

Доработка: при парсинге изображений, было бы идеально если бы можно было генерировать свое название для фото.

Например название фото = "Граница+N" N случайная или порядковая цифра если фото несколько

Expand  

Да это есть в моей большой книге по реализации.
 

  В 12.01.2020 в 19:10, CtFelix сказав:

Ещё заметил, что почему то Title через сео вкладку не генерится, туда вставляется только граница, без текста 

Expand  

Что вы имеете в виду ? Можно подробнее ?

[CtFelix]

  Показати вміст

Не генерируется.

[Rassol2]

  В 12.01.2020 в 20:01, CtFelix сказав:

Не генерируется.

Expand  

если у вас установлена граница {gran_10} и модуль вместо того что бы засунуть на ее место данные которые есть в парсинге, записывает именно ее.
Это значит что у вас удалена граница {gran_10}
 

  Показати вміст

Если вы где то использовали границу а потом удалили, тогда модулю нечем заменить заменить текст {gran_10} поскольку такой переменной в модуле уже нет.

[urchik]

При парсинге в ИМ в категориях выбираю "показывать в младшей и во всех род. категориях", но добавляет только в младшую.

Категорию выбираю по умолчанию.

Так должно быть или ошибка? Хотелось бы чтоб сразу в родительские добовлял.

[Rassol2]

  В 13.01.2020 в 14:01, urchik сказав:

При парсинге в ИМ в категориях выбираю "показывать в младшей и во всех род. категориях", но добавляет только в младшую.

Категорию выбираю по умолчанию.

Так должно быть или ошибка? Хотелось бы чтоб сразу в родительские добовлял.

Expand  

Если не происходит парсинг категории а просто выбрана категория по умолчанию. То товар не будет подать в родительские категории.

 

Пред полагается что категория по умолчанию это такое место куда будет складываться товар в случаи если у донора в границу парсинга ничего не попало.

 

Но вы можете сами симетировать парсинг в кат по умолчанию. И тогда модуль будет добавлять в родителя.

 

Укажите вместо границы полный путь через разделитель {csvnc}

 

Главная {csvnc} дочерняя {csvnc} дочерняя

[urchik]

  В 13.01.2020 в 14:14, Rassol2 сказав:

Укажите вместо границы полный путь через разделитель {csvnc}

 

Главная {csvnc} дочерняя {csvnc} дочерняя

Expand  

Понял, спасибо

[CtFelix]

В том то и проблема, что граница живая это название телефона и оно используется в нескольких местах и работает в них. Да и кроме того, ок допустим я удалил границу, почему текст тогда тоже не добавляется?

Купить {gran_79} по выгодной цене с доставкой

И тайтл не формируется.

 

[Rassol2]

  В 13.01.2020 в 17:25, CtFelix сказав:

В том то и проблема, что граница живая это название телефона и оно используется в нескольких местах и работает в них. Да и кроме того, ок допустим я удалил границу, почему текст тогда тоже не добавляется?

Купить {gran_79} по выгодной цене с доставкой

И тайтл не формируется.

 

Expand  

Мне не ясно что у вас в результате . По этому скиньте мне в ЛС настройки завтра попробую посмотреть и тогда смогу ответить по вашему вопросу.

[Rassol2]

Обновление 3.0

Добавлена многопоточность в модуль SimplePars

Прежде чем говорить о всех преимуществах многопоточности я хочу начать с недостатков и предупреждений.
1. Помните что безрассудное использование потоков может привести к блокировке вашего ip на сайте доноре. И после этого вам нужно будет парсить с прокси. Что не так комфортно.
2. Многопоточность создает нагрузку как на сайт донор так и на ваш веб хостинг. И если у вас бюджетный хостинг не рекомендую ставить много потоков. Администрация хостинга можете постучатся к вам с просьбой сократить использования ресурсов.
3. Ну и много поточность это как базука, и стрелять с неё в туалете опасно для жизни. Это должно быть главным правилом для вас!!! Не используйте много поточность где она не нужна, или можно обойтись без нее. Не нужно в парсинге 2-3 тысяч включать несколько потоков.
 

Основы.

Теперь на всех страницах парсинга доступен переключатель где вы можете выбрать количество потоков от 1 до 5


Люди знакомые немного с программированием могут сказать что я обманываю поскольку сам язык PHP работает исключительно в одном потоке, а значит на базе этого языка нельзя писать много поточные приложения. Они будут и правы и нет.

Ну во первых да, много поточным в десктопном понимании потоков мой модуль не стал. И каждый раз когда я говорю много поточность я подразумеваю некий компромисс о котором напишу ниже.

Собственно как это работает.
Теперь при нажатии старт модуль отправляет на парсинг не одну ссылку из списка, а столько сколько указано в разделе потоки.
Основное время при парсинге занимает именно обращение к сайту донору, сам модуль работает быстро. Для наглядности приведу цифры.

Представим что парсинг одной ссылки занимает 3 секунды.
2 секунды это время на отправку запроса на сайт донора, получения кода страницы.
1 секунда. На обработку данных что пришли в запросе и запись в магазин.

А теперь представим что у вас 100 ссылок. И того результат будет таким.
(100 * 2) + 100 = 300сек
В режиме много поточности у вас получится так. Допустим включаем 5 потоков.
(100 / 5) * 2 + 20сек = 80сек.
Такое время достигается за счет того что модуль не ждет отдельно по 2 секунды на каждую ссылку. Модуль параллельно загружает 5 ссылок и тратит на это 2 секунды. Затем отдает 5 ссылок на обработку модулю. За счет этого мы и получаем прирост скорости работы модуля. Но так же повышаем нагрузку на сайт донор.

Сейчас покажу наглядно скришоты. По скорости работы модуля.
Что бы все хорошо отладить сделал пару крупных проектов на базе модуля SimplePars

Парсинг в один поток.

Парсинг в пять потоков.

Прирост скорости более 50%
Хочу обратить внимание что на скриншоте парсинг магазина который содержит 133 000 ссылок.

И это то ради чего стоит использовать модуль SimplePars
Данная функция поможет обновлять цены на товары в магазинах свыше 10тысяч и обновление будет на максимальных скоростях.

Внимание!!
Так же обратите внимание что начиная с версии модуля 3.0 на хостинге должен быть установлен Ioncube Loader
Так же всем пользователям которые приобрели модуль нужно написать мне в личные сообщения что бы я выслал вам ключ активации модуля.

Поддержка модуль будет осуществляться на базе третей ветки модуля. Кодовая база с много поточностью и без сильно разница.

Список обновлений в модуле очищен. И вся информация перенесена сюда
 

  Показати вміст

Обновление 2.5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1385705

Обновление 2.5-1

 https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386472
 

Обновление 2.5-2
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386923

 

Обновление 2.5-3
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1387588

 

Обновление 2.5-4
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1391278

 

Обновление 2.5-5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1392739

 

Обновление 2.6

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279

 

Обновление 2.9-2

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1464205

 

Обновление 2.9-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1468648

 

Обновление 2.9-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

 

Обновление 2.9-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476644

 

Обновление 2.9-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1479142

 

Обновление 2.9-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1480597

 

Обновление 2.9-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1482797

 

Обновление 2.9-9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1487413

 

Обновление 2.9-10_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1489906

 

Обновление 2.9-11_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1491656

 

Обновление 2.9-12

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1495735

 

Обновление 2.9-13

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508186

 

Обновление 2.10

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508471

 

Обновление 2.10-1

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1509793

При обновлении необходимо выполнить файл /inst.php

[Rassol2]

Так же забыл указать
Если вы намерены использовать модуль на локальном сервере, не забудьте выбрать соответствующий пункт при авторизации модуля.

Так же в версии 3.0 решен вопрос с большим количеством ссылок. Когда у вас собрано 100 000 и больше ссылок теперь модуль не выдает ошибку о недостатке оперативной памяти. Работу модуля оптимизировал по максимуму и теперь хоть миллион ссылок будет в очереди, модуль справится.

[hippvik]

Попробовала и скажу это очень удобная функция "многопоточности" модуль просто реактивным становиться как ферари). 

[Alay]

Дорбрый день!

Несколько вопросов:

1. Совместим ли модуль с модулем АОП?

2. Сайт донор-иностранец. Предусмотрен ли модулем переводчик, или спарсит ли страницу с переводом "гугл"?

3. Прайса нет. Может ли данный модуль спарсить товары (ссылки на товар) с сайта-донора?

4. На сайте-донора картинки товаров есть 32*32, 64*64, 400*400, но "основа" одна и таже, не будет ли задвоения картинок?

5. Можно ли имя картинки сайта-донора заменить на свое имя (например на артикул товара)?

[urchik]

После обновления выдает ошибку 500, может кто знает как исправить.