[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

7 часов назад, ihos сказал:

Переехал на ВПС. В предварительном просмотре обрезает код http://prntscr.com/qw6y7r

Не догружает до конца страницу, как будто указано сколько символов загружать!

с таким я не сталкивался.
у меня такой вопрос это файл взят из кеша модуля или нет ?
Если с кеша тогда отключите и сделайте вызов еше раз.

Будет так же или нет.

[stas2010]

пока не ставил еще версию с кэшем, но появились пару вопросов:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

можно реализовать просто, чтобы галочками выбирать, а вверху к "перекэшировать" добавить функционал перекэширования только выбранных ссылок.

Змінено 2 лютого 2020 користувачем stas2010

[stas2010]

В 31.01.2020 в 08:10, Rassol2 сказал:

Новый алгоритм преобразования в поиск замене, который должен избавить нас от артефактов в пред просмотре.

теперь работает как надо, ну, по крайней мере пока не нашел ошибочных преобразований. кстати, заработали те "кривые" замены, о которых в личке писал, спасибо.

а артефакты не только раньше в предпросмотре были - они и в таблицу переезжали. теперь и там и там порядок.

 

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

 

Кэширование донора - СУПЕР !!!

 

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

 

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

 

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Змінено 2 лютого 2020 користувачем stas2010

[Rassol2]

6 часов назад, stas2010 сказал:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

нет, только страницы. То что вы видите в пред просмотре.
 

6 часов назад, stas2010 сказал:

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

Да уже есть в списке задач по кешу.
 

42 минуты назад, stas2010 сказал:

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

Я скорее перенесу сам пред просмотр на верх.
 

Спойлер

 

45 минут назад, stas2010 сказал:

Кэширование донора - СУПЕР !!!

Да

45 минут назад, stas2010 сказал:

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

над этим пока думаю.
 

46 минут назад, stas2010 сказал:

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

Это сильно сложно в плане логики, к примеру как исключить возможность вечного цикла ?
допустим граница парсинга 1 в ней применяются значения из границы парсинга номер 2 а в границе парсинга из номера 1

И получается что бы модуль составил данные ему нужно обработать границу парсинга номер один в которой данные из границы номер 2, и тут он идет обрабатывать сперва вторую границу парсинга, а в ней написано что бы ее обработать нужно получить данные из границы парсинга один, и он обратно идет в границу парсинга один и так по кругу пока не закончится время на выполнение скрипта.
Так сказать вечный цикл.
 

49 минут назад, stas2010 сказал:

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Невозможно, потому что модуль не считает время от старта, модуль по сути и не знает когда там у вас был старт, такого понятия нет по этому и нельзя зафиксировать время старта. Ведь есть кнопка стоп. И допустим вы нажали старт, затем стоп ушли на месяц вернулись и нажали старт, у вас время будет затрачено месяц.
Но
1. Это не правда.
2. Не овер необходимо.
 

[dmitriy2506]

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

прокси чекер в интернете показывает хороший результат а прокси чекер симпл парс бьет ошибки 

Спойлер

2020-02-03 07:37:10| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:37:11| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:05| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
 

пробовал на разные сайты 

[Rassol2]

2 часа назад, dmitriy2506 сказал:

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

в вашем случаи и так и так можно.
У вас тип прокси по умолчанию. Другой вопрос что бы у вас было разрешено исходящее соединение по этим портам.

[stas2010]

 .del 

 

Змінено 3 лютого 2020 користувачем stas2010

[stas2010]

21 час назад, Rassol2 сказал:

Я скорее перенесу сам пред просмотр на верх.

как вариант

[stas2010]

21 час назад, Rassol2 сказал:

Так сказать вечный цикл.

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

[Rassol2]

10 часов назад, stas2010 сказал:

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

по концепту, {gran_1} это просто текст, как и любой другой.
Это не отельная сушность или что то еше. Но когда модуль в момент парсинга встречает это текст он заменяет его на границу парсинга.

В теории можно сделать возможность пройти по всем таблицам баз данных и везде где есть текст {gran_1} удалить его.
Но это уже будет более не явное поведение. Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

[Rassol2]

Обновление v3.1-1_beta

В основном это обновление связано с исправлением найденных недочетов в предыдущей бета.

Лицензия
Добавлена возможность отвязывать лицензионный ключ.

 

Спойлер

 

Спойлер

Теперь если вы меняете домен у вас есть возможность отвязать лицензию и активировать ее на новом домене.
Перенести модуль можно раз в 3суток.
Теперь вы можете отвязать лицензию и перенести ее на локальный сервер если это необходимо, без покупки дополнительной лицензии.

Исправление.
Исправлена ошибка с переключателем кеширования на странице настройки параметров парсинга.

Спойлер

Поправлен выбор группы атрибутов по умолчанию в парсинге в ИМ для магазинов с использованием не стандартных языков.
 

Спойлер

Перенес пред просмотр пасринга в CSV в верхнюю часть страницы.
Что бы вам не нужно было тратить силы на прокручивание страницы в низ
 

Спойлер

 

[stas2010]

2 часа назад, Rassol2 сказал:

Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

[Rassol2]

1 час назад, stas2010 сказал:

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

Пока что останется этот вопрос как есть.
Буду решать более глобальные задачи.
Это еше можно отнести к вкусившие. По крайней мере кроме вас никто это вопрос не подымал, значит спрос на него пока минимальный.

[DoosteR]

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

[Rassol2]

1 час назад, DoosteR сказал:

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

Да, согласен вот бы кто то сделал крон а я бы отдохнул ))

[Rassol2]

Обновление v3.1-2_beta

Исправление ошибок.
Это обновление критично и его обязательно необходимо установить пользователям которые используют следующие версии модуля
v3.0-3_beta

v3.1_beta

v3.1-1_beta

Исправленная ошибка связанная с запросами на сайт донор, в некоторых ситуациях сайт донор отдавал главную страницу или делал редиректы.

1. Из синдромов может быть при сборе ссылок модуль не переходит по страницам погинации категории.

2. Вы могли наблюдать подобную страницу в пред просмотре.
 

Спойлер

так же обратите внимание что не всегда эта сообщение было связано с модулем. Но в некоторых случаях из за него.
Однако все кто использует версии что написано выше рекомендую обновится.

Спасибо за найденный баг пользователям @diptop    @osa123

[Leogo]

 

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

 

 

Спойлер

Фильтр

Спойлер

 

 

 

 

Донор 

Спойлер

___sport-atlet.com.ua/musclepharm-combat-1-8-kg

 

 

 

[Rassol2]

11 минут назад, Leogo сказал:

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

Здравствуйте.
Скиньте мне в ЛС экспорт настроек.
Заодно скиньте номер заказа модуля и я вам выдам лицензионный ключ, и поправлю настройки.

[bodyak0]

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал	кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

[Rassol2]

20 часов назад, bodyak0 сказал:

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал	кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

[Rassol2]

Внимание.

Могут отвечать с задержкой.
На площадке дикие проблемы с уведомлениями.

 

Я не получаю уведомлений о новых сообщения.

[bodyak0]

20 годин назад, Rassol2 сказав:

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

https://nike-off.ru/product/nike-air-more-uptempo-supreme-varsity-red-white/
 

Детали

размер	36 евро / 22,5 см., 37 евро / 23,5 см., 38 евро / 24 см., 39 евро / 25 см., 40 евро / 25,5 см., 41 евро / 26 см., 42 евро / 26,5 см., 43 евро / 27,5 см., 44 евро / 28 см., 45 евро / 29 см., 46 евро / 30 см.
материал	кожа натуральная, кожа нубук
цвет	Белый, Красный
цвет подошвы	белая, красная
для кого	Мужские, Женские/Подростковые
модель	air more uptempo, supreme 2017
спорт	Баскетбол, Повседневные, скейтбординг

[Rassol2]

@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.


Или что то не так должно быть ?

[bodyak0]

14 хвилини назад, Rassol2 сказав:

@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.


Или что то не так должно быть ?

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

[Rassol2]

1 минуту назад, bodyak0 сказал:

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.