Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

7 часов назад, ihos сказал:

Переехал на ВПС. В предварительном просмотре обрезает код http://prntscr.com/qw6y7r

Не догружает до конца страницу, как будто указано сколько символов загружать!

с таким я не сталкивался.
у меня такой вопрос это файл взят из кеша модуля или нет ?
Если с кеша тогда отключите и сделайте вызов еше раз.

Будет так же или нет.

Надіслати
Поділитися на інших сайтах

пока не ставил еще версию с кэшем, но появились пару вопросов:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

можно реализовать просто, чтобы галочками выбирать, а вверху к "перекэшировать" добавить функционал перекэширования только выбранных ссылок.

Змінено користувачем stas2010
Надіслати
Поділитися на інших сайтах


В 31.01.2020 в 08:10, Rassol2 сказал:

Новый алгоритм преобразования в поиск замене, который должен избавить нас от артефактов в пред просмотре.

:-oтеперь работает как надо, ну, по крайней мере пока не нашел ошибочных преобразований. кстати, заработали те "кривые" замены, о которых в личке писал, спасибо.

а артефакты не только раньше в предпросмотре были - они и в таблицу переезжали. теперь и там и там порядок.

 

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

 

Кэширование донора - СУПЕР !!!

 

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

 

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

 

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Змінено користувачем stas2010
Надіслати
Поділитися на інших сайтах


6 часов назад, stas2010 сказал:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

нет, только страницы. То что вы видите в пред просмотре.
 

6 часов назад, stas2010 сказал:

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

Да уже есть в списке задач по кешу.
 

42 минуты назад, stas2010 сказал:

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

Я скорее перенесу сам пред просмотр на верх.
 

Спойлер

qeb0XEv.png

 

45 минут назад, stas2010 сказал:

Кэширование донора - СУПЕР !!!

Да :eek:

45 минут назад, stas2010 сказал:

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

над этим пока думаю.
 

46 минут назад, stas2010 сказал:

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

Это сильно сложно в плане логики, к примеру как исключить возможность вечного цикла ?
допустим граница парсинга 1 в ней применяются значения из границы парсинга номер 2 а в границе парсинга из номера 1

И получается что бы модуль составил данные ему нужно обработать границу парсинга номер один в которой данные из границы номер 2, и тут он идет обрабатывать сперва вторую границу парсинга, а в ней написано что бы ее обработать нужно получить данные из границы парсинга один, и он обратно идет в границу парсинга один и так по кругу пока не закончится время на выполнение скрипта.
Так сказать вечный цикл.
 

49 минут назад, stas2010 сказал:

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Невозможно, потому что модуль не считает время от старта, модуль по сути и не знает когда там у вас был старт, такого понятия нет по этому и нельзя зафиксировать время старта. Ведь есть кнопка стоп. И допустим вы нажали старт, затем стоп ушли на месяц вернулись и нажали старт, у вас время будет затрачено месяц.
Но
1. Это не правда.
2. Не овер необходимо.
 

Надіслати
Поділитися на інших сайтах

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

прокси чекер в интернете показывает хороший результат а прокси чекер симпл парс бьет ошибки 

Спойлер

2020-02-03 07:37:10| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:37:11| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:05| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
 


пробовал на разные сайты 

Надіслати
Поділитися на інших сайтах


2 часа назад, dmitriy2506 сказал:

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

в вашем случаи и так и так можно.
У вас тип прокси по умолчанию. Другой вопрос что бы у вас было разрешено исходящее соединение по этим портам.

Надіслати
Поділитися на інших сайтах

21 час назад, Rassol2 сказал:

Так сказать вечный цикл.

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

Надіслати
Поділитися на інших сайтах


10 часов назад, stas2010 сказал:

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

по концепту, {gran_1} это просто текст, как и любой другой.
Это не отельная сушность или что то еше. Но когда модуль в момент парсинга встречает это текст он заменяет его на границу парсинга.

В теории можно сделать возможность пройти по всем таблицам баз данных и везде где есть текст {gran_1} удалить его.
Но это уже будет более не явное поведение. Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

Надіслати
Поділитися на інших сайтах

Обновление v3.1-1_beta

В основном это обновление связано с исправлением найденных недочетов в предыдущей бета.

Лицензия
Добавлена возможность отвязывать лицензионный ключ.

 

Спойлер

R1CY0rO.png

 

Спойлер

3DJKgAX.png


Теперь если вы меняете домен у вас есть возможность отвязать лицензию и активировать ее на новом домене.
Перенести модуль можно раз в 3суток.
Теперь вы можете отвязать лицензию и перенести ее на локальный сервер если это необходимо, без покупки дополнительной лицензии.

Исправление.
Исправлена ошибка с переключателем кеширования на странице настройки параметров парсинга.

Спойлер

XHZUHk7.png


Поправлен выбор группы атрибутов по умолчанию в парсинге в ИМ для магазинов с использованием не стандартных языков.
 

Спойлер

ciLWbfq.png


Перенес пред просмотр пасринга в CSV в верхнюю часть страницы.
Что бы вам не нужно было тратить силы на прокручивание страницы в низ :grin:
 

Спойлер

QC8lFGy.png

 

  • +1 2
Надіслати
Поділитися на інших сайтах

2 часа назад, Rassol2 сказал:

Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

Надіслати
Поділитися на інших сайтах


1 час назад, stas2010 сказал:

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

Пока что останется этот вопрос как есть.
Буду решать более глобальные задачи.
Это еше можно отнести к вкусившие. По крайней мере кроме вас никто это вопрос не подымал, значит спрос на него пока минимальный.

Надіслати
Поділитися на інших сайтах

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

  • +1 1
Надіслати
Поділитися на інших сайтах


1 час назад, DoosteR сказал:

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

Да, согласен вот бы кто то сделал крон а я бы отдохнул ))

  • +1 2
Надіслати
Поділитися на інших сайтах

Обновление v3.1-2_beta

Исправление ошибок.
Это обновление критично и его обязательно необходимо установить пользователям которые используют следующие версии модуля
v3.0-3_beta

v3.1_beta

v3.1-1_beta

Исправленная ошибка связанная с запросами на сайт донор, в некоторых ситуациях сайт донор отдавал главную страницу или делал редиректы.

1. Из синдромов может быть при сборе ссылок модуль не переходит по страницам погинации категории.

2. Вы могли наблюдать подобную страницу в пред просмотре.
 

Спойлер

SHrJfv6.png


так же обратите внимание что не всегда эта сообщение было связано с модулем. Но в некоторых случаях из за него.
Однако все кто использует версии что написано выше рекомендую обновится.

Спасибо за найденный баг пользователям @diptop    @osa123

  • +1 1
Надіслати
Поділитися на інших сайтах

 

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

 

 

Спойлер

Screenshot2.png.b4d60c8838e038a46cc04fb5c34b5d3a.png

Фильтр

Спойлер

 

 

Screenshot.png.67a04462634c85ad8b4356a98d11dd73.png

 

 

Донор 

 

 

 

Надіслати
Поділитися на інших сайтах


11 минут назад, Leogo сказал:

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

Здравствуйте.
Скиньте мне в ЛС экспорт настроек.
Заодно скиньте номер заказа модуля и я вам выдам лицензионный ключ, и поправлю настройки.

Надіслати
Поділитися на інших сайтах

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал

кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

Надіслати
Поділитися на інших сайтах


20 часов назад, bodyak0 сказал:

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал

кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

Надіслати
Поділитися на інших сайтах

Внимание.

Могут отвечать с задержкой.
На площадке дикие проблемы с уведомлениями.

 

Я не получаю уведомлений о новых сообщения.

Надіслати
Поділитися на інших сайтах

20 годин назад, Rassol2 сказав:

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

https://nike-off.ru/product/nike-air-more-uptempo-supreme-varsity-red-white/
 

Детали

размер

36 евро / 22,5 см., 37 евро / 23,5 см., 38 евро / 24 см., 39 евро / 25 см., 40 евро / 25,5 см., 41 евро / 26 см., 42 евро / 26,5 см., 43 евро / 27,5 см., 44 евро / 28 см., 45 евро / 29 см., 46 евро / 30 см.

материал

кожа натуральная, кожа нубук

цвет

Белый, Красный

цвет подошвы

белая, красная

для кого

Мужские, Женские/Подростковые

модель

air more uptempo, supreme 2017

спорт

Баскетбол, Повседневные, скейтбординг

Надіслати
Поділитися на інших сайтах


@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.
rMC6RMO.png

Или что то не так должно быть ?

Надіслати
Поділитися на інших сайтах

14 хвилини назад, Rassol2 сказав:

@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.
rMC6RMO.png

Или что то не так должно быть ?

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

Надіслати
Поділитися на інших сайтах


1 минуту назад, bodyak0 сказал:

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.