Jump to content

Recommended Posts

7 часов назад, ihos сказал:

Переехал на ВПС. В предварительном просмотре обрезает код http://prntscr.com/qw6y7r

Не догружает до конца страницу, как будто указано сколько символов загружать!

с таким я не сталкивался.
у меня такой вопрос это файл взят из кеша модуля или нет ?
Если с кеша тогда отключите и сделайте вызов еше раз.

Будет так же или нет.

Share this post


Link to post
Share on other sites

пока не ставил еще версию с кэшем, но появились пару вопросов:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

можно реализовать просто, чтобы галочками выбирать, а вверху к "перекэшировать" добавить функционал перекэширования только выбранных ссылок.

Edited by stas2010

Share this post


Link to post
Share on other sites
В 31.01.2020 в 08:10, Rassol2 сказал:

Новый алгоритм преобразования в поиск замене, который должен избавить нас от артефактов в пред просмотре.

:-oтеперь работает как надо, ну, по крайней мере пока не нашел ошибочных преобразований. кстати, заработали те "кривые" замены, о которых в личке писал, спасибо.

а артефакты не только раньше в предпросмотре были - они и в таблицу переезжали. теперь и там и там порядок.

 

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

 

Кэширование донора - СУПЕР !!!

 

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

 

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

 

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Edited by stas2010

Share this post


Link to post
Share on other sites
6 часов назад, stas2010 сказал:

1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться)

нет, только страницы. То что вы видите в пред просмотре.
 

6 часов назад, stas2010 сказал:

2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. 

Да уже есть в списке задач по кешу.
 

42 минуты назад, stas2010 сказал:

еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно.

Я скорее перенесу сам пред просмотр на верх.
 

Спойлер

qeb0XEv.png

 

45 минут назад, stas2010 сказал:

Кэширование донора - СУПЕР !!!

Да :eek:

45 минут назад, stas2010 сказал:

А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. 

над этим пока думаю.
 

46 минут назад, stas2010 сказал:

Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить.

Это сильно сложно в плане логики, к примеру как исключить возможность вечного цикла ?
допустим граница парсинга 1 в ней применяются значения из границы парсинга номер 2 а в границе парсинга из номера 1

И получается что бы модуль составил данные ему нужно обработать границу парсинга номер один в которой данные из границы номер 2, и тут он идет обрабатывать сперва вторую границу парсинга, а в ней написано что бы ее обработать нужно получить данные из границы парсинга один, и он обратно идет в границу парсинга один и так по кругу пока не закончится время на выполнение скрипта.
Так сказать вечный цикл.
 

49 минут назад, stas2010 сказал:

И для удобства можно еще добавить после завершения парсинга строчку, например:

Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30

Невозможно, потому что модуль не считает время от старта, модуль по сути и не знает когда там у вас был старт, такого понятия нет по этому и нельзя зафиксировать время старта. Ведь есть кнопка стоп. И допустим вы нажали старт, затем стоп ушли на месяц вернулись и нажали старт, у вас время будет затрачено месяц.
Но
1. Это не правда.
2. Не овер необходимо.
 

Share this post


Link to post
Share on other sites

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

прокси чекер в интернете показывает хороший результат а прокси чекер симпл парс бьет ошибки 

Спойлер

2020-02-03 07:37:10| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:37:11| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.59.246.110 port 59278: Connection refused ] | Прокси = [ 194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
2020-02-03 07:38:05| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 194.105.60.33 port 59278: Connection refused ] | Прокси = [ 194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf ]
 


пробовал на разные сайты 

Share this post


Link to post
Share on other sites
2 часа назад, dmitriy2506 сказал:

Вопрос по прокси, правильно ли я ввожу ип адреса во вкладку браузер

194.59.246.110:59278:HTTP:wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278:HTTP:wQBCIls8Qe:VBrumURJEf
или так нужно

194.59.246.110:59278::wQBCIls8Qe:VBrumURJEf
194.105.60.33:59278::wQBCIls8Qe:VBrumURJEf

в вашем случаи и так и так можно.
У вас тип прокси по умолчанию. Другой вопрос что бы у вас было разрешено исходящее соединение по этим портам.

Share this post


Link to post
Share on other sites

 .del 

 

Edited by stas2010

Share this post


Link to post
Share on other sites
21 час назад, Rassol2 сказал:

Я скорее перенесу сам пред просмотр на верх.

как вариант

  • +1 1

Share this post


Link to post
Share on other sites
21 час назад, Rassol2 сказал:

Так сказать вечный цикл.

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

Share this post


Link to post
Share on other sites
10 часов назад, stas2010 сказал:

так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде, 

по концепту, {gran_1} это просто текст, как и любой другой.
Это не отельная сушность или что то еше. Но когда модуль в момент парсинга встречает это текст он заменяет его на границу парсинга.

В теории можно сделать возможность пройти по всем таблицам баз данных и везде где есть текст {gran_1} удалить его.
Но это уже будет более не явное поведение. Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

Share this post


Link to post
Share on other sites

Обновление v3.1-1_beta

В основном это обновление связано с исправлением найденных недочетов в предыдущей бета.

Лицензия
Добавлена возможность отвязывать лицензионный ключ.

 

Спойлер

R1CY0rO.png

 

Спойлер

3DJKgAX.png


Теперь если вы меняете домен у вас есть возможность отвязать лицензию и активировать ее на новом домене.
Перенести модуль можно раз в 3суток.
Теперь вы можете отвязать лицензию и перенести ее на локальный сервер если это необходимо, без покупки дополнительной лицензии.

Исправление.
Исправлена ошибка с переключателем кеширования на странице настройки параметров парсинга.

Спойлер

XHZUHk7.png


Поправлен выбор группы атрибутов по умолчанию в парсинге в ИМ для магазинов с использованием не стандартных языков.
 

Спойлер

ciLWbfq.png


Перенес пред просмотр пасринга в CSV в верхнюю часть страницы.
Что бы вам не нужно было тратить силы на прокручивание страницы в низ :grin:
 

Спойлер

QC8lFGy.png

 

  • +1 2

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

Так пользователь может видеть что у него есть граница пустая. Либо вычистить ее либо заменить на новую.

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

Share this post


Link to post
Share on other sites
1 час назад, stas2010 сказал:

при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк.

 

С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте. 

Пока что останется этот вопрос как есть.
Буду решать более глобальные задачи.
Это еше можно отнести к вкусившие. По крайней мере кроме вас никто это вопрос не подымал, значит спрос на него пока минимальный.

Share this post


Link to post
Share on other sites

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

  • +1 1

Share this post


Link to post
Share on other sites
1 час назад, DoosteR сказал:

Последнее обновление зачетное! С хешированием страниц теперь можно куда быстрее заниматься поэтапным наполнением контента.

Скорее бы уже крон появился, тогда вообще цены не будет )))

Да, согласен вот бы кто то сделал крон а я бы отдохнул ))

  • +1 2

Share this post


Link to post
Share on other sites

Обновление v3.1-2_beta

Исправление ошибок.
Это обновление критично и его обязательно необходимо установить пользователям которые используют следующие версии модуля
v3.0-3_beta

v3.1_beta

v3.1-1_beta

Исправленная ошибка связанная с запросами на сайт донор, в некоторых ситуациях сайт донор отдавал главную страницу или делал редиректы.

1. Из синдромов может быть при сборе ссылок модуль не переходит по страницам погинации категории.

2. Вы могли наблюдать подобную страницу в пред просмотре.
 

Спойлер

SHrJfv6.png


так же обратите внимание что не всегда эта сообщение было связано с модулем. Но в некоторых случаях из за него.
Однако все кто использует версии что написано выше рекомендую обновится.

Спасибо за найденный баг пользователям @diptop    @osa123

  • +1 1

Share this post


Link to post
Share on other sites

 

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

 

 

Спойлер

Screenshot2.png.b4d60c8838e038a46cc04fb5c34b5d3a.png

Фильтр

Спойлер

 

 

Screenshot.png.67a04462634c85ad8b4356a98d11dd73.png

 

 

Донор 

 

 

 

Share this post


Link to post
Share on other sites
11 минут назад, Leogo сказал:

Не могу спарсить ровно вкладку Характеристики. Плывет таблица.

Границы

Здравствуйте.
Скиньте мне в ЛС экспорт настроек.
Заодно скиньте номер заказа модуля и я вам выдам лицензионный ключ, и поправлю настройки.

Share this post


Link to post
Share on other sites

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал

кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

Share this post


Link to post
Share on other sites
20 часов назад, bodyak0 сказал:

Добрый вечер, хотелось бы дать на заметку по парсингу атрибутов)
Если к примеру у группы атрибутов имеется несколько атрибутов
 

материал

кожа натуральная, текстиль, резина

 

то при парсинге он парсит все в одну колонку, реализовано было бы круто чтобы каждому из атрибутов можно было прицеплять свой идентификатор)

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

Share this post


Link to post
Share on other sites

Внимание.

Могут отвечать с задержкой.
На площадке дикие проблемы с уведомлениями.

 

Я не получаю уведомлений о новых сообщения.

Share this post


Link to post
Share on other sites
20 годин назад, Rassol2 сказав:

Здравствуйте.
Покажите скриншот с страницы донора как там устроены атрибуты. Для понимания.

https://nike-off.ru/product/nike-air-more-uptempo-supreme-varsity-red-white/
 

Детали

размер

36 евро / 22,5 см., 37 евро / 23,5 см., 38 евро / 24 см., 39 евро / 25 см., 40 евро / 25,5 см., 41 евро / 26 см., 42 евро / 26,5 см., 43 евро / 27,5 см., 44 евро / 28 см., 45 евро / 29 см., 46 евро / 30 см.

материал

кожа натуральная, кожа нубук

цвет

Белый, Красный

цвет подошвы

белая, красная

для кого

Мужские, Женские/Подростковые

модель

air more uptempo, supreme 2017

спорт

Баскетбол, Повседневные, скейтбординг

Share this post


Link to post
Share on other sites

@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.
rMC6RMO.png

Или что то не так должно быть ?

Share this post


Link to post
Share on other sites
14 хвилини назад, Rassol2 сказав:

@bodyak0
Я извиняюсь возможно я туплю. Но вот за 5 минут стандартными возможностями модуля сделал так.
rMC6RMO.png

Или что то не так должно быть ?

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

Share this post


Link to post
Share on other sites
1 минуту назад, bodyak0 сказал:

все что через запятую идет, к примеру я парсю так же как и на примере вы показали, но при подключении фильтра получается каша)Атрибуты все идут в кучу
Размер: и вся строка)

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By GeorgyM
      500.00 руб
      Скачать/Купить дополнение


      Парсинг для Opencart : загрузка товаров / статей, для Опенкарт, OcStore, v.1.x, 2.x, 3.x
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания  
       
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
      Добавил GeorgyM Добавлено 22.08.2017 Категория Услуги  
    • By GeorgyM
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания  
       
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   1 member

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.