[Поддержка]

[Axelenz]

Благодарю за пояснение...

А удаление верхней и нижней границы в таких случаях, как мой не помешало бы...

[Rassol2]

1 минуту назад, Axelenz сказал:

Благодарю за пояснение...

А удаление верхней и нижней границы в таких случаях, как мой не помешало бы...

не совсем понял что такое удаления верхней и нижней границы ? В вашем случаи

[Agatha65]

Я тоже страдаю из за \r\n - в сайт донора полно и ломаеть csv

Методом тика дошла до

{reg[#(\r\n)+#]}|

работает только если ето условие послденое в списке условия замени.

[Axelenz]

1 минуту назад, Rassol2 сказал:

не совсем понял что такое удаления верхней и нижней границы ? В вашем случаи

Я выдираю характеристики с помощью указания верхней границы "арактеристик" (потому, как есть много вариантов указания: Характеристика, характеристики, Характеристика товара, характеристики: и т.д. и т.п.). Но мне не нужна ни эта первая (верхняя) строка ни последняя (нижняя).

[Rassol2]

1 минуту назад, Agatha65 сказал:

Я тоже страдаю из за \r\n - в сайт донора полно и ломаеть csv

Методом тика дошла до

{reg[#(\r\n)+#]}| 

работает только ето условие послденое в списке условия замени.

Это условие можно заменить на

{br}|
Поправьте если я не прав.

По логике ваше правило звучит как.
Удалить переносы строк если оно встречается один или более ораз.

а вот это

{br}|
звучит как удалить все переносы строк из текста.
Это одно и тоже.

по крайне мере я так думаю )))
если нет буду ковырять.

[Axelenz]

8 минут назад, Agatha65 сказал:

Я тоже страдаю из за \r\n - в сайт донора полно и ломаеть csv

Методом тика дошла до

{reg[#(\r\n)+#]}|

работает только если ето условие послденое в списке условия замени.

это убирает возврат каретки во всём тексте

Змінено 24 жовтня 2019 користувачем Axelenz

[Agatha65]

9 minutes ago, Rassol2 said:

Это условие можно заменить на

{br}|
Поправьте если я не прав.

По логике ваше правило звучит как.
Удалить переносы строк если оно встречается один или более ораз.

а вот это

{br}|
звучит как удалить все переносы строк из текста.
Это одно и тоже.

по крайне мере я так думаю )))
если нет буду ковырять.

нет ето не решеат проблема.

[Rassol2]

@Axelenz
Для вас решение
Изменяем настройки парсинга границы.

Спойлер

теперь мы точно знаем на что начинается граница и на что заканчивается.

Далее меняем правила, что бы не привязывается к концу строки по управляющим операторам, и отдаем это на совесть самого движка регулярных выражений.
Обратите внимание на модификатор M он гласит что регулярка будет расценивать тест построчно.

Спойлер

и результат такой деятельности будет одинков что в пред просмотре поиск замены что в csv

Поиск замена

Спойлер

CSV

Спойлер

В который раз регулярки меня радуют.

Про их внедрение не разу не пожалел
 

[Rassol2]

8 минут назад, Agatha65 сказал:

нет ето не решеат проблема.

а можно пример?
Хочу рассмотреть, возможно стоит поправить логику оператора {br}
Поскольку то что вы описываете как раз вкладывается в мое представления оператора бр
А значит нужно проверять и править.

[Axelenz]

16 минут назад, Rassol2 сказал:

@Axelenz
Для вас решение
Изменяем настройки парсинга границы.

Благодарю, буду пробовать...

[stas2010]

В 24.10.2019 в 02:15, Rassol2 сказал:

Можно добавить поле и назвать его добавлять товар так же в категорию и тут вы будете вручную выбирать вторую категорию.
Это можно сделать.

да - это и имелось в виду, когда один товар должен находиться сразу в нескольких категориях. реализовать можно путем добавления нового поля, как при создании таблицы, т.е. через "+", тогда можно будет добавить именно необходимое количество категорий.

 

В 24.10.2019 в 02:15, Rassol2 сказал:

Это вы уже предлагаете дописать загрузчик прайс листов.

нет - это не загрузчик прайс-листов. это сохранение настроек в виде таблицы и обратная загрузка этой таблицы настроек в модуль.

для чего это надо:

при создании той же таблицы для прайса, хотя тут тоже есть вопросы именно со списком границ, но всё же вручную быстро перенеся просто заголовки из прайса в таблицу настроек будет быстрее.

при создании тех же границ, когда необходимо создать быстро эти границы, особенно, если границы одинаковые и отличаются всего лишь одним-двумя словами как, например, атрибуты.

и .т.д.

опять же часть настроек для парсинга в магазин и для парсинга в таблицу одинаковы, а если параметров много, то дублирование занимает много времени.

 

можно сделать в виде таблицы, перевариваемой экселем, либо просто как ini-файл настроек

[Rassol2]

1 час назад, stas2010 сказал:

да - это и имелось в виду, когда один товар должен находиться сразу в нескольких категориях. реализовать можно путем добавления нового поля, как при создании таблицы, т.е. через "+", тогда можно будет добавить именно необходимое количество категорий.

меня больше интересует вопрос не создания дополнительных полей, это можно сделать как угодно.
Меня интересует что вы будете в эти поля записывать, и откуда будете брать данные для этих полей ?

 

1 час назад, stas2010 сказал:

нет - это не загрузчик прайс-листов. это сохранение настроек в виде таблицы и обратная загрузка этой таблицы настроек в модуль.

для чего это надо:

при создании той же таблицы для прайса, хотя тут тоже есть вопросы именно со списком границ, но всё же вручную быстро перенеся просто заголовки из прайса в таблицу настроек будет быстрее.

при создании тех же границ, когда необходимо создать быстро эти границы, особенно, если границы одинаковые и отличаются всего лишь одним-двумя словами как, например, атрибуты.

и .т.д.

опять же часть настроек для парсинга в магазин и для парсинга в таблицу одинаковы, а если параметров много, то дублирование занимает много времени.

 

можно сделать в виде таблицы, перевариваемой экселем, либо просто как ini-файл настроек 

Я так понял вы имеете в виду сделать выгрузку вот этого в эксель файл.
 

Спойлер

И загрузить обратно.
Как по мне создавать выгрузку и загрузку эксель файла для того что бы решить задачу по быстрому созданию заголовков в парсинег csv это перебор.

Конечно если это многим нужно я сделаю, но сейчас воспользуюсь правилом 95% - 5%
Делай то что нужно 95% в первую очередь. А то что нужно 5% откладывай.

[Axelenz]

Ещё одно предложение для реализации в модуле (если это возможно в рамках этого проекта).

Например, необходимо скачать фотографии, которые идентичны для товаров одной группы. Групп товаров - сотни и в каждой группе по пару десятков разновидностей товаров. Если мне необходимо заполучить эти фотографии для групп товаров, то сейчас приходится парсить весь сайт, весь десяток тысяч товаров. А было бы интересно, если была возможность указывать, к примеру, в закладке "Ссылки на товары", чтобы с каждой ссылки из "Очередь сканирования ссылок " бралось определённое количество (ну или одна) ссылок на товар. Или как-то по-другому реализовать такую возможность, чтобы не скачивать весь сайт, если понимаешь, какую часть сайта тебе необходимо заполучить... Пока не вижу гибкости в получении части необходимых ссылок... ну или я не всё знаю )

[Rassol2]

2 часа назад, Axelenz сказал:

Ещё одно предложение для реализации в модуле (если это возможно в рамках этого проекта).

Например, необходимо скачать фотографии, которые идентичны для товаров одной группы. Групп товаров - сотни и в каждой группе по пару десятков разновидностей товаров. Если мне необходимо заполучить эти фотографии для групп товаров, то сейчас приходится парсить весь сайт, весь десяток тысяч товаров. А было бы интересно, если была возможность указывать, к примеру, в закладке "Ссылки на товары", чтобы с каждой ссылки из "Очередь сканирования ссылок " бралось определённое количество (ну или одна) ссылок на товар. Или как-то по-другому реализовать такую возможность, чтобы не скачивать весь сайт, если понимаешь, какую часть сайта тебе необходимо заполучить... Пока не вижу гибкости в получении части необходимых ссылок... ну или я не всё знаю )

вы хотите иметь настройку в которой можно указать максимальное количество ссылок которые модуль будет брать с одной страницы ?
 

[Axelenz]

59 минут назад, Rassol2 сказал:

вы хотите иметь настройку в которой можно указать максимальное количество ссылок которые модуль будет брать с одной страницы ?

Нет. Чтобы можно было каким-то образом выбирать с каждой категории/подкатегории/группы с сайта, например, по одной ссылке (или произвольное количество), а не все. Это немного не то, что Вы написали.

 

Пример.

1. Спарсил я с помощью Вашего модуля с сайта донора все категории/подкатегории/группы.

2. Загнал эти категории в "Очередь сканирования ссылок", например.

3. Указал модулю, чтобы с каждой ссылки (категории/подкатегории/группы) он взял по одной ссылке (товара), если таковая имеется.

4. Парсю теперь по полученным ссылкам групповые фото, например, или групповые описания, что угодно...

 

P.S. Т.е. можно ли в "Очередь сканирования ссылок" поместить ссылки, полученные модулем и не используя "Стартовая ссылка" получить только по этим указаным ссылкам "Ссылки на товары"? которые реально нужны, а не вообще всё ? А при этом ещё и указать количество товаров по каждой из категорийных ссылок ?

Змінено 26 жовтня 2019 користувачем Axelenz

[Rassol2]

12 минут назад, Axelenz сказал:

3. Указал модулю, чтобы с каждой ссылки (категории/подкатегории/группы) он взял по одной ссылке (товара), если таковая имеется.

Но по сути это я и говорил.
сделать возможным указать модулю сколько брать ссылок, с одной ссылки очереди сканирования. Для попадания в список товаров.

[Axelenz]

1 минуту назад, Rassol2 сказал:

Но по сути это я и говорил.

Тогда мы поняли друг друга )

Согласитесь, что это немного расширяет возможности применения модуля для парсинга. Или, по крайней мере, сокращает на порядок время для парсинга в некоторых случаях.

[Rassol2]

@Axelenz вообше скоро буду дорабатывать сбор ссылок.
там уже подготавливаю две новые возможности.
Первая это указание глубины ссылок. При сканировании и сборе.
А вторая пока секрет, но думаю всем понравится   Только намекну. своего рада гибрид обычного метода сбора ссылок и альтернативного.
Который я объяснял в это видео.
 

Спойлер

 

 

[Rassol2]

1 минуту назад, Axelenz сказал:

Тогда мы поняли друг друга )

Согласитесь, что это немного расширяет возможности применения модуля для парсинга. Или, по крайней мере, сокращает на порядок время для парсинга в некоторых случаях.

не соглашусь
Но подумаю над вашим предложением.
Я не совсем понимаю как это может помочь ?
Тем более зачем нужно делать возможность взять по одному товару с каждой категории.

Я просто не сильно вижу перспективу для всех пользователей в этой возможности. Если это нужно вам для какой то сугубо специальной задачи, тогда такая возможность попадает в список нужно сделать но не срочно.

Но если здесь появятся фанаты этой идеи мы ее будем обсуждать и реализовывать.
 

[Axelenz]

14 минут назад, Rassol2 сказал:

Тем более зачем нужно делать возможность взять по одному товару с каждой категории.

На сайте есть группы, в которые входят товары. Каждому товару соответствует одно групповое фото, но оно с ватермаркой. Но когда зайти на любой товар в группе, то фото там уже чистое )

Это пример из последнего  парсинга.

[Rassol2]

Только что, Axelenz сказал:

На сайте есть группы, в которые входят товары. Каждому товару соответствует одно групповое фото, но оно с ватермаркой. Но когда зайти на любой товар в группе, то фото там уже чистое )

Это пример из последнего  парсинга.

ну вот это очень специфическая задача.
Но скорее всего когда я буду дорабатывать сбор ссылок будет возможность выполнить что то подобное.

[ZloyNoDobriy]

Здравствуйте! Интересует парсинг данного сайта ТЫЦ

Если есть возможность готов купить.

[Kiyoshi]

3 минуты назад, ZloyNoDobriy сказал:

Здравствуйте! Интересует парсинг данного сайта ТЫЦ

Если есть возможность готов купить.

Можно поподробнее.

[Rassol2]

1 минуту назад, ZloyNoDobriy сказал:

Здравствуйте! Интересует парсинг данного сайта ТЫЦ

Если есть возможность готов купить.

Здравствуйте.
Я не хочу практиковать такой подход как отвечать на вопрос подходит модуль для парсинга или нет.
Модуль это программа занимавшаяся парсингом. У этой программы есть набор инструментов для решения разных задач.

Нельзя просто взять и сказать подходит модуль или нет. Поскольку сам вопрос не корректно поставлен.

 

И ответ на этот вопрос хочу дать раз и навсегда.
Данный модуль подходит для парсинга сайтов ЛЮБОЙ СЛОЖНОСТИ!
 

А теперь корректно поставленный вопрос.
Подходит ли модуль для парсинга по вашим требованиям. Вот тут второй вопрос. Смотря что вам нужно.

Для того что бы проверить можно ли модулем парсить вам достаточно зайти на демо сайт и вставить ссылку в поле 1 нажать кнопку под номером 2 и если появится код в поле 3 значит модуль может парсить ваш сайт и проблем нету. Модуль способен парсить.

 

Спойлер

 

[Rassol2]

10 минут назад, ZloyNoDobriy сказал:

Здравствуйте! Интересует парсинг данного сайта ТЫЦ

Если есть возможность готов купить.

И вот вам сразу же правильный вопрос задали.
 

5 минут назад, Kiyoshi сказал:

Можно поподробнее.

 

 

Потому что парсить можно любую страницу в интернете если у вас к ней есть доступ.
Но если вы опишите свои требования к парсеру или необходимые возможности, тогда можно будет дать вам конкретный ответ, на конкретный вопрос.


Потому что я не знаю что вы вкладываете в слово парсить, напишу вам да. А потом окажется что модуль должен будет по нажатию одной кнопки все перенести. А это так не работает, и вы начнете мне говорить что я обманываю.
А я такого не хочу.