[Поддержка] SimplePars - Универсальный парсер для ИМ

[Vladimir56]

Спасибо! Забыл про эту возможность, а то уже фильтром товаров начал пользоваться.

[Rassol2]

4 часа назад, medtech21 сказал:

Здравствуйте.
Да, подключено: http://php56.mcdir.ru/

 

У вас можно попросить настроить модуль на сайт за дополнительную плату? У меня очень много задач и я уверен, что у вас получиться выполнить данную задачу быстрее и качественней. 

Буду очень благодарен если согласитесь помочь.

Здравствуйте.

С могу установить вам модуль. Но настройку я сделать не могу, у меня нет на это времени.
Если нужно скидывайте доступ к фтп и админке и я установлю вам модуль.

[TSwedkov]

Чем больше пользуешься программой тем больше понимаешь, что программа отличная.

Нужны были товары не российского производства. Легко. Ставишь проверку границ "не Россия" и парсишь только импорт. (вместо 5000 ссылок  1500)

 

Но есть подозрение, что это не совсем комильфо. То есть ты все равно парсишь, то напрягаешь сервер и все такое

Но на этапе отбора урл тоже нет возможности фильтровать по стране товара.

 

Какой правильный алгоритм если я хочу минимизировать количество урл?

 

то есть надо спарсить все в цсв? потом фильтр? и потом оттуда ссылки в список?

Или есть какое то более красивое решение отобрать ссылки по фильтрам (страна,  валюта и тд)?

 

[Rassol2]

4 минуты назад, TSwedkov сказал:

Чем больше пользуешься программой тем больше понимаешь, что программа отличная.

Нужны были товары не российского производства. Легко. Ставишь проверку границ "не Россия" и парсишь только импорт. (вместо 5000 ссылок  1500)

 

Но есть подозрение, что это не совсем комильфо. То есть ты все равно парсишь, то напрягаешь сервер и все такое

Но на этапе отбора урл тоже нет возможности фильтровать по стране товара.

 

Какой правильный алгоритм если я хочу минимизировать количество урл?

 

то есть надо спарсить все в цсв? потом фильтр? и потом оттуда ссылки в список?

Или есть какое то более красивое решение отобрать ссылки по фильтрам (страна,  валюта и тд)?

 

Мне интересно если вы можете в csv как то определить ссылки не открывая, какая вам нужна какая нет.
То что мешает это указать в настройках фильтров?

И не забывайте что вы можете указать откуда брать ссылки и направлять движения сбора ссылок ограничивая разными фильтрами.
 

[TSwedkov]

4 минуты назад, Rassol2 сказал:

То что мешает это указать в настройках фильтров?

ничего! я же написал, что поставил проверку границ и страницы с "не Россия" пропускаются.

Но ведь чтобы пропустить нужно спарсить

 

То есть всеравно надо сделать 5000 обращений к донору.

 

вот я и думаю- как отобрать ссылки, что бы потом парсить только то что нужно. чтобы сделать 1500 запросов вместо 5000.

 

Касательно

9 минут назад, Rassol2 сказал:

направлять движения сбора ссылок ограничивая разными фильтрами.

если я верно понял, то фильтры касаются только символами самого урл. На этапе сбора ссылок парсинг не ведется и нет возможности фильтровать в теле страницы.

 

ссылки у тиу и пром уа обрезают даже фирму производитель

tiu.ru/p419820342-komplekt-kofejnyj-nat.html

tiu.ru/p275444356-kolosnik-dlya-zharovni.html

tiu.ru/p269781279-kovanyj-mangal-dlya.html

 

 

изучив раздел "Сбор ссылок URL/Сбор ссылок" я не понял как можно фильтровать по код страницы.

 

[Rassol2]

1 минуту назад, TSwedkov сказал:

если я верно понял, то фильтры касаются только символами самого урл. На этапе сбора ссылок парсинг не ведется и нет возможности фильтровать в теле страницы.

не верно.
Еше можно указать где именно находится ссылка на странице.
А еше можно указать откуда стартовать сбор и куда двигаться. Контролируя очередь сбора.

Вам сюда.
 

Спойлер

 

 

[TSwedkov]

57 минут назад, Rassol2 сказал:

не верно.

 

Уважаемый разработчик!

 

я предположил что на этапе сбора ссылок нельзя задать "Собирать ссылки с товарами страна производитель не Россия"

в чем я не прав то?

 это делается через контроль границ при парсинге. и все здорово работает

 

 

но мне нужно как то отобрать ссылки чтоб уменьшить количество обращений к донору.

вопрос как отфильтровать эти ссылки

 

[Rassol2]

5 минут назад, TSwedkov сказал:

в чем я не прав то?

Вы во всем правы.

Можете использовать ваше решение с парсингом в csv и потом отбирать и делать как вы это видите.
Благо модуль и это поддерживает.

Какое решение примете тем и пользуйтесь.
Моя задача обратить внимание что в модуле не только по ссылке можно оценивать ее принадлежность в момент сбора.
Но и по косвенным признакам, такие как:

1. С какой страницы собирается ссылка.
2. Где эта ссылка находиться на странице.

А вы можете решать ваши задачи любым удобным для вас способом.

[Motchanyy]

@Rassol2 Спасибо вам большое за разработку такого модуля)

Можно у вас уточнить, планируете вы интеграцию вашего модуля с FilterVier_SEO?

Спасибо за ответ.

[Rassol2]

1 минуту назад, Motchanyy сказал:

@Rassol2 Спасибо вам большое за разработку такого модуля)

Можно у вас уточнить, планируете вы интеграцию вашего модуля с FilterVier_SEO?

Спасибо за ответ.

Здравствуйте.
А что подразумевается под интеграцией ?

[Reanimaster]

33 минуты назад, Rassol2 сказал:

А что подразумевается под интеграцией ?

Подозреваю что автоочистка кеша фильтра)

[Rassol2]

29 минут назад, Reanimaster сказал:

Подозреваю что автоочистка кеша фильтра)

Ну если вопрос идет про очистку кеше, то нет я не буду делать очистку кеша стороннего модуля внутри парсера.
Это неправильно.
 

[Reanimaster]

3 часа назад, Rassol2 сказал:

Это неправильно.

Полностью согласен. Ждем от вас функционал скриптов. А там уже можно будет я думаю и модель стороннюю подгрузить и функцию вызвать. Либо свою написать.
Кстати. Пока ничего не известно о рекомендуемых товарах?

[Rassol2]

21 минуту назад, Reanimaster сказал:

Полностью согласен. Ждем от вас функционал скриптов. А там уже можно будет я думаю и модель стороннюю подгрузить и функцию вызвать. Либо свою написать.
Кстати. Пока ничего не известно о рекомендуемых товарах?

рекомендованные товары будут.
Сделаны будут по аналогии с
https://simplepars.top/index.php?page=note&n=46

 

но сперва скрипты.

[Axelenz]

57 минут назад, Reanimaster сказал:

Пока ничего не известно о рекомендуемых товарах?

То же самое спрашивал про Группы атрибутов... ответ: ждём скрипты )

А ведь характеристики без Групп атрибутов - как бусы разного цвета без нити. Все перемешаны как попало и потом попробуй разложить по полкам...

[Rassol2]

1 час назад, Axelenz сказал:

То же самое спрашивал про Группы атрибутов... ответ: ждём скрипты )

А ведь характеристики без Групп атрибутов - как бусы разного цвета без нити. Все перемешаны как попало и потом попробуй разложить по полкам...

И что вы этим хотите сказать ?
Вы хотите сказать что два атрибута цвет но в разных группах это нормально ?

 

Теперь весе что будут хотеть люди будет делаться через скрипты. ВСЕ!.
И только то что будет постоянно делаться через них будет перекочевывать в основной функционал.
Это своего рода теперь маячок направления движения.

[danu]

здравствуйте, подскажите пожалуйста как удалить отфильтрованные товары 

[Rassol2]

Только что, danu сказал:

здравствуйте, подскажите пожалуйста как удалить отфильтрованные товары 

Перейти в вкладке действие и выбрать действие удалить товар.
 

[danu]

2 минуты назад, Rassol2 сказал:

Перейти в вкладке действие и выбрать действие удалить товар.
 

извините, а фактический не удалиться из сайта? 

[Rassol2]

Только что, danu сказал:

извините, а фактический не удалиться из сайта? 

Если вы хотите удалить отфильтрованные товары.
Переходит в вкладку действие, выбираете удалить и они фактически удалятся с сайта раз и на всегда и без поворотно. - Это называется удаление товара.
 

[danu]

3 минуты назад, Rassol2 сказал:

Если вы хотите удалить отфильтрованные товары.
Переходит в вкладку действие, выбираете удалить и они фактически удалятся с сайта раз и на всегда и без поворотно. - Это называется удаление товара.
 

простите не правильно задал вопрос, до этого 2 категории парсил теперь 1, вот теперь нужно очистит и вывести только товары из ссылки

[Rassol2]

1 минуту назад, danu сказал:

простите не правильно задал вопрос, до этого 2 категории парсил теперь 1, вот теперь нужно очистит и вывести только товары из ссылки

а теперь сядьте и внимательно напишите вопрос.
Я не понимаю что вы хотите вывести. Что такое вывести товары по ссылке.

[danu]

5 минут назад, Rassol2 сказал:

а теперь сядьте и внимательно напишите вопрос.
Я не понимаю что вы хотите вывести. Что такое вывести товары по ссылке.

нужно очистит "редактор товаров" не удалая товары из сайта, думаю так понятнее

[Rassol2]

Только что, danu сказал:

нужно очистит "редактор товаров" не удалая товары из сайта, думаю так понятнее

Нет не понятно )))
Но если хотите то вот.
 

Спойлер

Укажите что вам нужен товар с не существующим id и у вас очистится список товаров без удаления.
Но что это может дать не знаю.

[danu]

4 минуты назад, Rassol2 сказал:

Нет не понятно )))
Но если хотите то вот.
 

  Показать контент

Укажите что вам нужен товар с не существующим id и у вас очистится список товаров без удаления.
Но что это может дать не знаю.

 смотрите, парсил час назад 1000 товаров, 5 минут назад с парсил 500 товаров, вот теперь в редактор товаров показывает 1000 товаров, мне нужно очистить раздел редактор товаров  что бы показал то что парсил 5 минут назад