Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

1 час назад, ilyer сказал:

Подскажите есть ли возможность добавить выполнение js кода при переходе на ссылку?

В случае когда странице товара карточка товара подгружается динамически по клику на кнопку.

Можно ведь прописать  селектор кнопки и назначить ему click() при открытии страницы, и после этого парсить выведенный код. 

В хроме так делал с помощью tampermonkey. Не знаю как браузер в модуле настраивается. Такой подход бы мог много задач решить

нельзя.

В модуле нету движка обработки js по сути модуль протсо запрашивает код страницы и получает его, после чего рассматривается как просто текст.
В браузере все по другому, в браузере после получения кода браузер его обрабатывает так как в нем есть движок по работе с js.

Ссылка на комментарий
Поделиться на других сайтах

ВНИМАНИЕ!

Сейчас работаю над разделением ссылок по спискам.
К примеру у вас есть 3000ссылок.
Вы запустили парсинг и по окончанию обнаружили что загрузилось 2500товаров а остальные 500 ссылок по разным причинам выдали ошибки.
Так вот новый функционал заключается в том что бы сделать возможным выбор повторно парсить только ссылки которые были спарсены с ошибкой и не пере запускать весь процесс с начала.

Если у вас есть идеи около этого пишите сюда буду рассматривать.

Ссылка на комментарий
Поделиться на других сайтах

9 минут назад, Rassol2 сказал:

ВНИМАНИЕ!

Сейчас работаю над разделением ссылок по спискам.
К примеру у вас есть 3000ссылок.
Вы запустили парсинг и по окончанию обнаружили что загрузилось 2500товаров а остальные 500 ссылок по разным причинам выдали ошибки.
Так вот новый функционал заключается в том что бы сделать возможным выбор повторно парсить только ссылки которые были спарсены с ошибкой и не пере запускать весь процесс с начала.

Если у вас есть идеи около этого пишите сюда буду рассматривать.

Было бы неплохо добавить еще возможность парсинга тех ссылок которые еще ранние не парсились. Например запустили повторно сбор ссылок и модуль дособрал ссылки и столо их не 3000 а к примеру 4000 ссылок на товары. И хорошо бы иметь возможность запустить парсин только новых ссылок.

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах


2 минуты назад, Kiyoshi сказал:

Было бы неплохо добавить еще возможность парсинга тех ссылок которые еще ранние не парсились. Например запустили повторно сбор ссылок и модуль дособрал ссылки и столо их не 3000 а к примеру 4000 ссылок на товары. И хорошо бы иметь возможность запустить парсин только новых ссылок.

Да норм, подумаю как решить.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Помимо этого хорошо если бы модуль имел возможность спарсить все ссылки с магазина а затем как то группировать их по разным списка и затем парсить по отдельности (спискам). Допустим объединить все ссылки по категориями и производить. При этому что бы в проекте были все ссылки.

Сейчас это достигается путем удаление и загрузку нового списка ссылок в проект. А это неудобно.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


17 минут назад, Kiyoshi сказал:

Помимо этого хорошо если бы модуль имел возможность спарсить все ссылки с магазина а затем как то группировать их по разным списка и затем парсить по отдельности (спискам). Допустим объединить все ссылки по категориями и производить. При этому что бы в проекте были все ссылки.

Сейчас это достигается путем удаление и загрузку нового списка ссылок в проект. А это неудобно.

Да тоже идея хорошая.
Походу придется отложить релиз с делением ссылок по списками и переработать весь подход.
Изначально думал немного по другому организовать работу с списками. Но поскольку уже ввязываюсь в это дело действительно стоит сделать раз и на века. Так что попробую реализовать это.

Наверное попутно сделаю отдельную часть модуль по работе с ссылками, что бы можно было так же просматривать все эти списки и удалять ненужные ссылки по разным признакам.
Потом создать возможность по признакам формировать эти списки. Да и вообще добавить больше прозрачности в этот процесс.

Жаль что то что я начал делать теперь придется выкинуть, но зато модуль будет еше луче :)

Ссылка на комментарий
Поделиться на других сайтах

Интересно было бы иметь возможность (насколько это вообще возможно в реализации) некоторой сортировки ссылок.

- сортировка по времени добавления товара (фактически по id)

- сортировка по категориям

- сортировка по алфавиту

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, Axelenz сказал:

Интересно было бы иметь возможность (насколько это вообще возможно в реализации) некоторой сортировки ссылок.

- сортировка по времени добавления товара (фактически по id)

- сортировка по категориям

- сортировка по алфавиту

Смотря где. Если на странице работы с ссылками, а ее еше нет в модуле но я думаю я заменю вкладку парсинг в кеш под эти нужды.

 

3 минуты назад, Axelenz сказал:

- сортировка по времени добавления товара (фактически по id)

Если вы имеете в виду сортировку ссылок, какая будет парсится первой какая второй то тут не все так однозначно. Поскольку менять id ссылки не получится, тут только удалять все ссылки и записывать в базу обратно в нужном вам порядке. К примеру по алфавиту. Но это очень плохая затея. Я бы не хотел такое делать поскольку это гонять базу туда сюда бессмысленно.
 

5 минут назад, Axelenz сказал:

- сортировка по категориям

Сортировка по категории в плане списка, это вы скорее всего можете добавить к варианту сортировки по алфавиту. Так как это по сути одна и таже задача.
 

6 минут назад, Axelenz сказал:

- сортировка по алфавиту

То же самое что и по категории.


Если вы имеете в виду менять порядок ссылок для парсинга, то такого скорее всего не будет.
А если для просмотра на странице которую я буду создавать то возможно внедрю но уже второй волной, после того как выкачу первый вариант и им попользуются и будет понимание настолько необходимо внедрять сортировку для просмотра ссылок.

Ссылка на комментарий
Поделиться на других сайтах

Цитата

Смотря где. Если на странице работы с ссылками, а ее еше нет в модуле но я думаю я заменю вкладку парсинг в кеш под эти нужды.

 

Можно создать отдельную вкладку, между вкладками Сбора ссылок и Настроек парсинга, где обрабатывались бы ссылки до процесса парсинга, например сортировались бы и т.п.

А если туда подбросить ещё проверку на заполнение указанных границ, например:

Показать все ссылки без данных "Цена" или без "Фото". И указывается при этом количество таких ссылок. Тогда можно найти. например, ссылки, границы которых не захватили цену, фото и пр. данные...

 

Фактически то же самое, что мы делаем вручную в Excel, но уже после того, как всё спарсили... а если это можно будет проверить до того, т.е. получить предварительные итоговые данные по парсингу, то это будет интересно...

Изменено пользователем Axelenz
Ссылка на комментарий
Поделиться на других сайтах


50 минут назад, Axelenz сказал:

Можно создать отдельную вкладку, между вкладками Сбора ссылок и Настроек парсинга, где обрабатывались бы ссылки до процесса парсинга, например сортировались бы и т.п.

это я и сделаю из вкладки парсинг в кеш.
 

50 минут назад, Axelenz сказал:

А если туда подбросить ещё проверку на заполнение указанных границ, например:

Показать все ссылки без данных "Цена" или без "Фото". И указывается при этом количество таких ссылок. Тогда можно найти. например, ссылки, границы которых не захватили цену, фото и пр. данные...

Это нереально, для этого нужно как минимум спарсить данные по ссылкам. Так что нет это нереально.
 

51 минуту назад, Axelenz сказал:

Фактически то же самое, что мы делаем вручную в Excel, но уже после того, как всё спарсили... а если это можно будет проверить до того, т.е. получить предварительные итоговые данные по парсингу, то это будет интересно...

Как это сделать до парсинга.

Аналогия представим что я вам скинул 100 мобильных номеров, звонить по ним нельзя. И вы должны мне написать по какому номеру отвечает женский голос а по какому мужской.
Нереально.

Ссылка на комментарий
Поделиться на других сайтах

сделать пару закладок:

1. Спарсилось

2. Не спарсилось

в них соответствующие ссылки.

для второго пункта рядом с ссылками указать код ошибки.

можно также сделать напротив ссылки кнопку "Добавить в список", а на странице самой закладки "Поместить в список для парсинга".

можно просто в закладке вывести в таком виде:

 

Не спарсилось

Добавить все ссылки (для парсинга)

Ошибка 404:

==========

ссылка 1 Добавить в список Посмотреть (открыть в новой вкладке и посмотреть страницу в броузере)

ссылка 2 Добавить в список Посмотреть

 

Ошибка 503

==========

ссылка 3 Добавить в список Посмотреть

ссылка 4 Добавить в список Посмотреть

 

и т.д.

Первую вкладку аналогично, только без разделения на ошибки.

Также можно добавить кнопку для быстрого перехода в редактор границ с подстановкой выбранной ссылки

 

В "Не спарсились" также можно добавить ссылки, которые не спарсились по условиям (для проверки этих самых условий парсинга)

Изменено пользователем stas2010
Ссылка на комментарий
Поделиться на других сайтах


@stas2010 я пока вижу все более гибко.
Будет реализовано в виде гибрида страницы кеш донора и редактора товаров.

Список ссылок с возможностью выбрать ссылки по определенным фильтрам, и произвести действия над ними.
это должно быть более интуитивно понятно.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Всем привет, переустанавливал недавно модуль. И почему то перестало парсить seo данные. Что самое интересное в "пред просмотре" все нормально отображается и информацию сайта видит, при парсенге поля не заполняются. Раньше все работало, понимаю что мой косяк, но не пойму где я его допустил. Если кто сталкивался подскажите пожалуйста.

Спойлер


 

Снимок экрана от 2020-07-16 12-39-18.png

Снимок экрана от 2020-07-16 12-42-59.png

 

 

Изменено пользователем geepis
Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, geepis сказал:

Всем привет, переустанавливал недавно модуль. И почему то перестало парсить seo данные. Что самое интересное в "пред просмотре" все нормально отображается и информацию сайта видит, при парсенге поля не заполняются. Раньше все работало, понимаю что мой косяк, но не пойму где я его допустил. Если кто сталкивался подскажите пожалуйста.

  Показать контент

 

 

Снимок экрана от 2020-07-16 12-39-18.png

Снимок экрана от 2020-07-16 12-42-59.png

 

 

А вы включили работу с мета данными в разделе Название товара ? 

В пред просмотре показывается все в не зависимости от того будете вы это использовать или нет. 

Ссылка на комментарий
Поделиться на других сайтах

37 минут назад, Rassol2 сказал:

А вы включили работу с мета данными в разделе Название товара ? 

В пред просмотре показывается все в не зависимости от того будете вы это использовать или нет. 

Вы правы, сам бы я если честно не додумался. Спасибо большое, все заработало как часики)

Ссылка на комментарий
Поделиться на других сайтах


Только что, geepis сказал:

Вы правы, сам бы я если честно не додумался. Спасибо большое, все заработало как часики)

не за что.

Ссылка на комментарий
Поделиться на других сайтах

Здравствуйте, 

Занялся парсингом опций, указал повторяющиеся границы на доноре где брать опции, вставил в настройки парсинга в ИМ и в результате получаю все в таком виде: image.png.da99bb57b333f423bd59a8e82dd4d07c.png

Подскажите, что сделал не так? Как научить парсер видеть и разделять опции и на основе имен создавать каждую отдельно, а не все вместе?

Ссылка на комментарий
Поделиться на других сайтах


@arthurborsuk наверное все.
Прочтите как работать с опциями. По скриншоту непонятно что и как вы формируете.

Как работать с опциями расписано здесь - https://simplepars.top/index.php?page=note&note_id=12

Ссылка на комментарий
Поделиться на других сайтах

Я читал мануал и все сделал как по нему, но все равно не получается.

Вот настройки границы например имени опции:
image.thumb.png.dbc37bb509ebf7473522fb5e7ce09233.png

 

И вот настройки парсинга в ИМ:
image.thumb.png.575920ced1281394e0303918306ac964.png

Ссылка на комментарий
Поделиться на других сайтах


2 минуты назад, arthurborsuk сказал:

Я читал мануал и все сделал как по нему, но все равно не получается.

Вот настройки границы например имени опции:

Имя опции не является множественным значением. И там точно не должна находится повторяющаяся граница парсинга.
 

Спойлер


T3zY6IX.png
 

Пожалуйста когда выкладываете большие скриншоты используйте спойлер. Это облегчает читаемость поста.
Уже тут я вижу что вы делаете не верно.

Множественным может быть и должно быть.
Значение
Цена
Размер

Ссылка на комментарий
Поделиться на других сайтах

Правильно ли я тогда понимаю, что для каждой отдельной опции, нужно создать получается новую границу парсинга?
 

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, arthurborsuk сказал:

Правильно ли я тогда понимаю, что для каждой отдельной опции, нужно создать получается новую границу парсинга?
 

Правильно.
На каждую опцию нужно иметь свой набор данных. С значениями.
На каждую отдельно.

Ссылка на комментарий
Поделиться на других сайтах

Добрый день, а есть возможность собирать сразу разные опции:
Размер , цвет, а то получается каждый раз перепарсивать нужно чтобы добавить новые опции))

Ссылка на комментарий
Поделиться на других сайтах


17 минут назад, bodyak0 сказал:

Добрый день, а есть возможность собирать сразу разные опции:
Размер , цвет, а то получается каждый раз перепарсивать нужно чтобы добавить новые опции))

Он собирает сразу несколько опций с одного товара, допустим размер, цвет... и т.п сколько опций есть на товаре все можно собрать за один раз.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


24 хвилини назад, geepis сказав:

Он собирает сразу несколько опций с одного товара, допустим размер, цвет... и т.п сколько опций есть на товаре все можно собрать за один раз.

уже увидил +)

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.