Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Recommended Posts

Цитата

Я думаю это частично закроет эту подробность. 
Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. 

 

Большое спасибо, конечно этого будет вполне достаточно )

Link to post
Share on other sites

  • Replies 9.7k
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится  PS. Чуть не забыл. Кому пригодился нажмите палец верх 

1960 26 Скачать/Купить дополнение SimplePars - Уни

Обновление v4.0-12_beta Главная страница. Немного переработал убогость главной страницы.   Теперь с этой страницы можно сразу же отключить крон, если собираетесь работать вручную. Так

Posted Images

Ещё, как вариант, можно дополнить модуль ограничением на количество ссылок. Например, я смотрю, что у меня на сайте есть реально 100 товаров, ссылки на которые хочу получить, т.е. количество я знаю и выставляю его в поле и жду не окончания перебора всех возможных ссылок. а только когда будет "собрано" уже известное мне количество ссылок на товары.Можно конечно просто сидеть и смотреть на монитор. когда они насобираются, но вопрос в полной автоматизации, без контроля со стороны оператора.

 

И ещё исправьте, пожалуйста, на кнопке "Повторить фитрацию" на "Повторить фильтрацию"

Edited by Axelenz
Исправления
Link to post
Share on other sites

3 минуты назад, Axelenz сказал:

Ещё, как вариант, можно дополнить модуль ограничением на количество ссылок. Например, я смотрю, что у меня на сайте есть реально 100 товаров, ссылки на которые хочу получить, т.е. количество я знаю и выставляю его в поле и жду не окончания перебора всех возможных ссылок. а только когда будет "собрано" уже известное мне количество ссылок на товары.Можно конечно просто сидеть и смотреть на монитор. когда они насобираются, но вопрос в полной автоматизации, без контроля со стороны оператора.

Если вы знаете точное количество ссылок, значит оно строго задано определенной частью url 
А значит вы можете точно задать фильтр Шаблон ссылок.
Во всех остальных случаях когда вы точно знаете что товаров 10 но ссылок похожих на товар 1000 то если вы зададите ограничение вы получите 10 совпадений ссылок но ни в коем случаи не те 10 ссылок что вам нужны. 


 

Edited by Rassol2
Link to post
Share on other sites

Сейчас я считаю в подкатегории сколько товаров реально есть в ней и потом жду, когда в "собрано" появляется нужное мне количество. К сожалению, ограничивая максимально фильтрами сбор ссылок я недополучаю иногда по 1-2 ссылке, как я заметил... поэтому использую вот такой метод с визуальной проверкой. Получается, когда прерываю сбор ссылок, когда уже насобирал нужные мне, остаётся ещё с полтысячи ссылок, которые мне уже дальше не нужны... т.е. я так экономлю время.

 

Как на рисунке...у меня уже собрано количество необходимых ссылок на товар - 69, а в очереди ещё стоит полтысячи... но они мне не нужны...

00001.jpeg

Edited by Axelenz
Link to post
Share on other sites

33 минуты назад, Axelenz сказал:

Сейчас я считаю в подкатегории сколько товаров реально есть в ней и потом жду, когда в "собрано" появляется нужное мне количество. К сожалению, ограничивая максимально фильтрами сбор ссылок я недополучаю иногда по 1-2 ссылке, как я заметил... поэтому использую вот такой метод с визуальной проверкой. Получается, когда прерываю сбор ссылок, когда уже насобирал нужные мне, остаётся ещё с полтысячи ссылок, которые мне уже дальше не нужны... т.е. я так экономлю время.

Это пока вы не набили руку. Я уверен что это можно сделать настройками фильтров. 

Либо как я уже писал будет ведено еше одно понятие повторяющие границы парсинга. 
С их появлением вы сможете поменять подход. А именно.

Собираете ссылки на все категории и их страницы. 
Затем на вкладке настройки Параметры парсинга (нужно переименовать в настройки парсинга :) ) вы настраиваете повторяющую границу парсинга на получение ссылки на товар. 

И жмете старт. 
В итоге получите все ссылки на страницы товара в файле CSV


Как это наглядно будет выглядеть.
Вы собрали ссылки на все категории и их страницы. Это как правильно не сложно и их не так много как товаров.
Затем настроили повторяющие границы парсинга на ссылку товара внутри страницы категории.
 

 

Спойлер

1676763795__2018-12-13_20-25-41.thumb.png.e936011ce1ac44826aae3976ba19024b.png

 


примерно так 

 

Спойлер

1887823576__2018-12-13_20-25-29.thumb.png.d5cdda9f565692775a8a5558f0a7e815.png



И испарили в csv в первую колонку ссылки на товар. Вот так можно получать все ссылки на товар без фильтров. 

 


Но сейчас это можно и нужно делать через параметры фильтра

это просто два подхода к решению одной и той же задачи. Кому как удобно.
Но сейчас я реализовал пока только вариант с фильтрами. 
 

Edited by Rassol2
Link to post
Share on other sites
34 минуты назад, Axelenz сказал:

Как на рисунке...у меня уже собрано количество необходимых ссылок на товар - 69, а в очереди ещё стоит полтысячи... но они мне не нужны...

 

Спойлер

00001.jpeg

 


Что бы такое не повторялось используйте эти окна

Спойлер

83648836c7.thumb.png.26e1b6ba9779db5de97ed0c80d141f00.png


Они как раз и созданы что бы сузить выборку. И не делать как вы делаете.

Link to post
Share on other sites

Я в очереди сканирования ничего не ставлю потому как нашёл разницу в количестве спарсенных товаров.Шаблоны использую уже дальше в выдаче ссылок и получаю то, что хотел.

Link to post
Share on other sites

Только что, Axelenz сказал:

Я в очереди сканирования ничего не ставлю потому как нашёл разницу в количестве спарсенных товаров.Шаблоны использую уже дальше в выдаче ссылок и получаю то, что хотел.

В это и проблема.
Шаблон очереди как раз и отвевает за это количество 
c645ae367d.thumb.png.fce02980ba2b65251e4cdb52643116ca.png

если вы укажите тогда ненужно будет ждать и смотреть. Модуль будет ходить только там где нужно. И брать только то что нужно. 
и у вас исчезнет потребовать в функции остановки от определенного количества найденных. 

пробуйте, я думаю вам понравится. :) 

  • +1 1
Link to post
Share on other sites

Подготовил и выгрузил новое обновления. 
Ну что по очереди пойдем.

Из заметных изменений
1. Благодаря пользователю @kikaridza123  было добавлена нумерация строк в обозревателя кода. За что ему спасибо.
 

Спойлер

e43d4bcb18.thumb.png.0361109a5678486dacf38d2dd476db78.png

 

Были добавлены функции для редактирования ссылок очереди, и ссылок выдачи.
теперь можно их заносить вручную если у вас на руках есть перечень ссылок. 
Важно каждая ссылка должна быть написана с новой строки.
 

Спойлер

02fb7d02b8.thumb.png.bf89396b82e73b7a385718154eb4c4a4.png

Это для вас @Axelenz сделано можете теперь добавлять ссылки сгенерированные в экселе. 

3. При нажатии стоп на странице сбора ссылок теперь не просто останавливается парсинг но и делается перезагрузка страницы что бы вы могли сразу видеть актуальную информацию.


4. На странице настройки CSV В выпадающем списке выбора ссылок для пред просмотра было добавлена нумерация ссылок.
Так же ограничено отображение длинных ссылок что бы не ломать верстку. Ограничение в 190 символов. 
Так же для пред просмотра выводится максимум 5000 ссылок. При тестировании оказало долговато грузится страница когда попадается 10 000 ссылок для пред просмотра. Думаю это незачем. 

Так теперь то что не заметно. 
1. Модуль теперь работает через cURL 
2. Создал зачатки логирования. Теперь в директории /admin/uploads/ создается log файл в который идут все выхлопы от запросов модуля к другим сайтам. 
Имя файла формируется по принципу logs_[id формы]_[2018-12-14].log
Логи сами не удаляются.
Вообще пока что у меня нету опыта что в логах нужно что нет как писать и хранить, так что реши сделать пока что так. 

Сейчас в логах пишутся только ответы сервера на запрос. Дальше по мере необходимости буду думать что добавить. 
Как это выглядит:

Спойлер


Цитата

Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/policyandsafety/uk/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/testtube
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/answer/1738660?hl=en
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com/javascript:void(0)
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/?hl=uk
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/answer/1738660?hl=uk
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/t/terms
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/dev/uk/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/advertise/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/creators/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/t/contact_us
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/copyright/uk/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/press/uk/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/about/uk/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/dev/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/dev/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/about/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/about/copyright/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://support.google.com/youtube/answer/2797370
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/about/policies/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/lineups/en/index.html
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/about/press/
Парсинг : ОШИБКА Страница не найдена. Ответ сервера [404] Ссылка | https://www.youtube.com/yt/dev/en/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/creators/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/advertise/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/musicpremium/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/intl/en/yt/about/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/policies/#community-guidelines
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_light_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_dark_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_logos.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_dark_logo.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_light_logo.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/user/advertise
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/copyright/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://www.youtube.com/


 

Система логов поможет понять почему сканирование ссылок идет, а в очередь или в выдачу новые не попадают. 
может так произойти что вас забанило. 
Пока логи на большую часть ответов могут отдавать не определен код ответа и номер ответа. Пишите такие коды здесь на форуме и я их добавлю. 
код ответа написан в квадратных скобках [404]

Как то так. 

Единственное что хочу напомнить:
Господа не забываем что модуль это веб приложение и он подчиняется настройкам веб сервера. 
А значит нельзя взять файл размером в 20мб в котором одни ссылки. И скопировать их в очередь ссылок или выдачи и сохранить. 
не забывайте что есть ограничение на размер POST запроса. 

Вроде все. 
Обновитесь, пользуйтесь. 

Edited by Rassol2
  • +1 1
Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

пользуйтесь. 

Запустил вчера парсинг,
сегодня пришел утром к 10 часам было спарсено 521 ссылка,  ( вообщем модуль прекратил свою работу вчера вечером еще) 
подозреваю что из-за окончания сессии ( так как после перезагрузки страницы - нужно было снова авторизоваться)
--
Сейчас запустил далее парсинг
http://prntscr.com/lutcf8
Будем ждать. 

Link to post
Share on other sites

1 минуту назад, kikaridza123 сказал:

Запустил вчера парсинг,
сегодня пришел утром к 10 часам было спарсено 521 ссылка,  ( вообщем модуль прекратил свою работу вчера вечером еще) 
подозреваю что из-за окончания сессии ( так как после перезагрузки страницы - нужно было снова авторизоваться)
--
Сейчас запустил далее парсинг
http://prntscr.com/lutcf8
Будем ждать. 

Окончание сессии. Интересно. 
Вообще не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 
Отпишитесь по результату. У вас прям в лоб стресс тест пошел ))

Link to post
Share on other sites

Добрый день!

Подскажите, пожалуйста, скачала и установила модуль. Все вроде ок. Так же установлен модуль АОП. 

Какой должен быть алгоритм действий? Есть файл поставщика, где есть артикул, название, цена, наличие, но нет ни описаний, ни характеристик, ни фото.

Есть сайт поставщика, откуда можно спарсить фото товара и немного характеристик. Артикул и название товара совпадают в прайсе и на сайте поставщика. 

Для модуля АОП мне нужно собрать ссылки на страницы товара и добавить их в прайс поставщика чтобы там настроить парсинг. 

Как это с помощью модуля сделать пошагово? 

1. Собрать ссылки во вкладке сбор ссылок.

2 А во вкладке параметры парсинга что можно сделать?

 

Пока хочется алгоритм понять от сбора ссылок, до момента как добавить эти ссылки в файл excel для АОП. 

 

Link to post
Share on other sites

На данном этапе я бы на вашем месте собрал ссылки на сайт поставшика. И просто записал в файл Ексель. А весь парсингу настроил через аоп . 

Либо всё собрать и спросить этим модулем а фото и характеристики через аоп .

 

По поводу вкладки параметры парсингу. Там нужно указать начало и конец парсинга для каждого элемента. Инструкция пока не готова. К сожелению. На примере какой то ссылки могу показать 

Edited by Rassol2
Link to post
Share on other sites
27 минут назад, Rassol2 сказал:

На данном этапе я бы на вашем месте собрал ссылки на сайт поставшика. И просто записал в файл Ексель. А весь парсингу настроил через аоп . 

Либо всё собрать и спросить этим модулем а фото и характеристики через аоп .

 

По поводу вкладки параметры парсингу. Там нужно указать начало и конец парсинга для каждого элемента. Инструкция пока не готова. К сожелению. На примере какой то ссылки могу показать 

А как потом совместить 2 файла экселя? Файл поставщика и файл с собранными модулем ссылками на товар? 

 

В параметры парсинга зачем люди лезут? Что обычно парсят там?

 

Я, наверное самую элементарщину спрашиваю, понять основу нужно, чтоб дальше двигаться...

Link to post
Share on other sites

Только что, Eugeniyaya сказал:

А как потом совместить 2 файла экселя? Файл поставщика и файл с собранными модулем ссылками на товар? 

 

В параметры парсинга зачем люди лезут? Что обычно парсят там?

 

Я, наверное самую элементарщину спрашиваю, понять основу нужно, чтоб дальше двигаться...

первая вкладка поможет вам собрать ссылки.
Но вам нужно получить не только ссылки но и цену название. 

Вот что бы выделить из страницы цену и название вам нужно вкладка настройки парсинга. 
Допустим вам нужно спарсить все названия товаров. 
вы собрали все ссылки на товары. Затем заходите в вкладку парамтеры парсинга и делаете так.
http://joxi.ru/D2PYagbuqpvP5A

После чего идете в колонку настройки CSV и делаете так.
http://joxi.ru/Dr8yGa0fo4d8ym

и снизу видите пример csv файла что вы получите. 
затем жмете парсинг и у вас на выходе такой прайс.
1402551194__2018-12-14_14-13-38.thumb.png.d7700e1d62652abbcc4aeac07bfa4edc.png

По аналогии можно сделать прайс с любыми данными с сайта донора.

для этого и нужно идти в вкладку параметры парсинга

Link to post
Share on other sites
7 минут назад, Rassol2 сказал:

первая вкладка поможет вам собрать ссылки.
Но вам нужно получить не только ссылки но и цену название. 

Вот что бы выделить из страницы цену и название вам нужно вкладка настройки парсинга. 
Допустим вам нужно спарсить все названия товаров. 
вы собрали все ссылки на товары. Затем заходите в вкладку парамтеры парсинга и делаете так.
http://joxi.ru/D2PYagbuqpvP5A

После чего идете в колонку настройки CSV и делаете так.
http://joxi.ru/Dr8yGa0fo4d8ym

и снизу видите пример csv файла что вы получите. 
затем жмете парсинг и у вас на выходе такой прайс.
1402551194__2018-12-14_14-13-38.thumb.png.d7700e1d62652abbcc4aeac07bfa4edc.png

По аналогии можно сделать прайс с любыми данными с сайта донора.

для этого и нужно идти в вкладку параметры парсинга

Спасибо огромное, уже понятнее, картина мира проясняется) как с модулем работать.

Только на выходе я получаю два файла для заливки товара на сайт. Собраный модулем + прайс поставщика. Их же нужно объединить чтоб скормить АОП? Ну т.е есть в прайсе 5000 товаров, артикулы одинаковые с новым файлом, но порядок строчек в файлах разный. Просто так не скопировать столбики. Неужели вручную искать какому товару ссылка соответствует? Или эксель как-то может по артикулу найти и расставить все по местам? 

Или в АОП поочереди 2 разных файла заливать, а он там по артикулам сам как нибудь разберется?

Link to post
Share on other sites

18 минут назад, Eugeniyaya сказал:

Или в АОП поочереди 2 разных файла заливать, а он там по артикулам сам как нибудь разберется?

и вот вы сами нашли правильное решение.
Если у вас есть файл где есть все данные кроме (Например) фото и описания.
Вы можете спарсить файл моим модулем в котором указать артикул, ссылку на фото, описание, и цены. 
А затем полученный прайс скормить АОП с действием обновлять. 
Вот и ваше решение. 

Link to post
Share on other sites
20 минут назад, Rassol2 сказал:

и вот вы сами нашли правильное решение.
Если у вас есть файл где есть все данные кроме (Например) фото и описания.
Вы можете спарсить файл моим модулем в котором указать артикул, ссылку на фото, описание, и цены. 
А затем полученный прайс скормить АОП с действием обновлять. 
Вот и ваше решение. 

Уффф, спасибо!!!! Теперь по местам все встало))). Но со сбором ссылок уже вижу вопросы появятся. Спасибо огромное за поддержку. Жаль что плюсы в репутации закрыли(((  

Link to post
Share on other sites

3 часа назад, Eugeniyaya сказал:

Уффф, спасибо!!!! Теперь по местам все встало))). Но со сбором ссылок уже вижу вопросы появятся. Спасибо огромное за поддержку. Жаль что плюсы в репутации закрыли(((  

задавайте будем помогать. 

Link to post
Share on other sites

Сегодня внедрял повторяющиеся границы парсинга. 
И почти закончил, а это значит что скоро будет огромный скачек в развитии модуля. 
Вот к примеру чего можно добиться используя повторяющие гранизы парсинга. 
http://joxi.ru/a2XZ1ldfw1daJr

Все колонки обведенные получены при помоши повторяющих границ. 
к примеру 
Г фото, допустим у вас есть главное фото, но у него нету уникального текста начала и конца парсинга. При помощи повторяющихся границ это стало возможно.
Так же собрать все фото в одну ячейку с разделителем тоже доступно. Как в ячейке Доп фото.
Так же теперь собираются категории товара. Как в ячейке Категории.
И те кто владеют екселем уже поняли что при помощи функции разделить по признаку ; можно получить полностью готовы прайс для загрузки в АОП

Сбор атрибутов это очень сложная задача. Я не могу сказать что уже это решено, но простейшие атрибуты можно собирать без проблем.  
После появления функции поиск замена, вопрос с парсингом атрибутов будет полностью закрыт. 

Так похвастался а теперь дальше писать. 
Как только закончу тестирования выкачу новую версию. 

Еше пару скриншотов по порядку формирования данных при помощи повторяющихся границ парсинга. 

Спойлер


Создаем обычную границу парсинга.

e43d4bcb18.thumb.png.36cd1c12025fbb6b4bfbcda0dd43f8a7.png

 

 Создаем повторяющуюся границу парсинга внутри обычной. :cool:

742321b0b8.thumb.png.ec52b5394fc53ec2a86b220c448a7e0e.png

 

Выводим данные с повторяющейся границы парсинга.

b497e009ae.thumb.png.7184c16c89b1d94a8d8867dd88123ac3.png

 

 

Ждите обновления. :rolleyes:

Link to post
Share on other sites

Жду с нетерпением, хочеться глянуть и попробовать, а то у меня на 1.0.3 таблица не создаётся ни на локалке, ни на сервере, ни на одном из рабочих сайтов (((

 

Выдаёт то ошибку

 

Notice: Undefined index: csv_name in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 415

 

или

 

Notice: Undefined index: csv_name in /home/admin/web/sub.dom.com.ua/public_html/admin/model/catalog/simplepars.php on line 415Warning: Cannot modify header information - headers already sent by (output started at /home/admin/web/sub.dom.com.ua/public_html/admin/index.php:80) in /home/admin/web/sub.dom.com.ua/public_html/system/library/response.php on line 12

 

то ещё какую фигню, но парсить не хочет...

  • +1 1
Link to post
Share on other sites

5 часов назад, Axelenz сказал:

Жду с нетерпением, хочеться глянуть и попробовать, а то у меня на 1.0.3 таблица не создаётся ни на локалке, ни на сервере, ни на одном из рабочих сайтов (((

 

Выдаёт то ошибку

 

Notice: Undefined index: csv_name in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 415

 

или

 

Notice: Undefined index: csv_name in /home/admin/web/sub.dom.com.ua/public_html/admin/model/catalog/simplepars.php on line 415Warning: Cannot modify header information - headers already sent by (output started at /home/admin/web/sub.dom.com.ua/public_html/admin/index.php:80) in /home/admin/web/sub.dom.com.ua/public_html/system/library/response.php on line 12

 

то ещё какую фигню, но парсить не хочет...

Скиньте в личку фтп доступ и я посмотрю в чем у вас ошибка, и если что добавлю фик в релиз. 
Пока что я такую не встречал у себя. 

Link to post
Share on other sites

Выкатил обновление 1.0.в котором только устранение 2 ошибок но критичных.
Спасибо пользователю @Axelenz  что предоставил доступ для отлови.

Ошибка касается только тех пользователей то переходил от версии к версии, а не устанавливал с нуля. 
а именно ошибка, при заходе в вкладку Настройка CSV / Запуск парсинга данных

 

Notice: Undefined index: csv_name in ..../public_html/admin/model/catalog/simplepars.php on line 415


Для устранения ошибки вам необходимо, залить файлы модуля по верх с заменой, и ОБЯЗАТЕЛЬНО выполнить скрипт /inst.php

Edited by Rassol2
Link to post
Share on other sites

Выложил новую версию 1.1 с добавлением нового функционала. 

Что нового в этой версии.

Немного причесал страницу сбора ссылок, и исправил недочеты в коде. 
 

Спойлер

1.thumb.png.b0dda23e5afba4bc78d2b812cbda8254.png


На странице Настройки парсинга появилась возможность использовать повторяющие границы парсинга. 
Суть функции на пальцах. 

Первый сценарий применения
Допустим вам нужно спарсить значение код товара из этого куска кода. 
 

<div class="line-info">
<span>Код товара</span>
<span>1458391</span>
</div>
<div class="line-info">
<span>Артикул</span>
<span itemprop="sku">00001089</span>
</div>

Здесь у вас нету за что зацепится что бы получить чистый код товара. Но при помощи функции повторяющиеся границы во можете сделать так. 
Создать границу парсинга с названием Границы. и указать ей параметры 
Старт - <span>Код товара</span>
Стоп - </div>

После этого модуль отрежет от всей страницы только нужный вам кусок кода. А именно
 

<span>1458391</span>


Затем в поле Область для повторяющей границы парсинга выбираем Границы

 

Старт - <span>
Стоп - </span>

поскольку теперь у нас только одно такое совпадение мы получим значение 1458391

Второй сценарий применения
Допусти нам нужно спарсить категории с хлебных крошек. 
 

<section class="main">
<section class="content-right card" itemscope itemtype="//schema.org/Product">
<div class="breadcrumbs">
<span>Крепеж и метизы</span> / <span>Саморезы, шурупы</span> / <a href="/catalog/F04020_samorezy_dlya_krepleniya_listovogo_metalla">Саморезы для листового металла и направляющих</a> / <a class="bold" href="/catalog/F0402020_samorezy_po_metallu_sverlo">Саморезы по металлу со сверлом</a>
</div>
<h1 itemprop="name">Саморез по металлу 4,2х25 сверлоконечный (5000шт)</h1>
<div class="card-left">

Представим что нам нужно только 2 первых категории. 

Создаем границу парсинг с именем Границы категорий и значением
Старт - <div class="breadcrumbs">
Стоп - </div>

Затем создаем повторяющиеся границу парсинга с именем Категории и в поле Область для повторяющей границы парсинга выбираем Границы категорий а так же указываем разделитель к пример символ |
и указываем старт и стоп.

 

Старт - <span>
Стоп - </span>
 

После обработки в ячейке эксель документа мы получим 

Крепеж и метизы|Саморезы, шурупы
Кому нужно такой прайс скормить АОП можете через функцию Текст по столбцам в экселе разнести каждую категорию в отдельную ячейку. 

Третий сценарий 
А вот третий сценарий будет полностью готов с версии 1.2,
В крации это точный сбор ссылок без лишних проходов по сайту донору. 

=============================================================

Настройка Повторяющихся границ парсинга

Создаем обычную границу парсинга
 

Спойлер

3.thumb.png.42edb05637e02e518a6272578ee831bd.png



Затем создаем повторяющуюся границу парсинга внутри обычной. И указываем разделитель.

 

Спойлер

9.thumb.png.ff3e295d0a457f0e565cadb1878919c2.png



Хочу обратить ваше внимание что Повторяющаяся граница парсинга может быть как внутри обычно границы, так и внутри всей страницы сайта. 

При оформлении CSV файла повторяющаяся граница парсинга помечена символом
 

Спойлер

6.thumb.png.05c59c7a3c866cb3ac553ad1ce197677.png


На выходе вы можете получить вот такой файл.
5.thumb.png.9546928305da3625a779574a0d4015db.png

Обратите внимание что уже можно парсить атрибуты , с простой разметкой. Так же обратите внимание как получилась структура категорий.


Другие изменения по мелочи.

 

В логах теперь выводится время.
1846429589__2018-12-17_11-40-52.thumb.png.a72b0eb5faf1668c779dcfca45ebe24a.png

На странице настройки csv появилась возможность выбора разделителя CSV файла, а так же символа экранирования.
7.thumb.png.e1c3d6beec871a76b677b5ce6c48f285.png

Для тех ребят кто использует не Эксель а свободные аналоги, опен офис, или wps офис. Короче главное дал выбор, а там можете разделителем хоть свое имя указать :)
 

Рестарт парсинга в файл.
Если вы сделал настройки начали парсить увидели что в файле что то не так, вы можете остановить поправить и запустить заново. 
Что бы процесс парсинга в файл начался с начала нужно нажать Перезагрузить ссылки8.thumb.png.aadd63ad4976c841ac21dbbf556d851d.png

И все ссылки из списка обработанные попадут в список ссылки в очереди.

Вроде все ничего не забыл.
Вроде мало. Но это повторяющие границы очень сильно раздвигают рамки возможностей. 
С нетерпением жду ваши отзывы. 

@Axelenz @kikaridza123 @SiteMix

Edited by Rassol2
  • +1 2
Link to post
Share on other sites

Ух ты! Столько изменений, что впору перечитывать ветку чтобы разобраться что к чему...

 

Наверное не с того начинаю, но и на мелочи нужно обращать внимание...

 

1. Вкладка Сбор ссылок.
1.1. Блок в котором расположен заголовок страницы в panel-heading имеет класс "col-md-1" из-за чего заголовок переносится.

Спойлер

image.png.b14cfa07afb5d4e75e0091115b2b00c0.png

Очевидно, пропущена двойка. На других страницах класс правильный "col-md-12".

1.2. При заполнении данных и переходе на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

1.3. Нет кнопки выхода из проекта. Только хлебные крошки. Предлагаю два варианта:
- добавить кнопку Применить, на которую перенести действие имеющейся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

2. Вкладка Настройки парсинга. Вижу надпись: "Warning! Не выбрана ССЫЛКА для просмотра кода --->", а справа пустое поле, но оно схлопнуто наполовину.

Спойлер

image.thumb.png.1c2a57fa87e6b02b873c8a6f8e9d23a0.png

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвета я бы переделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных алертах .
Как оказалось, надпись пока вбита прямо в контроллер, но, полагаю, это временно и она будет перенесена в локализацию.


Запустил сканирование. Почему-то сканирование не запустилось, а в логе такая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайта запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент сбор ссылок прекратился.

Запустил сканирование другого сайта. Процесс пошёл, но очень медленно. За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар посчитан 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

 

Тут пришла пора описать следующий нюанс на который я обратил внимание...

3. Если во время сканирования перейти на другую вкладку, то оно останавливается.
Если остановка не устранима, то надо будет упомянуть этот момент в инструкции, когда она будет.


Всю тему не читал, поэтому, сорри, если что-то уже упоминалось..

 

Продолжение следует...

Edited by SiteMix
  • +1 1
Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Similar Content

    • By Otvet
      Работает на живых магазинах с 2.5 млн позиций, если у вас больше - точно так же будет работать.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Статус Не получено – не удалось получить файл Sitemap больше не страшен т.к. есть патч ЧПУ адреса сайтмапа в 2 клика
       
       
      У доменов .рф проблемы с приемом Гуглом любого сайтмапа, когда гугл исправит ошибку неизвестно
       
      C посадочными OCFilter 4.8 модуль не работает, не включайте в настройках.
       
      Преимущества:
      ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (~ в 20-200 раз) может заменять оригинальный google_sitemap (до версии 4.0), сохраняя максимальную совместимость со сторонними модулями, работа производится полностью так, как будто стоит родной, с версии 4.0 модуль не заменяет, имеет собственный контроллер и админку добавление lastmod (значительно ускоряет индексацию) в отличии от рудиментов priority и changefreq устранение дублей товаров в содержании валидация яндексом фикс &amp при использовании seo_pro (error on line 1 at column ....: EntityRef: expecting) мультисайтмап (сайтмап сайтмапов)  
      Уникальные функции:
      возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл{ы} с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter (до версии 4.7.*) SEO страницы Filter Vier (не гарантируется, т.к. там бесконечные переделки и ioncube) страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS (обновить сайтмап до последней версии) #FX Brands логирование обращений ботов Яндекс/Гугл/... пересчет даты модификации категории (lastmod) исходя их свежей даты последней модификации товаров данной категории  
       
      Изображения
      В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
      В связи с этим, дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
      Так же обязательна к прочтению статья по данной теме
       
      ------------------
      * - поддерживаются таблицы БД blog/news/article (в т.ч. ocstore3 blog)
      по запросу патч для: 
      newsblog revolution blog lightshop blog unishop blog journal3 blog octemplates blog technics_blog airdus blog в любой момент авторы в сторонние блоги могут внести изменения и поддержка исчезнуть
       
      ------------------
      Важно:
      Срок бесплатной технической поддержки - 1 год Локальные серверы и прочее не входит в поддержку Техподдержка, обновление на одну версию опенкарт При заказе настройки, учитывайте что она должна производиться на полностью готовом сайте, дабы потом не делать заново
    • By Otvet
      750 11
      Скачать/Купить дополнение


      #FX Sitemap - Сверхскоростная Карта сайта [xml] с широким функционалом
      Работает на живых магазинах с 2.5 млн позиций, если у вас больше - точно так же будет работать.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Статус Не получено – не удалось получить файл Sitemap больше не страшен т.к. есть патч ЧПУ адреса сайтмапа в 2 клика
       
       
      У доменов .рф проблемы с приемом Гуглом любого сайтмапа, когда гугл исправит ошибку неизвестно
       
      C посадочными OCFilter 4.8 модуль не работает, не включайте в настройках.
       
      Преимущества:
      ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (~ в 20-200 раз) может заменять оригинальный google_sitemap (до версии 4.0), сохраняя максимальную совместимость со сторонними модулями, работа производится полностью так, как будто стоит родной, с версии 4.0 модуль не заменяет, имеет собственный контроллер и админку добавление lastmod (значительно ускоряет индексацию) в отличии от рудиментов priority и changefreq устранение дублей товаров в содержании валидация яндексом фикс &amp при использовании seo_pro (error on line 1 at column ....: EntityRef: expecting) мультисайтмап (сайтмап сайтмапов)  
      Уникальные функции:
      возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл{ы} с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter (до версии 4.7.*) SEO страницы Filter Vier (не гарантируется, т.к. там бесконечные переделки и ioncube) страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS (обновить сайтмап до последней версии) #FX Brands логирование обращений ботов Яндекс/Гугл/... пересчет даты модификации категории (lastmod) исходя их свежей даты последней модификации товаров данной категории  
       
      Изображения
      В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
      В связи с этим, дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
      Так же обязательна к прочтению статья по данной теме
       
      ------------------
      * - поддерживаются таблицы БД blog/news/article (в т.ч. ocstore3 blog)
      по запросу патч для: 
      newsblog revolution blog lightshop blog unishop blog journal3 blog octemplates blog technics_blog airdus blog в любой момент авторы в сторонние блоги могут внести изменения и поддержка исчезнуть
       
      ------------------
      Важно:
      Срок бесплатной технической поддержки - 1 год Локальные серверы и прочее не входит в поддержку Техподдержка, обновление на одну версию опенкарт При заказе настройки, учитывайте что она должна производиться на полностью готовом сайте, дабы потом не делать заново Добавил Otvet Добавлено 22.03.2016 Категория SEO, карта сайта, оптимизация Системные требования умение читать инструкцию, IQ > 70 Метод активации Автоматическая активация Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Нет  
    • By ambalocha69
      3500
      Скачать/Купить дополнение


      Диспетчер YML\XML
      По вопросам предпродажного консультирования и поддержкой модуля после покупки обращайтесь к пользователю @ncv
      Модуль "Диспетчер YML\XML" для Opencart\ocStore версии 1.5.Х - 3.0
      Предназначен для подключения к ИМ неограниченного количества поставщиков, предоставляющих прайс-листы и описания товаров в формате YML\XML\CSV.
      Самое актуальное описание доступно на официальной странице модуля: http://opencart.zone/modules-2-0/xml2.html
      Основные возможности:
      Производители
      выборочная загрузка производителей перенаправление производителей создание производителей из панели модуля Категории
      выборочная загрузка категорий перенаправление категорий Атрибуты
      настройка соответствий каждого входного параметра параметрам вашего ИМ Индивидуальные настройки для каждого поставщика
      режимы добавления\обновления загрузка изображений связующие поля модификаторы цены Индивидуальные логи для каждого поставщика
      лог загрузки лог уведомлений о появлении у поставщика новых категорий, производителей, атрибутов Структура модуля
      Модуль состоит из основного блока и набора микро-модулей (драйверов), каждый из которых реализует обработку какого либо конкретного формата входных данных по общей схеме. На текущий момент в состав модуля входят следующие драйверы:
      обработка YML - задача решена в общем виде и годится для подавляющего большинства фидов Дополнительно (за отдельную плату) предоставляются драйверы для работы со следующими поставщиками, использующими нестандартные форматы или теги, или предоставляющие собственное API:
      textiloptom.net (API) odeyalaoptom.ru (API) shopntoys.ru (API) gifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) happygifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) oasiscatalog.com (API) Интеграция со "Связанными опциями" (https://opencartforum.com/files/file/2421-%D1%81%D0%B2%D1%8F%D0%B7%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5-%D0%BE%D0%BF%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-opencart2/):
      Загрузчик состоит из 2-х дополнительных блоков:
      - обработчик вариантов (делается под конкретный фид)
      - АПИ сохранения связанных опций
      Тестирование проводилось на фиде от https://www.qpstol.ru/ , который содержит примерно 10700 товаров
      Для подобных проектов ОБЯЗАТЕЛЬНО используйте VDS!
      Для указанного поставщика время загрузки ВСЕХ товаров (по 3-5 изображения в каждом, плюс изображения опций цвета) составляет 5-6 часов.
      Обновление цен и остатков - 30-40 минут.
      По вопросам приобретения расширений писать в ЛС или на почту.
      Установка модуля
      Модуль имеет единый дистрибутив для всех версий Opencart.
      Для всех сборок ниже 2.3: распакуйте архив zoxml2.170209.zip (или более позднюю версию) в корень вашего сайта. Цифры означают дату выпуска дистрибутива — ГГММДД.
      Для 2.3: распакуйте архив zoxml2_3.170209.zip (или более позднюю версию) в корень вашего сайта.
      Распакуйте архив zoxml2_yml.170209.zip в корень вашего сайта (драйвер обработки YML)
      Распакуйте архив zoxml2_scripts.170209.zip в корень вашего сайта (дополнительные скрипты и фильтры)
      Если вы приобрели дополнительные драйверы, то также распакуйте их в корень вашего сайта.
      Для версий 1.5.Х дополнительно также распакуйте архив zoxml1.160511.zip
      Далее перейти в админке в список модулей, найти в нем "Диспетчер YML\XML" и активировать модуль.
      Настройка модуля
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Перейти в блок общего управления модулем В закладке "СИСТЕМА" установить нужные параметры ВНИМАНИЕ: начиная с версии 170209 появилась возможность модифицировать таблицу product - добавлять в нее дополнительное поле supplier (поставщик) для хранения идентификатора поставщика. Будьте осторожны! Использование этой возможности может привести к конфликтам с другими модулями и сделает невозможным восстановление ранее сохраненных копий БД. Поэтому после включения этой возможности сразу сделайте свежую резервную копию БД! Работа с модулем
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Добавление поставщика
      Перейти в блок общего управления модулем В закладке "ПОДКЛЮЧИТЬ ПОСТАВЩИКА" выберите из списка тип входного фида В открывшейся строке "ИМЯ" введите любое удобное для вас имя этого поставщика, например: ООО "Маркет" В остальных открывшихся строках указать необходимые параметры: URL (если требуется), ЛИЦЕНЗИЯ (если требуется) Нажмите "ДОБАВИТЬ" Настройка поставщика
      http://opencart.zone/image/data/xml2/zoxml2_main.jpg
      В левой колонке модуля расположен список подключенных поставщиков.
      Выберите нужного поставщика из списка Установите необходимые базовые параметры Сохраните настройки Нажмите "Загрузить производителей, категории и атрибуты" По окончании загрузки приступайте к настройке производителей, категорий и атрибутов Настройка производителей
      http://opencart.zone/image/data/xml2/zoxml2_vendors.jpg
      Войти в закладку "ПРОИЗВОДИТЕЛИ" выбранного поставщика Если нужный вам производитель отсутствует на сайте, то будет активна кнопка "Добавить" (также можете добавлять производителей обычным способом) Если нужный вам производитель уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Настройка категорий
      http://opencart.zone/image/data/xml2/zoxml2_category.jpg
      Войти в закладку "КАТЕГОРИИ" выбранного поставщика Если нужная вам категория уже есть на сайте, в т.ч. она может присутствовать в иной транскрипции, то просто выберите ее из выпадающего списка Сохраните настройки Настройка опций товара
      Страндарт YML не поддерживает возможность описывать опции товара, но тем не менее многие поставщики включают опции в выгрузку.
      Из-за отсутствия единого стандарта описания опций товара следует использовать встроенный механизм ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР и ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ
      ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР - обрабатывает нестандартные теги (такие как <options>, <param name="Цвет">, <variants> и подобные им) и формирует выходной массив данных
      ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ - сохраняет опции товара после того как завершена основная обработка товара. В большинстве случаев можно использовать входящие в комплект поставки 2 готовых скрипта:
      - saveOptions - используется если все опции включены в одно товарное предложение
      - updateOptions- используется если опции включены в разные товарные предложение, но имеющие например общий артикул
      Настройка атрибутов товара
      http://opencart.zone/image/data/xml2/zoxml2_option.jpg
      Войти в закладку "АТРИБУТЫ\ОПЦИИ" выбранного поставщика Если нужный вам атрибут отсутствует на сайте, то добавьте его обычным способом через панель управления атрибутами сайта Если нужный вам атрибут уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Загрузка\обновление товаров
      Выберите поставщика из списка Нажмите иконку "Загрузить товары" Удаление поставщика
      Выберите поставщика из списка Нажмите иконку "Удалить поставщика" В появившемся блоке запроса подтверждения подтвердите удаление. При отсутствии действий со стороны пользователя блок запроса подтверждения исчезнет через 10 секунд. Лог загрузки
      http://opencart.zone/image/data/xml2/zoxml2_log.jpg
      Лог событий
      http://opencart.zone/image/data/xml2/zoxml2_events.jpg
      Лицензирование модуля
      приобретая модуль вы получаете право его использования на одном публичном домене использование на локальных серверах не ограничивается Дополнение является объектом авторского права и принадлежит его создателю Вы не можете передавать, продавать, распространять, обмениваться и сдавать в аренду какую-либо часть дополнения Вы не можете размещать дополнение на других сайтах, чтобы оно было доступно для скачивания перенесение с одного домена на другой ранее приобретенной Лицензии не осуществляется Демо-сайты:
      для ocStore 1.5.5:
      https://yml-marketplace-dispatcher.isp3.ose.su/admin/index.php?route=extension/module/zoxml2&nbsp;
      demo\demo
      для OpenCart 2.1:
      https://yml-marketplace-dispatcher.isp3.ose.su/admin/index.php?route=extension/module/zoxml2&nbsp;
      demo\demo
      Поддержка
      Поддержка осуществляется автором @ncv При обращении в поддержку обязательно указывайте адрес сайта на котором установлен модуль, версию движка, описание проблемы (желательно со скриншотом). По возможности сразу добавляйте доступ в админку (достаточно режима демонстрации) - это сильно упрощает работу и экономит время. Если у вас возникли вопросы перед покупкой модуля - оставляйте сообщение в теме поддержки Расширение функционала
      функционал модуля постоянно расширяется Пишите, если считаете нужным добавить в модуль какую нибудь полезную функцию - ваши пожелания будут учтены в следующих версиях Рекомендации и FAQ:
      для работы с фидами, содержащими большое количество производителей или категорий добавьте в файл .htaccess строку:
      php_value max_input_vars 20000 модуль очень требователен в хостингу. рекомендуется использование VDS(VPS). Объем доступной памяти должен как минимум в 10 раз превышать размер самого большого фида. Так, если самый большой фид имеет размер 90Мб, то на хостинге должно быть не менее 1Гб памяти модуль не работает в "Режиме обслуживания" не забывайте чистить логи! Если у вас при входе в модуль возникает ошибка типа Fatal error: Allowed memory size of 134217728 bytes exhausted или подобная, то для очистки логов сделайте повторную инициализацию модуля - "Деактивировать", затем "Активировать". Эта возможность доступна начиная со сборки zoxml2.160727 работа с CSV: подключить как YML-совместимый в закладке УПРАВЛЕНИЕ в разделе СПОСОБ ЗАГРУЗКИ выбрать способ загрузки: "Загрузить CSV (UTF-8) как YML" или "Загрузить CSV (windows-1251) как YML" далее работаем как с обычным XML-фидом CSV файл обязательно должен в 1-й строке содержать названия столбцов при включенном отладчике XML-версия фида будет сохранена в DIR_CACHE Авторские права:
      http://opencart.zone/image/data/ocz_logo.png
      Добавил ambalocha69 Добавлено 11.05.2016 Категория Обмен данными Системные требования рекомендуется VDS Метод активации Автоматическая активация Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Да  
    • By ambalocha69
      По вопросам предпродажного консультирования и поддержкой модуля после покупки обращайтесь к пользователю @ncv
      Модуль "Диспетчер YML\XML" для Opencart\ocStore версии 1.5.Х - 3.0
      Предназначен для подключения к ИМ неограниченного количества поставщиков, предоставляющих прайс-листы и описания товаров в формате YML\XML\CSV.
      Самое актуальное описание доступно на официальной странице модуля: http://opencart.zone/modules-2-0/xml2.html
      Основные возможности:
      Производители
      выборочная загрузка производителей перенаправление производителей создание производителей из панели модуля Категории
      выборочная загрузка категорий перенаправление категорий Атрибуты
      настройка соответствий каждого входного параметра параметрам вашего ИМ Индивидуальные настройки для каждого поставщика
      режимы добавления\обновления загрузка изображений связующие поля модификаторы цены Индивидуальные логи для каждого поставщика
      лог загрузки лог уведомлений о появлении у поставщика новых категорий, производителей, атрибутов Структура модуля
      Модуль состоит из основного блока и набора микро-модулей (драйверов), каждый из которых реализует обработку какого либо конкретного формата входных данных по общей схеме. На текущий момент в состав модуля входят следующие драйверы:
      обработка YML - задача решена в общем виде и годится для подавляющего большинства фидов Дополнительно (за отдельную плату) предоставляются драйверы для работы со следующими поставщиками, использующими нестандартные форматы или теги, или предоставляющие собственное API:
      textiloptom.net (API) odeyalaoptom.ru (API) shopntoys.ru (API) gifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) happygifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) oasiscatalog.com (API) Интеграция со "Связанными опциями" (https://opencartforum.com/files/file/2421-%D1%81%D0%B2%D1%8F%D0%B7%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5-%D0%BE%D0%BF%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-opencart2/):
      Загрузчик состоит из 2-х дополнительных блоков:
      - обработчик вариантов (делается под конкретный фид)
      - АПИ сохранения связанных опций
      Тестирование проводилось на фиде от https://www.qpstol.ru/ , который содержит примерно 10700 товаров
      Для подобных проектов ОБЯЗАТЕЛЬНО используйте VDS!
      Для указанного поставщика время загрузки ВСЕХ товаров (по 3-5 изображения в каждом, плюс изображения опций цвета) составляет 5-6 часов.
      Обновление цен и остатков - 30-40 минут.
      По вопросам приобретения расширений писать в ЛС или на почту.
      Установка модуля
      Модуль имеет единый дистрибутив для всех версий Opencart.
      Для всех сборок ниже 2.3: распакуйте архив zoxml2.170209.zip (или более позднюю версию) в корень вашего сайта. Цифры означают дату выпуска дистрибутива — ГГММДД.
      Для 2.3: распакуйте архив zoxml2_3.170209.zip (или более позднюю версию) в корень вашего сайта.
      Распакуйте архив zoxml2_yml.170209.zip в корень вашего сайта (драйвер обработки YML)
      Распакуйте архив zoxml2_scripts.170209.zip в корень вашего сайта (дополнительные скрипты и фильтры)
      Если вы приобрели дополнительные драйверы, то также распакуйте их в корень вашего сайта.
      Для версий 1.5.Х дополнительно также распакуйте архив zoxml1.160511.zip
      Далее перейти в админке в список модулей, найти в нем "Диспетчер YML\XML" и активировать модуль.
      Настройка модуля
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Перейти в блок общего управления модулем В закладке "СИСТЕМА" установить нужные параметры ВНИМАНИЕ: начиная с версии 170209 появилась возможность модифицировать таблицу product - добавлять в нее дополнительное поле supplier (поставщик) для хранения идентификатора поставщика. Будьте осторожны! Использование этой возможности может привести к конфликтам с другими модулями и сделает невозможным восстановление ранее сохраненных копий БД. Поэтому после включения этой возможности сразу сделайте свежую резервную копию БД! Работа с модулем
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Добавление поставщика
      Перейти в блок общего управления модулем В закладке "ПОДКЛЮЧИТЬ ПОСТАВЩИКА" выберите из списка тип входного фида В открывшейся строке "ИМЯ" введите любое удобное для вас имя этого поставщика, например: ООО "Маркет" В остальных открывшихся строках указать необходимые параметры: URL (если требуется), ЛИЦЕНЗИЯ (если требуется) Нажмите "ДОБАВИТЬ" Настройка поставщика
      http://opencart.zone/image/data/xml2/zoxml2_main.jpg
      В левой колонке модуля расположен список подключенных поставщиков.
      Выберите нужного поставщика из списка Установите необходимые базовые параметры Сохраните настройки Нажмите "Загрузить производителей, категории и атрибуты" По окончании загрузки приступайте к настройке производителей, категорий и атрибутов Настройка производителей
      http://opencart.zone/image/data/xml2/zoxml2_vendors.jpg
      Войти в закладку "ПРОИЗВОДИТЕЛИ" выбранного поставщика Если нужный вам производитель отсутствует на сайте, то будет активна кнопка "Добавить" (также можете добавлять производителей обычным способом) Если нужный вам производитель уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Настройка категорий
      http://opencart.zone/image/data/xml2/zoxml2_category.jpg
      Войти в закладку "КАТЕГОРИИ" выбранного поставщика Если нужная вам категория уже есть на сайте, в т.ч. она может присутствовать в иной транскрипции, то просто выберите ее из выпадающего списка Сохраните настройки Настройка опций товара
      Страндарт YML не поддерживает возможность описывать опции товара, но тем не менее многие поставщики включают опции в выгрузку.
      Из-за отсутствия единого стандарта описания опций товара следует использовать встроенный механизм ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР и ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ
      ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР - обрабатывает нестандартные теги (такие как <options>, <param name="Цвет">, <variants> и подобные им) и формирует выходной массив данных
      ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ - сохраняет опции товара после того как завершена основная обработка товара. В большинстве случаев можно использовать входящие в комплект поставки 2 готовых скрипта:
      - saveOptions - используется если все опции включены в одно товарное предложение
      - updateOptions- используется если опции включены в разные товарные предложение, но имеющие например общий артикул
      Настройка атрибутов товара
      http://opencart.zone/image/data/xml2/zoxml2_option.jpg
      Войти в закладку "АТРИБУТЫ\ОПЦИИ" выбранного поставщика Если нужный вам атрибут отсутствует на сайте, то добавьте его обычным способом через панель управления атрибутами сайта Если нужный вам атрибут уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Загрузка\обновление товаров
      Выберите поставщика из списка Нажмите иконку "Загрузить товары" Удаление поставщика
      Выберите поставщика из списка Нажмите иконку "Удалить поставщика" В появившемся блоке запроса подтверждения подтвердите удаление. При отсутствии действий со стороны пользователя блок запроса подтверждения исчезнет через 10 секунд. Лог загрузки
      http://opencart.zone/image/data/xml2/zoxml2_log.jpg
      Лог событий
      http://opencart.zone/image/data/xml2/zoxml2_events.jpg
      Лицензирование модуля
      приобретая модуль вы получаете право его использования на одном публичном домене использование на локальных серверах не ограничивается Дополнение является объектом авторского права и принадлежит его создателю Вы не можете передавать, продавать, распространять, обмениваться и сдавать в аренду какую-либо часть дополнения Вы не можете размещать дополнение на других сайтах, чтобы оно было доступно для скачивания перенесение с одного домена на другой ранее приобретенной Лицензии не осуществляется Демо-сайты:
      для ocStore 1.5.5:
      https://yml-marketplace-dispatcher.isp3.ose.su/admin/index.php?route=extension/module/zoxml2&nbsp;
      demo\demo
      для OpenCart 2.1:
      https://yml-marketplace-dispatcher.isp3.ose.su/admin/index.php?route=extension/module/zoxml2&nbsp;
      demo\demo
      Поддержка
      Поддержка осуществляется автором @ncv При обращении в поддержку обязательно указывайте адрес сайта на котором установлен модуль, версию движка, описание проблемы (желательно со скриншотом). По возможности сразу добавляйте доступ в админку (достаточно режима демонстрации) - это сильно упрощает работу и экономит время. Если у вас возникли вопросы перед покупкой модуля - оставляйте сообщение в теме поддержки Расширение функционала
      функционал модуля постоянно расширяется Пишите, если считаете нужным добавить в модуль какую нибудь полезную функцию - ваши пожелания будут учтены в следующих версиях Рекомендации и FAQ:
      для работы с фидами, содержащими большое количество производителей или категорий добавьте в файл .htaccess строку:
      php_value max_input_vars 20000 модуль очень требователен в хостингу. рекомендуется использование VDS(VPS). Объем доступной памяти должен как минимум в 10 раз превышать размер самого большого фида. Так, если самый большой фид имеет размер 90Мб, то на хостинге должно быть не менее 1Гб памяти модуль не работает в "Режиме обслуживания" не забывайте чистить логи! Если у вас при входе в модуль возникает ошибка типа Fatal error: Allowed memory size of 134217728 bytes exhausted или подобная, то для очистки логов сделайте повторную инициализацию модуля - "Деактивировать", затем "Активировать". Эта возможность доступна начиная со сборки zoxml2.160727 работа с CSV: подключить как YML-совместимый в закладке УПРАВЛЕНИЕ в разделе СПОСОБ ЗАГРУЗКИ выбрать способ загрузки: "Загрузить CSV (UTF-8) как YML" или "Загрузить CSV (windows-1251) как YML" далее работаем как с обычным XML-фидом CSV файл обязательно должен в 1-й строке содержать названия столбцов при включенном отладчике XML-версия фида будет сохранена в DIR_CACHE Авторские права:
      http://opencart.zone/image/data/ocz_logo.png
    • By DevmanExtensions
      3000
      View File


      Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets
       

       

       

       

       
      Установка очень простая, всего 1 минуту -> смотреть видео  
       
      Напоминаем Вам о полной совместимости с модулем Комбинации Опций  
       
      Важно! Обращаем Ваше внимание, что после покупки данного модуля он будет работать
      бессрочно и без дополнительной оплаты (за исключением случаев платных доработок,
      согласованных с Клиентом). Однако, расширенная техническая поддержка и возможность
      обновления модуля будут доступны только на протяжении ТРЕХ МЕСЯЦЕВ с момента покупки!
       
      Так же обращаем Ваше внимание, что в стоимость дополнительной услуги по установке
      модуля на сайте, НЕ ВХОДИТ адаптация модуля под не стандартные темы,
      а так же под собственные доработки пользователями кода CMS!
       

       
      Новое видео - ответы и комментарии на частые вопросы
      СМОТРИТЕ ПРЯМО СЕЙЧАС


      Самый полный и безопасный инструмент импорта/экспорта для Opencart
      Идеальный инструмент «все в одном», чтобы позаботиться обо всех ваших потребностях в импорте/экспорте данных для вашего магазина, будь то управление вашими собственными данными или синхронизация из файлов или каналов от ваших постоянных поставщиков. Работает с Opencart и OCStore (1.5.x, 2.x & 3.x), Mijoshop и Joocart.


      Мы слушаем наших клиентов!
      Import / Export PRO - это результат долгой работы с момента запуска в 2014 году, на основании пожеланий наших клиентов. Мы создали самое безопасное, мощное и адаптируемое решение для удовлетворения самых взыскательных потребностей.
      Предлагаем Вам прочесть отзывы наших клиентов об Import / Export Pro.
       

       
      Мы здесь, чтобы помочь!
      Перед покупкой обязательно ознакомьтесь с разделом часто задаваемых вопросов . Если Вы не нашли ответа на свой вопрос, не стесняйтесь писать нам !
      Если у Вас нет времени или возможности для самостоятельной настройки модуля, мы можем сделать эту работу за Вас на высоком профессиональном уровне. Пожалуйста отправьте нам запрос чтобы уточнить стоимость!
       

       
      Все, что нужно для импорта или экспорта!
      Товары, акции, скидки, изображения товаров, атрибуты товаров, категории, группы атрибутов, параметры, значения параметров, производители, группы фильтров, Фильтры, группы клиентов, Клиенты, адреса, заказы, заказы на продукты, итоги заказов, купоны и так далее.
       

       
      Ваши данные всегда в безопасности!
      В случае какого-либо сбоя в процессе импорта, наша система автоматически восстановит данные в исходное положение. Все сообщения в процессе работы, в том числе и ошибочные, отображаются на активной панели.
       

      Связь с поставщиками!
      Модуль совместим с большинством форматов файлов, предоставляемых поставщиками. Механизм включения и отключения колонок, включенный в модуль, позволяет гибко обрабатывать файлы, отправленные вашим поставщиком, и решать любые проблемы. Кроме того, Вы можете экспортировать данные в формате, необходимом для других платформ, если это необходимо. Модуль идеально подходит для YML (Yandex) и многих других форматов от известных или независимых площадок.
       

      Импорт и экспорт без ограничений!
      Мы оптимизировали процесс импорта и экспорта, в результате чего, модуль использует минимально возможное количество ресурсов Вашего сервера, для обработки больших объемов данных. У Вас также есть возможность запускать профили импорта / экспорта по расписанию, используя CRON, в автоматическом режиме, во время наименьшей загрузки на сервер.
       

      Планировщик CRON
      Вам может потребоваться автоматически начать экспорт или импорт профилей в удобное для вас время. Мы разработали плагин, который позволяет запускать профили импорта или экспорта в планировщике CRON. Идеально подходит для синхронизации с поставщиками, управления запасами, ценообразования и многого другого.
       

      Возможности фильтрации!
      Более 500 фильтров на выбор, чтобы применить к вашим профилям, комбинации почти бесконечны!
       

      Импорт и экспорт в любом месте!
      Передача данных на Ваш компьютер или с него, из электронных таблиц Google, с внешнего сервера, через FTP или пользовательские URL-адреса. Вы будете иметь полный контроль и гибкость ввода и вывода данных.
       

      Электронные таблицы Google - XLSX - CSV - ODS - XML!
      Система импорта / экспорта полностью совместима с электронными таблицами Google, что означает, что вы можете отправлять данные из своего магазина в документ, хранящийся в вашей учетной записи Google Диска (для экспорта данных), и собирать данные из электронных таблиц, загружая их в свой магазин (для импорта данных). Другие поддерживаемые форматы: XLSX, CSV, ODS, XML.
       

      Миграция между разными версиями Opencart!
      Миграция всех данных между различными версиями Opencart происходит почти мгновенно. Расширенная система миграции подготовит файл для выбранной целевой версии. Вы также можете выбрать данные, специфичные для миграции (продукты, клиенты, заказы, категории).
       

      Произвольные поля (дополнение)
      У вас есть другие плагины, которые добавляют пользовательские поля для разных моделей (продукты, категории, клиенты, заказы, параметры и т. д.)? Мы разработали систему для добавления пользовательских записей из нативной базы данных в процессы импорта, экспорта и миграции! Обращаем Ваше внимание, что обработка новых полей производится только из таблиц базы данных, которые созданы в Opencart по умолчанию!
       

      Видеоинструкции!
      Можем Вас заверить, что изучение Import Export PRO будет проще простого! Кроме текстовой документации, мы предлагаем серию простых видеоуроков на разных языках, которые помогут вам начать использовать разработанный инструмент независимо от уровня вашего опыта.
       

      Кое что еще!
      Автоматический генератор SEO URL, выбор идентификаторов товаров для импорта, пропуск существующих товаров в импорте, исключение товаров, которых нет в импорте, полное резервное копирование вашего магазина и многое другое!
       

      Отличная поддержка
      За более чем 10 лет работы с Opencart, тысячи клиентов остались довольны нашими услугами. DevmanExtensions является одной из самых уважаемых компаний на рынке  дополнений для Opencart. Наслаждайтесь лучшей поддержкой, все проблемы будут решены менее чем за 24 часа!
       
      Пример выполнения операции импорта

       
      Пример выполнения операции экспорта

       
      Вы сами выбираете источники для импорта данных!

       
      Вы сами выбираете куда сохранить файл экспорта!

       
      Уникальная миграция данных между версиями Opencart!

       
      Расширенные фильтры!

       
      Сделайте работу с поставщиками удобной!

       
      Планировщик CRON!

       
      Произвольные поля (дополнение приобретается отдельно - $ 29.99)!
      Если вам нужно добавить свою собственную расширенную информацию, например, о продуктах, клиентах, заказах или моделях, то для этого случая мы предоставили дополнительные функции для пользовательских столбцов, которые могут быть добавлены в файл импорта или экспорта. Обращаем Ваше внимание, что обработка новых полей производится только из таблиц базы данных, которые созданы в Opencart по умолчанию!
       

       

      Submitter DevmanExtensions Submitted 07/06/2018 Category Обмен данными Системные требования Метод активации Через официальный сайт дополнения Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Get request to server of developer Да  
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.