Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Recommended Posts

30 хвилин назад, Rassol2 сказав:

Здравствуйте.
Скиньте мне в ЛС форму настройки, и номер заказа модуля. Я все посмотрю и за одно скину вам лицензионный ключ.

Доступ уточню у клиента, я делаю на старой версии видимо так как ключ не просит, может намекнете как привязать айди к цене?

 

3872,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x80 \u0441\u043c","dimension":"","price":{"id":3872,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3873":{"id":3873,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x90 \u0441\u043c","dimension":"","price":{"id":3873,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3874":{"id":3874,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x120 \u0441\u043c","dimension":"","price":{"id":3874,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3875":{"id":3875,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x140 \u0441\u043c","dimension":"","price":{"id":3875,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3876":{"id":3876,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x160 \u0441\u043c","dimension":"","price":{"id":3876,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3877":{"id":3877,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x80 \u0441\u043c","dimension":"","price":{"id":3877,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3878":{"id":3878,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x90 \u0441\u043c","dimension":"","price":{"id":3878,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3879":{"id":3879,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x120 \u0441\u043c","dimension":"","price":{"id":3879,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3880":{"id":3880,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x140 \u0441\u043c","dimension":"","price":{"id":3880,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3881":{"id":3881,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x160 \u0441\u043c","dimension":"","price":{"id":3881,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3883":{"id":3883,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x180 \u0441\u043c","dimension":"","price":{"id":3883,"price":25755,"old_price":34340,"base_price":14026,"currencyPostfix":""},"is_discount":"1"},"3884":{"id":3884,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x200 \u0441\u043c","dimension":"","price":{"id":3884,"price":28343,"old_price":37790,"base_price":15438,"currencyPostfix":""},"is_discount":"1"}};
				  window.disabledBasket = window.disabledBasket 
<script type="text/javascript">
  window.offers = window.offers || [];
  window.offers[460] = {"3872":{"id":3872,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x80 \u0441\u043c","dimension":"","price":{"id":3872,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3873":{"id":3873,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x90 \u0441\u043c","dimension":"","price":{"id":3873,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3874":{"id":3874,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x120 \u0441\u043c","dimension":"","price":{"id":3874,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3875":{"id":3875,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x140 \u0441\u043c","dimension":"","price":{"id":3875,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3876":{"id":3876,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x160 \u0441\u043c","dimension":"","price":{"id":3876,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3877":{"id":3877,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x80 \u0441\u043c","dimension":"","price":{"id":3877,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3878":{"id":3878,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x90 \u0441\u043c","dimension":"","price":{"id":3878,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3879":{"id":3879,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x120 \u0441\u043c","dimension":"","price":{"id":3879,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3880":{"id":3880,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x140 \u0441\u043c","dimension":"","price":{"id":3880,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3881":{"id":3881,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x160 \u0441\u043c","dimension":"","price":{"id":3881,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3883":{"id":3883,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x180 \u0441\u043c","dimension":"","price":{"id":3883,"price":25755,"old_price":34340,"base_price":14026,"currencyPostfix":""},"is_discount":"1"},"3884":{"id":3884,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x200 \u0441\u043c","dimension":"","price":{"id":3884,"price":28343,"old_price":37790,"base_price":15438,"currencyPostfix":""},"is_discount":"1"}};
  window.disabledBasket = window.disabledBasket || [];
  window.disabledBasket[460] = 0;
  window.extendedSetOffers = window.extendedSetOffers || [];
  window.extendedSetOffers[460] = [];
  window.offers_sort = window.offers_sort || [];
  window.offers_sort[460] = [3872,3873,3874,3875,3876,3877,3878,3879,3880,3881,3883,3884];
  window.products = window.products || [];
  window.products[460] = {"price":{"id":460,"price":11910,"old_price":15880,"base_price":0,"is_calc":1,"currencyPostfix":""},"is_discount":"1","stat_name":"\u041c\u0430\u0442\u0440\u0430\u0441\u044b \u00ab\u0422\u043e\u043d\u0443\u0441\u00bb","stat_url":"https:\/\/moscow.pinskdrev.ru\/catalog\/onlayn-rasprodaja\/matrats-tonus\/","stat_amount":11910,"stat_img":"https:\/\/moscow.pinskdrev.ru\/web\/catalogfiles\/catalog\/products\/tonus5be12997bc2e1.jpg","stat_id":460};
  window.materials = window.materials || [];
  window.materials[460] = [];
  window.colors = window.colors || [];
  window.colors[460] = [];
  window.onlays = window.onlays || [];
  window.onlays[460] = [];
  window.transformations = window.transformations || [];
  window.transformations[460] = [];
  window.sizes = window.sizes || [];
  window.sizes[460] = [{"id":"195x80 \u0441\u043c","title":"195x80 \u0441\u043c"},{"id":"195x90 \u0441\u043c","title":"195x90 \u0441\u043c"},{"id":"195x120 \u0441\u043c","title":"195x120 \u0441\u043c"},{"id":"195x140 \u0441\u043c","title":"195x140 \u0441\u043c"},{"id":"195x160 \u0441\u043c","title":"195x160 \u0441\u043c"},{"id":"200x80 \u0441\u043c","title":"200x80 \u0441\u043c"},{"id":"200x90 \u0441\u043c","title":"200x90 \u0441\u043c"},{"id":"200x120 \u0441\u043c","title":"200x120 \u0441\u043c"},{"id":"200x140 \u0441\u043c","title":"200x140 \u0441\u043c"},{"id":"200x160 \u0441\u043c","title":"200x160 \u0441\u043c"},{"id":"200x180 \u0441\u043c","title":"200x180 \u0441\u043c"},{"id":"200x200 \u0441\u043c","title":"200x200 \u0441\u043c"}];
  window.dimensions = window.dimensions || [];
  window.dimensions[460] = [];
  window.currency = '<span class="rub">руб. </span>';
  window.messages = window.messages || [];
  window.messages['offerDoesNotExist'] = 'Предложения с таким набором параметров не существует';
  window.messages['offerIsNotSelected'] = 'Выберите торговое предложение';
  window.messages['unknownError'] = 'Неизвестная ошибка. Свяжитесь с администратором';
  window.messages['chooseProductText'] = 'Добавить в набор';
  window.messages['offerCountText3'] = 'предметов';
  window.messages['offerCountText2'] = 'предмета';
  window.messages['offerCountText1'] = 'предмет';
  </script>
Link to post
Share on other sites

  • Replies 9.6k
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится  PS. Чуть не забыл. Кому пригодился нажмите палец верх 

1960 26 Скачать/Купить дополнение SimplePars - Уни

Обновление v4.0-12_beta Главная страница. Немного переработал убогость главной страницы.   Теперь с этой страницы можно сразу же отключить крон, если собираетесь работать вручную. Так

Posted Images

@bodyak0 Это сделать возможно, я так понимаю вам нужно вот так связать.
 

Спойлер

9pVS7hO.png


Здесь нужно настраивать границы парсинга + поиск замену.
Как уточните про лицензию модуля тогда скинете данные настройки и я вам поправлю.

Буду ждать сообщения от владельца модуля, того кто покупал.

Поскольку у меня много пользователей приоритет все же на тех кто поддержал проект покупкой модуля. Я думаю все меня поймут.
Буду ждать сообщения.
 

Link to post
Share on other sites

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

Link to post
Share on other sites

20 минут назад, sotavip сказал:

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

Для того что бы проверить прокси подходят они или нет в модуле реализован прокси чекер.
Можете брать бесплатные прокси и прогонять по прокси чекеру в поиске тех что будут работать.

Затем использовать их.
Поскольку прокси это тонкая тема есть куча баз данных по прокси, и сайты которые сильно беспокоятся за свой контент изначально записывают все ip которые засветились в проксировании в белек лист. И платные тоже не исключение.

Самый лучший вариант это не доводить до работы через прокси. А если уже случилось тогда ищите рабочие прокси прогоняйте их.
Так потихоньку соберете базу из рабочих и парсите, только уже аккуратнее. Потому что донор может и их банить.

Еше как вариант если донор стоит на хостинге то возможно бан не надолго, сутки двое. Поскольку из за вас данный ip попадает в бан и страдают другие сайты на которые могут зайти пользователи от вашего провайдера. По этому хостеры частенько ставят только временные блоки.

Link to post
Share on other sites
В 20.01.2020 в 17:26, Rassol2 сказал:

Загрузить его в корень интернет магазина на локальной машине.
И выполнить, то есть вызвать его
вашсайт.ру/openserver_boost.php
После чего скорость сбора ссылок возрастет до небес ))

 

Подскажите пожалуйста, для локальщиков,  это после каждого обновления надо повторять, или оно сохраняется ?

Link to post
Share on other sites

1 минуту назад, Djek сказал:

 

Подскажите пожалуйста, для локальщиков,  это после каждого обновления надо повторять, или оно сохраняется ?

Должно сохранятся. А что есть проблемы ?

Link to post
Share on other sites
В 26.01.2020 в 05:16, sotavip сказал:

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

 

приветствую! такая ситуация, с одного хостинга парсится с другого нет, с одними и теми же прокси, прокси платные использую.

 хостинги на которые хочу переехать (с большим пространством )там оzон сразу  блокирует и загрузку страниц обрезает с таким сообщением

 frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 0-169039218354357914</iframe></body></html>

защита срабатывает

 

не понятно по каим критериям блокирует, ,даже с использование прокси донор как то определяет ip адрес сайта или еще что то видимо

, ip адрес сайта на хостинге менял

что можно попробовать?

Link to post
Share on other sites

на хостинге которых парсинг работает используется 2ip адреса

185.211.244.129

2a00:ab00:203:b::4   

 

на других только один

Link to post
Share on other sites

2 часа назад, sotavip сказал:

приветствую! такая ситуация, с одного хостинга парсится с другого нет, с одними и теми же прокси, прокси платные использую.

 хостинги на которые хочу переехать (с большим пространством )там оzон сразу  блокирует и загрузку страниц обрезает с таким сообщением

 frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 0-169039218354357914</iframe></body></html>

защита срабатывает

Здравствуйте.
Есть ограничение на использование портов на хостинге. И На одном хостинге может быть открыт тот или иной порт а на другом закрыт.
По этому может один и от же прокси не работать. Для этого есть чекер прокси.

Кстати так же. Не говоря об ограничениях самого прокси которые могут не работать с определенным трафиком.

 

2 часа назад, sotavip сказал:

не понятно по каим критериям блокирует, ,даже с использование прокси донор как то определяет ip адрес сайта или еще что то видимо

, ip адрес сайта на хостинге менял

что можно попробовать?

Есть прозрачные прокси которые часто попадают в публичный доступ.
Это прокси которые проксируют трафик но при этому объявляют сайту что они являются прокси и работают от ip такого  то клиента.
Это кешируюшие прокси, то есть они сами сдают сайту донору то что являются прокси и кто за этим стоит.

Для того что бы проверить настройки браузера, я сделал такую тестовую страницу.

https://simplepars.top/tools/view_headers.php


Отключаете кеширование в модуле, и начинаете настраивать и слать запросы. В коде вы будете видеть данные которые модуль отправляет.
Так же там будет видно ip от которого работаете.

Спойлер

kiA6ecb.png

 

Link to post
Share on other sites

вопрос пока решен отключением в настройках браузера Отправлять User-Agent

пока будем без user agent  использовать

интересно почему так

Link to post
Share on other sites

если прокис с логином паролем разве он может быть не анонимным

Link to post
Share on other sites

6 минут назад, sotavip сказал:

если прокис с логином паролем разве он может быть не анонимным

Не логи и пароль определяет анонимность прокси, а то что он отдает сайту донору.

Допустим есть кешируюший прокси который используют для оптимизации интернета на предприятию. И выйти можно в нет только через неге.
И тогда данный прокси будет под паролем, и будет прозрачным поскольку он оптимизации трафика.

 

9 минут назад, sotavip сказал:

вопрос пока решен отключением в настройках браузера Отправлять User-Agent

пока будем без user agent  использовать

интересно почему так

Это самый первый параметр к которому может прочесть донор.
И кстати отключение его насколько не известно как раз дает повод сайтам усомнится что с ними общаеться обычный браузер.

Link to post
Share on other sites

Обновление v3.1_beta

Довольно крупное обновления с новыми ништячками. :-o

 

Добавлена вкладка Кеш донора.
 

Спойлер

oLJfMAL.png


Теперь вы можете не только спарсить данные, но и закешировать себе страницы сайта донора. На будущее :wink:
Может показаться что это какая то чепуха, но сейчас я попробую рассказать весь потенциал использования кеша в модуле SimplePars!

 

Сценарии использования.
Допустим вам нужно спасрить и загрузить 10 000 страниц донора.

Вы все настроили и благополучно спарсили, после чего обнаружили что забыли включить парсинг атрибутов, что делать ?
Раньше вы настраивали атрибуты и начинали парсить заново, а это нагрузка на сайт донор, да и на ваш хостинг. Но что более страшно это возможность попасть под санкции сайта донора. Быть забаненым за аномальную активность из за такой чипухи как забыл включить парсинг, или не проверил границу парсинга довольно досадно.

Теперь вы можете включить кеширования и запустить парсинг, модуль будет не только парсить сайт донор и добавлять вам товары в магазин он паралельно будет записывать все спарсенные страницы сайта донора отдельную папку. В случаи если вам нужно будет что то перепарсить вы можете спокойно запускать процесс обновления в пять потоков без паузы парсинга главное не забыть включить использования кеша.
В данном случаи модуль уже не будет обращаться на сайт донор, он будет работать автономно используя заранее закешированные страницы. :cool:

Что
это значит ?
1. Вы не создаете дополнительную нагрузку на сайт донор и при повторном парсинге вероятность попасть в бан равна 0!!!!
2. Скорость повторного парсинга с использованием кеша ++++++++++, поскольку вы уже не делаете запросы на сайт долнор вы используете файлы которые уже у вас.
3. Исходя из первого пункта, максимум потоков, и никакой паузы. Главное что бы ваш хостинг выдерживал нагрузку :)

 

Это первая реализация это страницы так что не судите строго, а так же в обязательном порадке в ветке модуля можете писать ваши идеи по развитию этого направления в модуле.
Ставьте лайк кому идея нравится, ну и пишите если что то не так :wink:

На данный момент доступны следующие возможности работы с кешем в модуле SimplePars
Не использовать кеш - В этом случаи модуль не будет ничего кешировать. И вообще работать без кеша.
Создавать/Использовать кеш если есть - В этом режиме модуль будет использовать файлы кеша если они есть, если нет то будет парсить сайт и параллельно создавать кеш на будущее.
Парсить и обновлять кеш - В данном режиме модуль будет парсить сайт донор и обновлять файлы кеша несмотря на то есть они у вас или нет.
 

Немного об новой странице Кеш донора
 

Спойлер

Q2PW4Mx.png

 

Так же на странице Кеш донора можно запустить парсинг который будет делать только одно, парсить страницы донора и складывать их у вас для дальнейшей работы.
Кстати хороший вариант если нету времени настроить парсинг и нужно уходить, запускаете парсинг модуль сложит все страницы, а когда у вас появится время настроить границы вы запустите загрузку в магазин с файлов кеша. А сам парсинг можете запустить в один поток с паузой и уйти куда то. Главное не закрывать страницу браузера.

1. Стандартные кнопки парсинга, остановки, сохранения и обновления.
2. Здесь модуль сообщает сколько занимает файлы кеша донора. Обратите внимание что страницы кешируються отдельно на каждый проект.
3. Нажав на эти ссылки у вас откроется новое окно в браузере с этой страницей сайта донора.
4. Сообщает есть ли у модуля файл кеш этой ссылки.
5. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля настроек границы парсинга, с загруженным кодом.
6. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля пред просмотр пасринга в ИМ с загруженными данными этой страницы.
7. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля пред просмотр пасринга в CSV с загруженными данными этой страницы.
8. Указана дата и время когда модуль создал этот файл кеша.
9. Очистка директории со всеми страницами кеша.
 

На одну странице пред просмотра файлов кеша загружается только 1000ссылок. Если у вас в модуле их больше тогда вам будет доступна пагинация для перехода.
 

Спойлер

HZVaDz3.png

 

Поскольку я думаю использования кеша платно войдет в наш мир я добавил напоминания о том что модуль в данный момент показывает вам страницу из кеша.


 

Спойлер

HSKNZxQ.png

 

В этом напоминании вы так же можете видеть дату создания кеша, и если информация для вас не актуально нужно будет либо удалить кеш либо парсить без него.
То же самое касается логов, модуль будет вам и в логах напоминать что парсинг идет из файлов кеша.
 

Спойлер

1fi3LpV.png

 

Выбор режима работы кеша происходит либо на странице настройки парсинга, либо в настройках браузера.
Дальше разнесу на каждую страницу где запускается парсинг.

Недостатки кеша.
Недостаток один это использование дискового пространства под хранения страниц сайта донора.

В связи с этим не используйте кеш в момент сбора ссылок!!! Потому что модуль будет кешировать и все страницы которые он парсит в момент сбора ссылок.
Получится сильно много ненужного кеша, ну если вы это не делаете осознано что бы экспериментировать с сбором ссылок.

 

По поводу кеша на этом все. Жду ваши лайки, предложения по развитию данного направления. :oops:

 

Другие изменения в модуле.

Внимательные уже заметили на скриншотах ссылку в коде сайта. :wink:

Спойлер

2FPgl4o.png

 

Теперь в код сайта модуль в самый верх будет добавлять ссылку по которой был произведен запрос парсинга.
Ссылка находится между тегами url /url (в квадратных ковычках)
Что позволяет вам создавать границу парсинга ссылки на товар и работать с ней через поиск замену, к примеру если хотите создать уникальный артикул для товара используя хеш функцию + ссылку на товар. Я хоть и против этого но потребность в этой возможности просто колоссальная со стороны вас моих пользователе. :)

 

Новый алгоритм преобразования в поиск замене, который должен избавить нас от артефактов в пред просмотре.

Было

Спойлер

DmrGsoE.png


Стало
 

Спойлер

PEy7cly.png


Это было долго моей головной болью, и думаю это еше не конец вопроса кодировок. Но я становлюсь ближе к полному решению этого вопроса.
 

В архив с моделем добавленна папка test_project в которой лежит фаил импорта с настройками для всех новичков которые хотят увидеть как настраивает проект.

 

Незабываем выполнять /inst.php

 

На этом вроде все. Короче жду от вас новостей. :-o

 

  • +1 6
Link to post
Share on other sites

Попробовал КЕШ донора + 5 потоков. Очень даже понравилось!

  • +1 1
Link to post
Share on other sites

2 минуты назад, partshez сказал:

Попробовал КЕШ донора + 5 потоков. Очень даже понравилось!

Это главная награда разработчику :)

Link to post
Share on other sites

Вот это уже шикарно, надо пробовать. Было пару раз забывал что то парсить и приходилось заново все делать.

Link to post
Share on other sites

5 минут назад, urchik сказал:

Вот это уже шикарно, надо пробовать. Было пару раз забывал что то парсить и приходилось заново все делать.

Пробуйте, пишите ваши наблюдения.
Сейчас это первая реализация, буду собирать фитбек что бы понять что нужно что нет, и как нужно.
Потом построю стратегию и буду развивать этот функционал в соответствиями с реалиями.

Link to post
Share on other sites

есть проблема с настройкой проекта на розетку, границы задал, прокси купил но не могу нормально настроить вкладку "браузер" судя по всему розетка очень требовательная в этом плане, может кто то на платной основе донастроить?

SPsetting-7.json

Link to post
Share on other sites

7 часов назад, dmitriy2506 сказал:

есть проблема с настройкой проекта на розетку, границы задал, прокси купил но не могу нормально настроить вкладку "браузер" судя по всему розетка очень требовательная в этом плане, может кто то на платной основе донастроить?

SPsetting-7.json 6 \u043a\u0411 · 0 downloads

Здравствуйте.
Такие сайты как
https://rozetka.com.ua/

https://ek.ua/

https://hotline.ua/

https://www.olx.ua/

https://prom.ua/


Они очень не хотят что бы их парсили и следят за тем что бы все запросы были похожи на пользовательские. И вам нужно максимально прикинутся обычным юсером, и использовать чистые прокси которые ранние не засветились в попытках парсинг этих ресурсов, что уже само собой доволно сложно.

Лично я за такие проекты не берусь по той причине что это довольно муторное занятия и вы не знаете какой алгоритм работает на сайте доноре, и вам нужно пытатся пока не найдете решение. И каждая неудачная попытка заносит прокси в список подозрения на сайте доноре.
Короче очень муторно, луче исчите других доноров.

Link to post
Share on other sites

Сейчас давал пояснения работы регулярных выражений, вот тут наверное тоже напишу может кому то будет полезно.

Модуль поддерживает регулярки. О них написано здесь
https://simplepars.top/index.php?page=note&note_id=9

 

И их можно использовать во всех случаях когда вам нужно выбрать текст который невозможно просто зацепится через {skip}
Допустим вот ситуация у нас есть ссылка на фото с водяным знаком.

Спойлер

AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE


Как вы видите ссылка содержит водяной знак.
Я буду показывать примеры без доменного имени что бы на форуме все красиво выглядело.

Вот эта ссылка.
/upload/resize_cache/iblock/17b/1024_720_11176d7cf8df88913cb0a1318817f6fcb/AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE_145KH145_E6045RU_00_BEZ_GIDROMASSAZHA_1.jpg

Если из ссылки вырезать текст который я выделил черным, тогда можно получить ссылку на фот без водного знака.

Спойлер

AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE


Это довольно частое явление, когда водяной знак накладывается непосредственно в момент отдачи клиенту, а на хостинге есть фото чистое. И наша цель его достать.

Тут обычными правилами поиск замена уже не обойтись. Но и пренебрегать ими не стоит, это упрощает жизнь.

Вот этот кусок

resize_cache/
Мы вырежи обычными правилами, поскольку она статична на всех фотографиях и не меняется.
resize_cache/|

А вот эту часть

/1024_720_11176d7cf8df88913cb0a1318817f6fcb/

которая изменяется от фото к фото будем вырезать через регулярные выражения. Хоть текст изменяется, он сохраняет отличительные признаки к которым мы и будем привязывается.
Сразу говорю я не профи по регуляркам, и кто в них шарит может меня поправить, потому что я тоже дилетант в этом деле.

 

Правило будет выглядеть так. Красным формат ввода регулярок в модуле. Зеленым само правило.
{reg[#/[0-9]+_[0-9]+_(.*?)/#]}|/

Теперь пояснение.
На наш человеческий язык это правило звучит так.

 

Найди
/
после которого будет идти любая цифра от 0 до 9
[0-9]
Один и более раз
+
после которого будет идти символ
_
После которого будет идти любая цифра от нуля до девяти
[0-9]
один и более раз
+
после которого будет идти символ
_
И после него может быть все что угодно, сколько угодно раз
(.*?)
Пока не встретит первый слеш
/
И замени всю эту чепуху на слеш
/

И вот как это отработало в правилах поиск замена.

 

Спойлер

pbxWAiK.png


Таким образом мы спокойно можем парсить фото с сайта донора без водяных знаков.

Отвечал на вопрос по регулярным выражениям и решил расширить ответ и написать здесь, я уверен многим будет полезно.
 

Так же приложу руководство по ним.
Внимание если вас пугают такие слова как консоль, код, переменная, то не открывайте спойлер, там ссылка на очень сложные веши, и я бы не хотел что бы вы подумали что модуль весь пропитан этой сложностью.

Нужно понимать что модуль SimplePars просто работать с такими сложными вещами как регулярки. А не такой же сложный как они :)

Ну а если вы хотите уметь управлять поиск заменой на уровне Джедая то вам под спойлер. И можете еше пару лет не вылазить от туда, Джидаем просто так не становятся.

 

  • +1 3
Link to post
Share on other sites
1 час назад, AlexDW сказал:

для падаванов и не только еще есть такое

https://regex101.com/

Да сам использую и в инструкции к поиск замене добавил эту ссылку.
https://simplepars.top/index.php?page=note&note_id=9

Link to post
Share on other sites

Переехал на ВПС. В предварительном просмотре обрезает код http://prntscr.com/qw6y7r

Не догружает до конца страницу, как будто указано сколько символов загружать!

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Similar Content

    • By costas
      1950 30
      Скачать/Купить дополнение


      CSV Price Pro import/export
      CSV Price Pro import/export -  это продвинутый инструмент, который позволяет выполнять массовый экспорт категорий, производителей, товаров, опций, атрибутов и изображений в CSV файл. CSV файл можно редактировать в offline режиме, а затем повторно импортировать в базу данных OpenCart.
       
      Версии и сборки
      СSV Price Pro import/export 5.0.12.x (для OpenCart 3.0.x)
      OpenCart версии 3.0.x - 3.0.3.x ocStore версии 3.0.x - 3.0.3.x CSV Price Pro import/export 4.3.3.x (для OpenCart 2.x)
      OpenCart версии 2.0.x - 2.3.x ocStore версии 2.1.x - 2.3.x CSV Price Pro import/export 3.4.1.х (для OpenCart 1.5.x)
      OpenCart версии 1.5.x ocStore версии 1.5.x  
      Разработка модуля CSV Price Pro import/export 3.4.x.x для версии OpenCart 1.5 прекращена, технически вопросы решаются в индивидуальном порядке, критические ошибки будут исправляется по запросу.   
      Требования к хостингу
      PHP 5.3, 5.4, 5.5, 5.6, 7.0, 7.1, 7.2, 7.3, 7.4 PHP ionCube Loader последней версии PHP OpenSSL PHP mbstring OpenCart соответствующей версии  
      Дистрибутив для PHP 5.3, 5.4, 5.5 по запросу в "личку".
       
      Что бы проверить настройки вашего сервера, скачайте архив system_test.zip, распакуйте, прочитайте файл Readme_RU_UTF-8.txt и следуйте инструкциям.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
       
      Как установить CSV Price Pro import/export
       
      Как получить лицензионный ключ (лицензию)
      Условия использования лицензии - "на домен", это означает, что Вы можете использовать одну лицензию (ключ) для одного магазина на одном домене (один лицензионный ключ = один магазин = одно доменное имя). Для получения лицензии напишите мне здесь в Личные сообщения свой email и доменное имя магазина на котором будет стоять модуль. Ключ лицензии будет отправлен Вам здесь в личные сообщения или выслан Вам на Ваш email.  
      Лицензионное соглашение с конечным пользователем (EULA)
      Приобретая лицензию (покупая дополнение), Вы автоматически соглашаетесь со следующими положениями:
      Вы имеете право ознакомиться с работой расширений (модулей) на демонстрационных страницах этих расширений (модулей). Все интересующие Вас вопросы, касающиеся работы расширения (модуля) Вы можете задать автору продукта до его приобретения. Бесплатная техническая поддержка не оказывается пользователям, не купившим дополнение (модуль), получившим его каким-либо другим образом: скопировавшим, скачавшим, приобретшим вскладчину расширения (модули) представленные в данном каталоге. Таким пользователям будет отказано в бесплатной технической поддержке без объяснения причин. Техническая поддержка оказывается за отдельную плату в случаях, если заявленная работа расширения(модуля) невозможна по причине конфликтов с другими сторонними расширениями (модулями), шаблон покупателя значительно отличается от базового шаблона системы ocStore / OpenCart, работа модуля нарушена после действий покупателя которые случились при редактировании файлов расширения (модуля), пользователь хочет изменить или доработать приобретённое дополнение (модуль). Вы имеете право на бесплатную техническую поддержку продукта со стороны автора, за исключением случаев, описанных в пунктах 3 и 4 данного соглашения. Лицензионный ключ выдается на один домен (на один магазин). Выданный лицензионный ключ возврату или обмену не подлежит. Для использовании расширения (модуля) на другом домене нужно совершить повторную покупку расширения (модуля); Лицензия (лицензионный ключ) выдаётся для текущей версии расширения (модуля) на момент выдачи лицензии; В случае утери лицензии (лицензионного ключа), выдаётся лицензия согласно пункту 9 данного соглашения; Все запросы, в том числе и выдача лицензионных ключей, обрабатываются в течение 48 часов с момента поступления. Лицензия на тестовый домен, то есть тестовая лицензия, выдаётся сроком на 30 дней при наличии купленной лицензии.
       
      Совместимость с расширениями (модулями)
      AJAX замена моделей товара - HPM (не работает!) Mega Filter PLUS Url Rewriting Tool - генерация SEO URL (SEO Keyword) для товаров при импорте  
      CSV Price pro import/export совместим с URL Rewriting Tool и поддерживает генерацию SEO URL для товаров при импорте файлов CSV при наличии поля _SEO_KEYWORD_ в csv-файле.
       
      Основные возможности расширения (модуля)
      Добавление новых товаров, категорий, производителей позволяет осуществлять импорт новых товаров, категорий и производителей. Обновление каталога товаров позволяет осуществлять поиск товара по одному из артикулов, наименованию или модели и осуществлять обновление данных найденного товара. Импорт структуры каталога позволяет импортировать структуру категорий из файла с товарами и производителей, если категория или производитель отсутствуют, то они будут созданы автоматически. Два способа импорта атрибутов комбинация всех атрибутов в одном поле или настраиваемый каждый атрибут-значение в отдельном поле, легко настраивается под разные профили импорта и экспорта. Импорт нескольких изображений и автоматическое скачивание позволяет импортировать изображения товара раздельно в виде основного и дополнительных изображений или все изображения в одном поле, разделенные запятой, так же есть возможность автоматически скачивать изображения во время импорта с сайта поставщика. Функция автоматического импорта позволяет настроить автоматический запуск профилей импорта и экспорта по расписанию с использованием заданий CRON. Мульти магазины и несколько языков позволяет делать импорт и экспорт каталога товаров для нескольких магазинов и на нескольких языках. Экспорт каталога товаров на основе фильтра позволяет делать экспорт каталога товаров используя фильтр по категориям, по производителям, по цене товара, по количеству, по активным / неактивным товарам, по наименованию или артикулу.  Расширенный экспорт заказов позволяет выбирать поля для экспорта и настраивать профили для автоматического запуска экспорта по расписанию с использованием заданий CRON Экспорт базы клиентов позволяет экспортировать базу клиентов в CSV файл или файл vCard. Резервное копирование и восстановление позволяет создавать резервные копии всей базы данных OpenCart (Bare metal backup), а так же отдельно для каталога товаров, совместимые с OpenCart System > Backup/Restore.  
      Если вы хотите узнать больше о возможностях расширения, наша команда с удовольствием ответит на ваши вопросы, напишите в личные сообщения здесь на форуме автору расширения, и мы свяжемся с вами как можно скорее.  
      Модуль работает только с файлами в формате CSV.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
      Во избежание проблем с кодировкой и неправильным форматом файла всегда используйте Apache OpenOffice Calc.
       
      Демонстрация CSV Price Pro import/export
      http://opencart.costaslabs.com/admin/
      логин: demo
      пароль: demo
       
      CSV Price Pro import/export 1.5-2.2.6
      C 01.01.2015  данная версия больше не распространяется и не поддерживается, обновление с этой версии на последнюю версию через покупку лицензии.
       
      Добавил costas Добавлено 01.07.2012 Категория Обмен данными Системные требования PHP 5.3, 5.4, 5.5, 5.6, 7.x; ionCube PHP Loader последней версии; PHP OpenSSL support; Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1 Обращение к серверу разработчика Нет  
    • By ambalocha69
      5000
      Скачать/Купить дополнение


      Диспетчер YML\XML
      По вопросам предпродажного консультирования и поддержкой модуля после покупки обращайтесь к пользователю @ncv
      Модуль "Диспетчер YML\XML" для Opencart\ocStore версии 1.5.Х - 3.0
      Предназначен для подключения к ИМ неограниченного количества поставщиков, предоставляющих прайс-листы и описания товаров в формате YML\XML\CSV.
      Самое актуальное описание доступно на официальной странице модуля: http://opencart.zone/modules-2-0/xml2.html
      Основные возможности:
      Производители
      выборочная загрузка производителей перенаправление производителей создание производителей из панели модуля Категории
      выборочная загрузка категорий перенаправление категорий Атрибуты
      настройка соответствий каждого входного параметра параметрам вашего ИМ Индивидуальные настройки для каждого поставщика
      режимы добавления\обновления загрузка изображений связующие поля модификаторы цены Индивидуальные логи для каждого поставщика
      лог загрузки лог уведомлений о появлении у поставщика новых категорий, производителей, атрибутов Структура модуля
      Модуль состоит из основного блока и набора микро-модулей (драйверов), каждый из которых реализует обработку какого либо конкретного формата входных данных по общей схеме. На текущий момент в состав модуля входят следующие драйверы:
      обработка YML - задача решена в общем виде и годится для подавляющего большинства фидов Дополнительно (за отдельную плату) предоставляются драйверы для работы со следующими поставщиками, использующими нестандартные форматы или теги, или предоставляющие собственное API:
      textiloptom.net (API) odeyalaoptom.ru (API) shopntoys.ru (API) gifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) happygifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) oasiscatalog.com (API) Интеграция со "Связанными опциями" (https://opencartforum.com/files/file/2421-%D1%81%D0%B2%D1%8F%D0%B7%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5-%D0%BE%D0%BF%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-opencart2/):
      Загрузчик состоит из 2-х дополнительных блоков:
      - обработчик вариантов (делается под конкретный фид)
      - АПИ сохранения связанных опций
      Тестирование проводилось на фиде от https://www.qpstol.ru/ , который содержит примерно 10700 товаров
      Для подобных проектов ОБЯЗАТЕЛЬНО используйте VDS!
      Для указанного поставщика время загрузки ВСЕХ товаров (по 3-5 изображения в каждом, плюс изображения опций цвета) составляет 5-6 часов.
      Обновление цен и остатков - 30-40 минут.
      По вопросам приобретения расширений писать в ЛС или на почту.
      Установка модуля
      Модуль имеет единый дистрибутив для всех версий Opencart.
      Для всех сборок ниже 2.3: распакуйте архив zoxml2.170209.zip (или более позднюю версию) в корень вашего сайта. Цифры означают дату выпуска дистрибутива — ГГММДД.
      Для 2.3: распакуйте архив zoxml2_3.170209.zip (или более позднюю версию) в корень вашего сайта.
      Распакуйте архив zoxml2_yml.170209.zip в корень вашего сайта (драйвер обработки YML)
      Распакуйте архив zoxml2_scripts.170209.zip в корень вашего сайта (дополнительные скрипты и фильтры)
      Если вы приобрели дополнительные драйверы, то также распакуйте их в корень вашего сайта.
      Для версий 1.5.Х дополнительно также распакуйте архив zoxml1.160511.zip
      Далее перейти в админке в список модулей, найти в нем "Диспетчер YML\XML" и активировать модуль.
      Настройка модуля
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Перейти в блок общего управления модулем В закладке "СИСТЕМА" установить нужные параметры ВНИМАНИЕ: начиная с версии 170209 появилась возможность модифицировать таблицу product - добавлять в нее дополнительное поле supplier (поставщик) для хранения идентификатора поставщика. Будьте осторожны! Использование этой возможности может привести к конфликтам с другими модулями и сделает невозможным восстановление ранее сохраненных копий БД. Поэтому после включения этой возможности сразу сделайте свежую резервную копию БД! Работа с модулем
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Добавление поставщика
      Перейти в блок общего управления модулем В закладке "ПОДКЛЮЧИТЬ ПОСТАВЩИКА" выберите из списка тип входного фида В открывшейся строке "ИМЯ" введите любое удобное для вас имя этого поставщика, например: ООО "Маркет" В остальных открывшихся строках указать необходимые параметры: URL (если требуется), ЛИЦЕНЗИЯ (если требуется) Нажмите "ДОБАВИТЬ" Настройка поставщика
      http://opencart.zone/image/data/xml2/zoxml2_main.jpg
      В левой колонке модуля расположен список подключенных поставщиков.
      Выберите нужного поставщика из списка Установите необходимые базовые параметры Сохраните настройки Нажмите "Загрузить производителей, категории и атрибуты" По окончании загрузки приступайте к настройке производителей, категорий и атрибутов Настройка производителей
      http://opencart.zone/image/data/xml2/zoxml2_vendors.jpg
      Войти в закладку "ПРОИЗВОДИТЕЛИ" выбранного поставщика Если нужный вам производитель отсутствует на сайте, то будет активна кнопка "Добавить" (также можете добавлять производителей обычным способом) Если нужный вам производитель уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Настройка категорий
      http://opencart.zone/image/data/xml2/zoxml2_category.jpg
      Войти в закладку "КАТЕГОРИИ" выбранного поставщика Если нужная вам категория уже есть на сайте, в т.ч. она может присутствовать в иной транскрипции, то просто выберите ее из выпадающего списка Сохраните настройки Настройка опций товара
      Страндарт YML не поддерживает возможность описывать опции товара, но тем не менее многие поставщики включают опции в выгрузку.
      Из-за отсутствия единого стандарта описания опций товара следует использовать встроенный механизм ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР и ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ
      ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР - обрабатывает нестандартные теги (такие как <options>, <param name="Цвет">, <variants> и подобные им) и формирует выходной массив данных
      ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ - сохраняет опции товара после того как завершена основная обработка товара. В большинстве случаев можно использовать входящие в комплект поставки 2 готовых скрипта:
      - saveOptions - используется если все опции включены в одно товарное предложение
      - updateOptions- используется если опции включены в разные товарные предложение, но имеющие например общий артикул
      Настройка атрибутов товара
      http://opencart.zone/image/data/xml2/zoxml2_option.jpg
      Войти в закладку "АТРИБУТЫ\ОПЦИИ" выбранного поставщика Если нужный вам атрибут отсутствует на сайте, то добавьте его обычным способом через панель управления атрибутами сайта Если нужный вам атрибут уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Загрузка\обновление товаров
      Выберите поставщика из списка Нажмите иконку "Загрузить товары" Удаление поставщика
      Выберите поставщика из списка Нажмите иконку "Удалить поставщика" В появившемся блоке запроса подтверждения подтвердите удаление. При отсутствии действий со стороны пользователя блок запроса подтверждения исчезнет через 10 секунд. Лог загрузки
      http://opencart.zone/image/data/xml2/zoxml2_log.jpg
      Лог событий
      http://opencart.zone/image/data/xml2/zoxml2_events.jpg
      Лицензирование модуля
      приобретая модуль вы получаете право его использования на одном публичном домене использование на локальных серверах не ограничивается Дополнение является объектом авторского права и принадлежит его создателю Вы не можете передавать, продавать, распространять, обмениваться и сдавать в аренду какую-либо часть дополнения Вы не можете размещать дополнение на других сайтах, чтобы оно было доступно для скачивания перенесение с одного домена на другой ранее приобретенной Лицензии не осуществляется Демо-сайты:
      для ocStore 1.5.5:
      http://xml.opencart.zone/admin/index.php?route=module/zoxml2
      demo\demo
      для OpenCart 2.1:
      http://xml2.opencart.zone/admin/index.php?route=module/zoxml2
      demo\demo
      Поддержка
      Поддержка осуществляется автором по электронной почте (указана в админке модуля в заголовке) При обращении в поддержку обязательно указывайте адрес сайта на котором установлен модуль, версию движка, описание проблемы (желательно со скриншотом). По возможности сразу добавляйте доступ в админку (достаточно режима демонстрации) - это сильно упрощает работу и экономит время. Если у вас возникли вопросы перед покупкой модуля - оставляйте сообщение в теме поддержки Расширение функционала
      функционал модуля постоянно расширяется Пишите, если считаете нужным добавить в модуль какую нибудь полезную функцию - ваши пожелания будут учтены в следующих версиях Рекомендации и FAQ:
      для работы с фидами, содержащими большое количество производителей или категорий добавьте в файл .htaccess строку:
      php_value max_input_vars 20000 модуль очень требователен в хостингу. рекомендуется использование VDS(VPS). Объем доступной памяти должен как минимум в 10 раз превышать размер самого большого фида. Так, если самый большой фид имеет размер 90Мб, то на хостинге должно быть не менее 1Гб памяти модуль не работает в "Режиме обслуживания" не забывайте чистить логи! Если у вас при входе в модуль возникает ошибка типа Fatal error: Allowed memory size of 134217728 bytes exhausted или подобная, то для очистки логов сделайте повторную инициализацию модуля - "Деактивировать", затем "Активировать". Эта возможность доступна начиная со сборки zoxml2.160727 работа с CSV: подключить как YML-совместимый в закладке УПРАВЛЕНИЕ в разделе СПОСОБ ЗАГРУЗКИ выбрать способ загрузки: "Загрузить CSV (UTF-8) как YML" или "Загрузить CSV (windows-1251) как YML" далее работаем как с обычным XML-фидом CSV файл обязательно должен в 1-й строке содержать названия столбцов при включенном отладчике XML-версия фида будет сохранена в DIR_CACHE Авторские права:
      http://opencart.zone/image/data/ocz_logo.png
      Добавил ambalocha69 Добавлено 11.05.2016 Категория Обмен данными Системные требования рекомендуется VDS Метод активации Автоматическая активация Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Да  
    • By ambalocha69
      По вопросам предпродажного консультирования и поддержкой модуля после покупки обращайтесь к пользователю @ncv
      Модуль "Диспетчер YML\XML" для Opencart\ocStore версии 1.5.Х - 3.0
      Предназначен для подключения к ИМ неограниченного количества поставщиков, предоставляющих прайс-листы и описания товаров в формате YML\XML\CSV.
      Самое актуальное описание доступно на официальной странице модуля: http://opencart.zone/modules-2-0/xml2.html
      Основные возможности:
      Производители
      выборочная загрузка производителей перенаправление производителей создание производителей из панели модуля Категории
      выборочная загрузка категорий перенаправление категорий Атрибуты
      настройка соответствий каждого входного параметра параметрам вашего ИМ Индивидуальные настройки для каждого поставщика
      режимы добавления\обновления загрузка изображений связующие поля модификаторы цены Индивидуальные логи для каждого поставщика
      лог загрузки лог уведомлений о появлении у поставщика новых категорий, производителей, атрибутов Структура модуля
      Модуль состоит из основного блока и набора микро-модулей (драйверов), каждый из которых реализует обработку какого либо конкретного формата входных данных по общей схеме. На текущий момент в состав модуля входят следующие драйверы:
      обработка YML - задача решена в общем виде и годится для подавляющего большинства фидов Дополнительно (за отдельную плату) предоставляются драйверы для работы со следующими поставщиками, использующими нестандартные форматы или теги, или предоставляющие собственное API:
      textiloptom.net (API) odeyalaoptom.ru (API) shopntoys.ru (API) gifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) happygifts.ru (API) - дополнительно требуются "Связанные опции" (обязательно) и "Живая цена" (желательно) oasiscatalog.com (API) Интеграция со "Связанными опциями" (https://opencartforum.com/files/file/2421-%D1%81%D0%B2%D1%8F%D0%B7%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5-%D0%BE%D0%BF%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-opencart2/):
      Загрузчик состоит из 2-х дополнительных блоков:
      - обработчик вариантов (делается под конкретный фид)
      - АПИ сохранения связанных опций
      Тестирование проводилось на фиде от https://www.qpstol.ru/ , который содержит примерно 10700 товаров
      Для подобных проектов ОБЯЗАТЕЛЬНО используйте VDS!
      Для указанного поставщика время загрузки ВСЕХ товаров (по 3-5 изображения в каждом, плюс изображения опций цвета) составляет 5-6 часов.
      Обновление цен и остатков - 30-40 минут.
      По вопросам приобретения расширений писать в ЛС или на почту.
      Установка модуля
      Модуль имеет единый дистрибутив для всех версий Opencart.
      Для всех сборок ниже 2.3: распакуйте архив zoxml2.170209.zip (или более позднюю версию) в корень вашего сайта. Цифры означают дату выпуска дистрибутива — ГГММДД.
      Для 2.3: распакуйте архив zoxml2_3.170209.zip (или более позднюю версию) в корень вашего сайта.
      Распакуйте архив zoxml2_yml.170209.zip в корень вашего сайта (драйвер обработки YML)
      Распакуйте архив zoxml2_scripts.170209.zip в корень вашего сайта (дополнительные скрипты и фильтры)
      Если вы приобрели дополнительные драйверы, то также распакуйте их в корень вашего сайта.
      Для версий 1.5.Х дополнительно также распакуйте архив zoxml1.160511.zip
      Далее перейти в админке в список модулей, найти в нем "Диспетчер YML\XML" и активировать модуль.
      Настройка модуля
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Перейти в блок общего управления модулем В закладке "СИСТЕМА" установить нужные параметры ВНИМАНИЕ: начиная с версии 170209 появилась возможность модифицировать таблицу product - добавлять в нее дополнительное поле supplier (поставщик) для хранения идентификатора поставщика. Будьте осторожны! Использование этой возможности может привести к конфликтам с другими модулями и сделает невозможным восстановление ранее сохраненных копий БД. Поэтому после включения этой возможности сразу сделайте свежую резервную копию БД! Работа с модулем
      В левой колонке модуля расположен список подключенных поставщиков. Последним в списке идет ссылка на блок общего управления модулем.
      Добавление поставщика
      Перейти в блок общего управления модулем В закладке "ПОДКЛЮЧИТЬ ПОСТАВЩИКА" выберите из списка тип входного фида В открывшейся строке "ИМЯ" введите любое удобное для вас имя этого поставщика, например: ООО "Маркет" В остальных открывшихся строках указать необходимые параметры: URL (если требуется), ЛИЦЕНЗИЯ (если требуется) Нажмите "ДОБАВИТЬ" Настройка поставщика
      http://opencart.zone/image/data/xml2/zoxml2_main.jpg
      В левой колонке модуля расположен список подключенных поставщиков.
      Выберите нужного поставщика из списка Установите необходимые базовые параметры Сохраните настройки Нажмите "Загрузить производителей, категории и атрибуты" По окончании загрузки приступайте к настройке производителей, категорий и атрибутов Настройка производителей
      http://opencart.zone/image/data/xml2/zoxml2_vendors.jpg
      Войти в закладку "ПРОИЗВОДИТЕЛИ" выбранного поставщика Если нужный вам производитель отсутствует на сайте, то будет активна кнопка "Добавить" (также можете добавлять производителей обычным способом) Если нужный вам производитель уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Настройка категорий
      http://opencart.zone/image/data/xml2/zoxml2_category.jpg
      Войти в закладку "КАТЕГОРИИ" выбранного поставщика Если нужная вам категория уже есть на сайте, в т.ч. она может присутствовать в иной транскрипции, то просто выберите ее из выпадающего списка Сохраните настройки Настройка опций товара
      Страндарт YML не поддерживает возможность описывать опции товара, но тем не менее многие поставщики включают опции в выгрузку.
      Из-за отсутствия единого стандарта описания опций товара следует использовать встроенный механизм ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР и ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ
      ПОЛЬЗОВАТЕЛЬСКИЙ ФИЛЬТР - обрабатывает нестандартные теги (такие как <options>, <param name="Цвет">, <variants> и подобные им) и формирует выходной массив данных
      ПОЛЬЗОВАТЕЛЬСКИЙ СКРИПТ - сохраняет опции товара после того как завершена основная обработка товара. В большинстве случаев можно использовать входящие в комплект поставки 2 готовых скрипта:
      - saveOptions - используется если все опции включены в одно товарное предложение
      - updateOptions- используется если опции включены в разные товарные предложение, но имеющие например общий артикул
      Настройка атрибутов товара
      http://opencart.zone/image/data/xml2/zoxml2_option.jpg
      Войти в закладку "АТРИБУТЫ\ОПЦИИ" выбранного поставщика Если нужный вам атрибут отсутствует на сайте, то добавьте его обычным способом через панель управления атрибутами сайта Если нужный вам атрибут уже есть на сайте, в т.ч. он может присутствовать в иной транскрипции, то просто выберите его из выпадающего списка Сохраните настройки Загрузка\обновление товаров
      Выберите поставщика из списка Нажмите иконку "Загрузить товары" Удаление поставщика
      Выберите поставщика из списка Нажмите иконку "Удалить поставщика" В появившемся блоке запроса подтверждения подтвердите удаление. При отсутствии действий со стороны пользователя блок запроса подтверждения исчезнет через 10 секунд. Лог загрузки
      http://opencart.zone/image/data/xml2/zoxml2_log.jpg
      Лог событий
      http://opencart.zone/image/data/xml2/zoxml2_events.jpg
      Лицензирование модуля
      приобретая модуль вы получаете право его использования на одном публичном домене использование на локальных серверах не ограничивается Дополнение является объектом авторского права и принадлежит его создателю Вы не можете передавать, продавать, распространять, обмениваться и сдавать в аренду какую-либо часть дополнения Вы не можете размещать дополнение на других сайтах, чтобы оно было доступно для скачивания перенесение с одного домена на другой ранее приобретенной Лицензии не осуществляется Демо-сайты:
      для ocStore 1.5.5:
      http://xml.opencart.zone/admin/index.php?route=module/zoxml2
      demo\demo
      для OpenCart 2.1:
      http://xml2.opencart.zone/admin/index.php?route=module/zoxml2
      demo\demo
      Поддержка
      Поддержка осуществляется автором по электронной почте (указана в админке модуля в заголовке) При обращении в поддержку обязательно указывайте адрес сайта на котором установлен модуль, версию движка, описание проблемы (желательно со скриншотом). По возможности сразу добавляйте доступ в админку (достаточно режима демонстрации) - это сильно упрощает работу и экономит время. Если у вас возникли вопросы перед покупкой модуля - оставляйте сообщение в теме поддержки Расширение функционала
      функционал модуля постоянно расширяется Пишите, если считаете нужным добавить в модуль какую нибудь полезную функцию - ваши пожелания будут учтены в следующих версиях Рекомендации и FAQ:
      для работы с фидами, содержащими большое количество производителей или категорий добавьте в файл .htaccess строку:
      php_value max_input_vars 20000 модуль очень требователен в хостингу. рекомендуется использование VDS(VPS). Объем доступной памяти должен как минимум в 10 раз превышать размер самого большого фида. Так, если самый большой фид имеет размер 90Мб, то на хостинге должно быть не менее 1Гб памяти модуль не работает в "Режиме обслуживания" не забывайте чистить логи! Если у вас при входе в модуль возникает ошибка типа Fatal error: Allowed memory size of 134217728 bytes exhausted или подобная, то для очистки логов сделайте повторную инициализацию модуля - "Деактивировать", затем "Активировать". Эта возможность доступна начиная со сборки zoxml2.160727 работа с CSV: подключить как YML-совместимый в закладке УПРАВЛЕНИЕ в разделе СПОСОБ ЗАГРУЗКИ выбрать способ загрузки: "Загрузить CSV (UTF-8) как YML" или "Загрузить CSV (windows-1251) как YML" далее работаем как с обычным XML-фидом CSV файл обязательно должен в 1-й строке содержать названия столбцов при включенном отладчике XML-версия фида будет сохранена в DIR_CACHE Авторские права:
      http://opencart.zone/image/data/ocz_logo.png
    • By Otvet
      Работает на живых магазинах с 2.5 млн позиций, если у вас больше - точно так же будет работать.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Статус Не получено – не удалось получить файл Sitemap больше не страшен т.к. есть патч ЧПУ адреса сайтмапа в 2 клика
       
       
      У доменов .рф проблемы с приемом Гуглом любого сайтмапа, когда гугл исправит ошибку неизвестно
       
      C посадочными OCFilter 4.8 модуль не работает, не включайте в настройках.
       
      Преимущества:
      ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (~ в 20-200 раз) может заменять оригинальный google_sitemap (до версии 4.0), сохраняя максимальную совместимость со сторонними модулями, работа производится полностью так, как будто стоит родной, с версии 4.0 модуль не заменяет, имеет собственный контроллер и админку добавление lastmod (значительно ускоряет индексацию) в отличии от рудиментов priority и changefreq устранение дублей товаров в содержании валидация яндексом фикс &amp при использовании seo_pro (error on line 1 at column ....: EntityRef: expecting) мультисайтмап (сайтмап сайтмапов)  
      Уникальные функции:
      возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл{ы} с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter (до версии 4.7.*) SEO страницы Filter Vier (не гарантируется, т.к. там бесконечные переделки и ioncube) страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS (обновить сайтмап до последней версии) #FX Brands логирование обращений ботов Яндекс/Гугл/... пересчет даты модификации категории (lastmod) исходя их свежей даты последней модификации товаров данной категории  
       
      Изображения
      В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
      В связи с этим, дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
      Так же обязательна к прочтению статья по данной теме
       
      ------------------
      * - поддерживаются таблицы БД blog/news/article (в т.ч. ocstore3 blog)
      по запросу патч для: 
      newsblog revolution blog lightshop blog unishop blog journal3 blog octemplates blog technics_blog airdus blog в любой момент авторы в сторонние блоги могут внести изменения и поддержка исчезнуть
       
      ------------------
      Важно:
      Срок бесплатной технической поддержки - 1 год Локальные серверы и прочее не входит в поддержку Техподдержка, обновление на одну версию опенкарт При заказе настройки, учитывайте что она должна производиться на полностью готовом сайте, дабы потом не делать заново
    • By Otvet
      750 11
      Скачать/Купить дополнение


      #FX Sitemap - Сверхскоростная Карта сайта [xml] с широким функционалом
      Работает на живых магазинах с 2.5 млн позиций, если у вас больше - точно так же будет работать.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Статус Не получено – не удалось получить файл Sitemap больше не страшен т.к. есть патч ЧПУ адреса сайтмапа в 2 клика
       
       
      У доменов .рф проблемы с приемом Гуглом любого сайтмапа, когда гугл исправит ошибку неизвестно
       
      Преимущества:
      ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (~ в 20-200 раз) может заменять оригинальный google_sitemap (до версии 4.0), сохраняя максимальную совместимость со сторонними модулями, работа производится полностью так, как будто стоит родной, с версии 4.0 модуль не заменяет, имеет собственный контроллер и админку добавление lastmod (значительно ускоряет индексацию) в отличии от рудиментов priority и changefreq устранение дублей товаров в содержании валидация яндексом фикс &amp при использовании seo_pro (error on line 1 at column ....: EntityRef: expecting) мультисайтмап (сайтмап сайтмапов)  
      Уникальные функции:
      возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл{ы} с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter SEO страницы Filter Vier (не гарантируется, т.к. там бесконечные переделки и ioncube) страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS (обновить сайтмап до последней версии) #FX Brands логирование обращений ботов Яндекс/Гугл/... пересчет даты модификации категории (lastmod) исходя их свежей даты последней модификации товаров данной категории  
       
      Изображения
      В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
      В связи с этим, дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
      Так же обязательна к прочтению статья по данной теме
       
      ------------------
      * - поддерживаются таблицы БД blog/news/article (в т.ч. ocstore3 blog)
      по запросу патч для: 
      newsblog revolution blog lightshop blog unishop blog journal3 blog octemplates blog technics_blog airdus blog в любой момент авторы в сторонние блоги могут внести изменения и поддержка исчезнуть
       
      ------------------
      Важно:
      Срок бесплатной технической поддержки - 1 год Локальные серверы и прочее не входит в поддержку Техподдержка, обновление на одну версию опенкарт При заказе настройки, учитывайте что она должна производиться на полностью готовом сайте, дабы потом не делать заново Добавил Otvet Добавлено 22.03.2016 Категория SEO, карта сайта, оптимизация Системные требования умение читать инструкцию, IQ > 70 Метод активации Автоматическая активация Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Нет  
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.