Рекомендуемые сообщения

RGB    1 023

1) Итак, первое впечатление - ничего не работает :-)/>

Потом стало понятно, что просто так тестовая страница-донор не меняется, у меня почему-то нужно нажать Сохранить один раз, страница обновится, но адрес не поменяется, потом нужно снова нажать Сохранить и лишь тогда удастся обновить этот адрес.

Вот тогда уже парсит.

2) Поехали дальше - не очень понятно зачем выводить служебную информацию на фоне основного окна и в новой вкладке (рез-ты выполнения парсинга в смысле).

3) Дальше - после парсинга товара появляется попап с новым товаром, который по умолчанию благополучно блокируется хромом :-)/> ИМХО лучше было бы его не всплывающим окном делать, а как-то по другому.

4) Не очень понятно, как работают пхп-вставки. Вот у меня один особо одаренный донор выводит атрибуты в таблице вот так:

строчка таблицы

< td >Имя атрибута< /td > < td > < /td >   < td >Значение атрибута< /td >

Средняя ячейка просто пустая :-) (табличные теги почему-то не видно, поэтому я их с пробелами пишу) Так что при парсинге по инструкциям розетки, атрибуты смешиваются в кашу. Я пытаюсь сделать в инструкции вот так (чтобы убрать эти пустые ячейки):

attributes["Характеристики"] = tags_text("#item_center table tr td")
//PHP $attributes= preg_replace( "< td > < /td >" , "" , $attributes);
//END
Но так не катит. Где моя ошибка?

5) Еще такой момент - с той же розетки можно хорошие описания парсить вот так:

description = tag_text("#short_description")
но при этом теряются хтмл-ные теги, типа абзацев, переносов. Что не есть хорошо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RGB    1 023

Можно перед, вот так:

//PHP
$html2 = str_replace( "< td > < /td >" , "" , $html);
attributes["Характеристики"] = tags_text("#item_center table tr td",$html2)
//END

Есть команда tag_html - она даёт весь хтмл внутри тега. Она хороша для описаний.

Теперь вообще ничего не парсится - зависает на этапе Fetching

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RGB    1 023

Ой, точки с запятой не хватает в конце во второй строчке :|

Ненене, я это заметил и исправил, все равно так же. А убираю пхп-вставку такую и все работает, не понятно чего так.

Вообще мне кажется не очень эффективным проверять весь $html на наличие таких пустых ячеек - это как стрелять из пушки по воробьям.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
snastik    833

Это тоже интересная тема! Как ты себе представляешь идеальное решение этой задачи? Куда и в каком виде должны попадать данные?

отписался в личку чтобы тут не захламлять

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RGB    1 023

Еще вопрос - как быть для такой ситуации, когда ссылки на картинку товара нет в понятном виде (как в приведенных инструкциях, когда там все просто по тегу а находится)?

Пример с моего донора:

<a id="photogal" href="javascript:;"><div style="width:290px; height:150px; background-color: #ffffff; background-position: center center; background-size: contain; -moz-background-size: contain; background-image: url('/files/images/items/mx15r.jpg'); background-repeat: no-repeat;">
</a>

Как видно, урл картинки зашит в цсс-свойстве background-image. Резать через пхп?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xxBRATxx    22

Еще вопрос?

Как удалять доноров??? А то на создавал кучку...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RGB    1 023

Нашёл, почему не выдаёт текст ошибки, исправляю. В том куске кода перед attribute надо $

Только-только начал набирать тоже самое, как твое сообщение появилось :-)

Правда в этом случае есть один момент - после такого куска:

//PHP
$html2 = str_replace( "< td > < /td >" , "" , $html);
attributes["Характеристики"] = tags_text("#item_center table tr td",$html2)
//END

Весь хтмл донора (все картинки, счетчики и т.п. хлам) вываливается на страницу с выводом диагностических сообщений, ну где ошибки выводятся. Можно ли вообще сделать возможность отключения этой страницы?

А с inside тоже все хорошо, кроме одного:

$main_image = inside ( "url('" , "')", tag_attr("#item_img a div", "style") );
$main_image = "http://site.com".$main_image;
Поскольку в цсс прописываются не абсолютные пути, то надо уже в пхп добавлять site.com к адресу получившейся картинки. Ну это уже не к парсеру относится, а к инструкциям, над которыми придется шаманить.

Еще пожелание - я заметил, что спарсившиеся картинки, при наличии таких же с такими же именами, не перезаписываются, а дописываются с добавлением номера. Может стоит их все-же перезаписывать? У меня вот за время моих вышеописанных экспериментов уже 36 абсолютно одинаковых картинок. Так и место у хостера закончится в два счета, если парсить какую-нибудь розетку :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xxBRATxx    22

Не могу понять как будет выглядеть инструкция для этого.

<table class="item">
    <tr>
	 <td class="l" >
	 
	  <a href="/catalog/parts/controllers/24596/"><div class="photo" style="background-image:url(/_catalog_images/24596_v01_s.jpg);"></div></a>
	  <b>24596 <a href="/catalog/parts/controllers/24596/">Контроллер * PCI USB 2.0 (4+1)port VIA6212 bulk</a></b>
	  <div class="descr"></div>
	 </td>
</table>
Похоже на это? tags_href(". item l b a a")

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xxBRATxx    22

Мне кажется

tags_href( ".item tr .l b a" )
должно сработать -_-
Спасибо, понял, что вообще все неправильно сделал =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nromka    22

Естественно, бесплатный сыр только в мышеловках. Вы сможете потестировать обработку одного товара на вашем доноре - но не сможете запустить автоматический парсинг. Пока что цена сервиса такова:

$30 за одного донора на один ваш сайт за один год
1. Из выше написанного следует, что это будет абонплата 30$ в год за одного донора? Если покупатель парсит 10 сайтов, то платит 300$ в год? Или это разовый платеж за одного донора?

2. Поменялась структура сайта. Будут инструкции переписываться и поддерживаться на протяжении года?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Tom    2 040

1. Из выше написанного следует, что это будет абонплата 30$ в год за одного донора? Если покупатель парсит 10 сайтов, то платит 300$ в год? Или это разовый платеж за одного донора?

2. Поменялась структура сайта. Будут инструкции переписываться и поддерживаться на протяжении года?

По моему первый вопрос дублирует сам себя.Я так понял это один донор.

А по второму, так вообще это цена без инструкций к донору,просто абонплата за пользование парсером.Потому и все проблемы связанные с изменением внутри донора ни как не относятся к этой сумме.

ПС У Яси эти условия оговаривались сразу и он предупреждал сразу,что бесплатно не будет вносит поправки в инструкции если что то изменилось на стороне донора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Quixtar    0

Новый простой синтаксис

Теперь инструкции как-то по-другому пишутся?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Quixtar    0

Подскажите пожалуйста, как из вот этого кода откуда я беру атрибуты убрать div'ы "Производитель", "Код производителя" и "Описание"

<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Производитель</div>
<div itemprop="brand" class="opened-item-right-right">AMD</div>
</div>
<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Код производителя</div>
<div class="opened-item-right-right">SDX145HBGMBOX</div>
</div>
<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Процессор</div>
<div class="opened-item-right-right">AMD Sempron 145</div>
</div>
<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Процессор</div>
<div class="opened-item-right-right">AMD Sempron</div>
</div>
<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Разъем процессора (socket)</div>
<div class="opened-item-right-right">AM3</div>
</div>
<div class="opened-item-right-item-line">
<div class="opened-item-right-left">Описание</div>
<div class="opened-item-right-right">
<h2><span itemprop="description">Sempron 145 (2.8Ghz/1MB/45W) Socket AM3 SDX145HBGMBOX</span></h2>
</div>
</div>

Атрибуты беру по такой инструкции

attributes ["Характеристики"] = tags_text ".opened-item-right-item-line div"
Изменено пользователем Quixtar

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От 7erj
      Здравствуйте. Установил модуль: import/export
      Однако, насколько я понял: у данного модуля нет возможности экспорта подкатегорий, только категорий. Я ошибаюсь?
      Если нет, есть ли альтернативы (желательно бесплатные)?
      Если да, каким образом организовать процесс так, что-бы я мог экспортировать подкатегории?
    • От costas

      1 300.00 руб
      Скачать/Купить дополнение


      CSV Price Pro import/export
      CSV Price Pro import/export 4.1.15
      OpenCart версии 2.0.x - 2.3.x ocStore версии 2.1.x - 2.3.x CSV Price Pro import/export 3.3.8
      OpenCart версии 1.5.1.3.1 - 1.5.6.4 ocStore версии 1.5.1.3 - 1.5.5.1.2 Требования к серверу
      PHP 5.3.x, 5.4.x, 5.5.x, 5.6.x, 7.1.x ionCube PHP Loader последней версии PHP OpenSSL support  
      Что бы проверить настройки Вашего сервера, скачайте архив system_test.zip
      распакуйте, прочитайте файл Readme_RU_UTF-8.txt и следуйте инструкциям.
       
      Описание установки модуля
      Если есть вопросы, пишите здесь в личные сообщения автору или на почту дополнения.
       
      Демонстрация CSV Price Pro import/export 4 (OpenCart 2):
      http://oc2.opencartlabs.ru/admin/
      логин: demo
      пароль: demo
      Демонстрация CSV Price Pro import/export 3 (OpenCart 1.5.х):
      http://demo.opencartlabs.ru/admin/
      логин: demo
      пароль: demo
       
      Лицензия для CSV Price Pro import/export (версии 3.x и 4.x)
      Условия использования лицензии - "на домен", это означает, что Вы можете использовать одну лицензию (ключ) для одного магазина на одном домене (один лицензионный ключ = один магазин = одно доменное имя).
      Для получения лицензии скачайте архив с модулем и напишите мне здесь в Личные сообщения свой email и доменное имя магазина на котором будет стоять модуль. Ключ лицензии будет выслан Вам на Ваш email
       
      Приобретая лицензию (покупая дополнение), Вы автоматически соглашаетесь со следующими положениями:
      Вы имеете право ознакомиться с работой дополнений (модулей) на демонстрационных страницах этих дополнений (модулей). Все интересующие Вас вопросы, касающиеся работы дополнения (модуля) Вы можете задать автору продукта до его приобретения. Бесплатная техническая поддержка не оказывается пользователям, не купившим дополнение (модуль), получившим его каким-либо другим образом: скопировавшим, скачавшим, приобретшим вскладчину дополнения (модули) представленные в данном каталоге. Таким пользователям будет отказано в бесплатной технической поддержке без объяснения причин. Техническая поддержка оказывается за отдельную плату в случаях, если заявленная работа дополнения (модуля) невозможна по причине конфликтов с другими сторонними дополнениями (модулями), шаблон покупателя значительно отличается от базового шаблона системы ocStore / OpenCart, работа модуля нарушена после действий покупателя которые случились при редактировании файлов дополнения (модуля), пользователь хочет изменить или доработать приобретённое дополнение (модуль). Вы имеете право на бесплатную техническую поддержку продукта со стороны автора, за исключением случаев, описанных в пунктах 3 и 4 данного соглашения. Лицензионный ключ выдается на один домен (на один магазин). Выданный лицензионный ключ возврату или обмену не подлежит. Для использовании дополнения (модуля) на другом домене нужно совершить повторную покупку дополнения (модуля). Все запросы, в том числе и выдача лицензионных ключей, обрабатываются в течение 48 часов с момента поступления.  
      Основные функции модуля:
      Импорт/экспорт названия, описания, характеристик товара, изображений товара; Импорт/экспорт модели, артикулов, штрихкодов товара; Импорт/экспорт цены, количества, статусов товара; Импорт/экспорт опций товара, скидок товара; Импорт/экспорт связанных товаров по имени, модели, артикулам; Импорт/экспорт SEO-атрибутов; Импорт/экспорт категорий товара; Импорт/экспорт производителя товара; Импорт/экспорт фильтров товара; Калькуляция цен товара при добавлении или обновлении товара; Поиск и обновление товара по product_id, по модели, наименованию, артикулам, штрихкодам; Удаление товара из каталога по product_id, по модели, наименованию, артикулам, штрихкодам; Выгрузка товара (экспорт) на основе критериев отбора; Поддержка профилей для добавления или обновления товаров (будет использовано автоматическом импорте из файла); Поддержка макроопределений для полей таблиц product и product_description; Импорт/экспорт структуры каталога категорий; Импорт/экспорт названия, описания, изображений категорий; Импорт/экспорт фильтров категорий; Импорт/экспорт SEO-атрибутов категорий; Поддержка макроопределений для полей таблиц category и category_description; Импорт/экспорт названия, описания, изображений производителей; Импорт/экспорт SEO-атрибутов производителей; Поддержка макроопределений для полей таблиц manufacturer и manufacturer_description; Выгрузка (экспорт) данных клиентов интернет-магазина; Выгрузка (экспорт) заказов интернет-магазина; Поддержка нескольких языков интернет-магазина; Поддержка мультимагазинов; Импорт/экспорт товаров по CRON; Модуль работает с CSV форматом.
      Для работы с файлами CSV требуется OpenOffice Calc.
      Во избежание проблем с кодировкой и неправильным форматом файла всегда используйте OpenOffice Calc
       
       
      CSV Price Pro import/export 1.5-2.2.6
      Данная версия больше не распространяется. Обновитесь до последней версии.
      Добавил costas Добавлено 01.07.2012 Категория Обмен данными Системные требования PHP 5.3.x, 5.4.x, 5.5.x, 5.6.x, 7.x.x;ionCube PHP Loader последней версии;PHP OpenSSL support; Сайт разработчика http://www.opencartlabs.ru Старая цена Метод активации По запросу на почту Ioncube Loader Требуется OpenCart ocStore OpenCart.Pro, ocShop  
    • От costas
      CSV Price Pro import/export 4.1.15
      OpenCart версии 2.0.x - 2.3.x ocStore версии 2.1.x - 2.3.x CSV Price Pro import/export 3.3.8
      OpenCart версии 1.5.1.3.1 - 1.5.6.4 ocStore версии 1.5.1.3 - 1.5.5.1.2 Требования к серверу
      PHP 5.3.x, 5.4.x, 5.5.x, 5.6.x, 7.1.x ionCube PHP Loader последней версии PHP OpenSSL support  
      Что бы проверить настройки Вашего сервера, скачайте архив system_test.zip
      распакуйте, прочитайте файл Readme_RU_UTF-8.txt и следуйте инструкциям.
       
      Описание установки модуля
      Если есть вопросы, пишите здесь в личные сообщения автору или на почту дополнения.
       
      Демонстрация CSV Price Pro import/export 4 (OpenCart 2):
      http://oc2.opencartlabs.ru/admin/
      логин: demo
      пароль: demo
      Демонстрация CSV Price Pro import/export 3 (OpenCart 1.5.х):
      http://demo.opencartlabs.ru/admin/
      логин: demo
      пароль: demo
       
      Лицензия для CSV Price Pro import/export (версии 3.x и 4.x)
      Условия использования лицензии - "на домен", это означает, что Вы можете использовать одну лицензию (ключ) для одного магазина на одном домене (один лицензионный ключ = один магазин = одно доменное имя).
      Для получения лицензии скачайте архив с модулем и напишите мне здесь в Личные сообщения свой email и доменное имя магазина на котором будет стоять модуль. Ключ лицензии будет выслан Вам на Ваш email
       
      Приобретая лицензию (покупая дополнение), Вы автоматически соглашаетесь со следующими положениями:
      Вы имеете право ознакомиться с работой дополнений (модулей) на демонстрационных страницах этих дополнений (модулей). Все интересующие Вас вопросы, касающиеся работы дополнения (модуля) Вы можете задать автору продукта до его приобретения. Бесплатная техническая поддержка не оказывается пользователям, не купившим дополнение (модуль), получившим его каким-либо другим образом: скопировавшим, скачавшим, приобретшим вскладчину дополнения (модули) представленные в данном каталоге. Таким пользователям будет отказано в бесплатной технической поддержке без объяснения причин. Техническая поддержка оказывается за отдельную плату в случаях, если заявленная работа дополнения (модуля) невозможна по причине конфликтов с другими сторонними дополнениями (модулями), шаблон покупателя значительно отличается от базового шаблона системы ocStore / OpenCart, работа модуля нарушена после действий покупателя которые случились при редактировании файлов дополнения (модуля), пользователь хочет изменить или доработать приобретённое дополнение (модуль). Вы имеете право на бесплатную техническую поддержку продукта со стороны автора, за исключением случаев, описанных в пунктах 3 и 4 данного соглашения. Лицензионный ключ выдается на один домен (на один магазин). Выданный лицензионный ключ возврату или обмену не подлежит. Для использовании дополнения (модуля) на другом домене нужно совершить повторную покупку дополнения (модуля). Все запросы, в том числе и выдача лицензионных ключей, обрабатываются в течение 48 часов с момента поступления.  
      Основные функции модуля:
      Импорт/экспорт названия, описания, характеристик товара, изображений товара; Импорт/экспорт модели, артикулов, штрихкодов товара; Импорт/экспорт цены, количества, статусов товара; Импорт/экспорт опций товара, скидок товара; Импорт/экспорт связанных товаров по имени, модели, артикулам; Импорт/экспорт SEO-атрибутов; Импорт/экспорт категорий товара; Импорт/экспорт производителя товара; Импорт/экспорт фильтров товара; Калькуляция цен товара при добавлении или обновлении товара; Поиск и обновление товара по product_id, по модели, наименованию, артикулам, штрихкодам; Удаление товара из каталога по product_id, по модели, наименованию, артикулам, штрихкодам; Выгрузка товара (экспорт) на основе критериев отбора; Поддержка профилей для добавления или обновления товаров (будет использовано автоматическом импорте из файла); Поддержка макроопределений для полей таблиц product и product_description; Импорт/экспорт структуры каталога категорий; Импорт/экспорт названия, описания, изображений категорий; Импорт/экспорт фильтров категорий; Импорт/экспорт SEO-атрибутов категорий; Поддержка макроопределений для полей таблиц category и category_description; Импорт/экспорт названия, описания, изображений производителей; Импорт/экспорт SEO-атрибутов производителей; Поддержка макроопределений для полей таблиц manufacturer и manufacturer_description; Выгрузка (экспорт) данных клиентов интернет-магазина; Выгрузка (экспорт) заказов интернет-магазина; Поддержка нескольких языков интернет-магазина; Поддержка мультимагазинов; Импорт/экспорт товаров по CRON; Модуль работает с CSV форматом.
      Для работы с файлами CSV требуется OpenOffice Calc.
      Во избежание проблем с кодировкой и неправильным форматом файла всегда используйте OpenOffice Calc
       
       
      CSV Price Pro import/export 1.5-2.2.6
      Данная версия больше не распространяется. Обновитесь до последней версии.
    • От MaxD

      Скачать/Купить дополнение


      LiveImport - импорт Excel и сайтов
      .
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
      Как настраивать авторизацию на доноре - http://liveimport.devs.mx/service/auth.html
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
      Добавил MaxD Добавлено 22.02.2016 Категория Парсеры Системные требования Сайт разработчика http://liveimport.devs.mx/ Старая цена Метод активации Без активации Ioncube Loader Нет OpenCart ocStore OpenCart.Pro, ocShop  
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу