[Поддержка] SimplePars - Универсальный парсер для ИМ

[Axelenz]

25.09.2023 в 00:06, Rassol2 сказал:

я может гвоздями в коде прибью что если в категории указан ид родителя а его нет, считать эту категорию самой родительской. 
и на этом и порешаем. Это если такое будет иметь смысл, я еше не проводил ресерч. 

 

Было бы весьма замечательно, если бы Вы "прибили гвоздями" в коде сразу же самые часто встречающиеся возможные ошибки (ну хотя бы в том же самом блоке категорий) и указали, что всем желающим лезть в файл ... в строку № ...

Это намного упростило бы жизнь, потому, что когда мы сами вносим что-то в файл, то привязываем клиента к определённому релизу... А если клиент в следующий раз будет работать с другим исполнителем и тот обновит модуль, то как ? Да и самим помнить, кому и какие вносили изменения в модуль, сомневаюсь...

Поэтому на мой взгляд это было бы самое правильное решение - вещи, которые трудновыносимые во вкладки модуля всё же реализовывать в модуле посредством дописывания кода и комментированием его (кому нужно - расскомментирует).

[Rassol2]

Обновление v4.9-8_beta

Исправления недочетов в парсинге файлов.

[partshez]

В каком виде настроить таймаут в задании крон, чтобы запускался через 55 минут, через 38 минут?

Змінено 26 вересня 2023 користувачем partshez

[partshez]

26.09.2023 в 13:03, Rassol2 сказал:

Обновление v4.9-8_beta

Исправления недочетов в парсинге файлов.

Отлично! Респект! Вопрос с загрузкой файлов решен. Рекомендую использовать данный новый функционал

Змінено 26 вересня 2023 користувачем partshez

[partshez]

25.09.2023 в 16:40, Axelenz сказал:

Было бы весьма замечательно, если бы Вы "прибили гвоздями" в коде сразу же самые часто встречающиеся возможные ошибки (ну хотя бы в том же самом блоке категорий) и указали, что всем желающим лезть в файл ... в строку № ...

Это намного упростило бы жизнь, потому, что когда мы сами вносим что-то в файл, то привязываем клиента к определённому релизу...

И еще хотелку. В коде есть закоментированные строки. Например, 10 потоков для крон и при ручном запуске, увеличение лимита времени работы скрипта свыше 25 сек ... И еще некоторые возможности, расширяющие функционал модуля. 

В Инструкциях создать примерно такую статью, как Заметки по регулярным выражениям. В ней указать коментированные строки, для шибко грамотных и любознательных пользователей. 

Иначе после каждого обновления приходится рыться в своих записях для поиска таких данных. У меня, конечно, есть такой блокнотик для служебного пользования  Но удобнее было бы видеть в Инструкциях

Змінено 26 вересня 2023 користувачем partshez

[Rassol2]

26.09.2023 в 07:24, partshez сказал:

И еще хотелку. В коде есть закоментированные строки. Например, 10 потоков для крон и при ручном запуске, увеличение лимита времени работы скрипта свыше 25 сек ... И еще некоторые возможности, расширяющие функционал модуля. 

В Инструкциях создать примерно такую статью, как Заметки по регулярным выражениям. В ней указать коментированные строки, для шибко грамотных и любознательных пользователей. 

Иначе после каждого обновления приходится рыться в своих записях для поиска таких данных. У меня, конечно, есть такой блокнотик для служебного пользования  Но удобнее было бы видеть в Инструкциях

С повышением потоков напишу статью.
А вот с заметками поиск замене я думаю каждый должен для себя делать такие заметки. Такая статья есть но она обшего плана и сильно хитрые правила не описать в ней так что бы она стала понятна всем. Да и не читают ее если честно. Вот она.
https://simplepars.top/index.php?page=note&n=37

Не читают и не смотрят видео по настройкам поиск замены, а эту статью не осиливают даже когда я ее отправляю в ответ на вопрос.
Так что большого смысла это не сышит.

[Rassol2]

@Axelenz Пришлите пару примеров xml с сломанными категориями.

[Axelenz]

27.09.2023 в 21:29, Rassol2 сказал:

@Axelenz Пришлите пару примеров xml с сломанными категориями.

Предоставил несколько ссылок, продублировал с предыдущих переписок, там все подробности в переписке.

[buslikdrev]

26.09.2023 в 13:29, partshez сказал:

В каком виде настроить таймаут в задании крон, чтобы запускался через 55 минут, через 38 минут?

Через свои скрипты.

 

26.09.2023 в 15:24, partshez сказал:

И еще хотелку. В коде есть закоментированные строки. Например, 10 потоков для крон и при ручном запуске, увеличение лимита времени работы скрипта свыше 25 сек

Ограничение по потокам тоже через скрипты убирается.

[Rassol2]

27.09.2023 в 13:48, buslikdrev сказал:

26.09.2023 в 07:24, partshez сказал:

 

Ограничение по потокам тоже через скрипты убирается.

Вы уверены ?
Просто когда вы включаете скрипты потоки ограничиваются до 1 в независимости от настроек.
Мне интересно как вы увеличиваете потоки через скрипты ?

[buslikdrev]

27.09.2023 в 21:51, Rassol2 сказал:

Просто когда вы включаете скрипты потоки ограничиваются до 1 в независимости от настроек.

		// убираем ограничение по многопоточности
		$script_data['urls'] = array();

		foreach($pars_url['links'] as $key => $result) {
			if ($key < $script_data['setting']['thread']) {
				$script_data['urls'][] = $result['link'];
			} else {
				break;
			}
		}

 

[Rassol2]

27.09.2023 в 15:36, buslikdrev сказал:

		// убираем ограничение по многопоточности
		$script_data['urls'] = array();

		foreach($pars_url['links'] as $key => $result) {
			if ($key < $script_data['setting']['thread']) {
				$script_data['urls'][] = $result['link'];
			} else {
				break;
			}
		}

 

И это благополучно не будет работать.
По двум причинам.
1) модуль не подает больше 1 ссылки на парасинг когда включены скрипты.
2) при объявлении собственных функций в скриптах если бы работала много поточность, не работал бы модуль. Из за ошибки области видемости переменных.

@buslikdrev Я понимаю что вы шарите в пхп и готовы расширять возможности через собственные скрипты. И это похвально. Можете заказы выполнять по написанию скриптов для моего модуля, тут такого много. Но не нужно делать акцен что все через скрипты.
А то это уже похоже на поговорку, "если у меня в руках молоток то все вокруг гвозди." 

[buslikdrev]

28.09.2023 в 00:10, Rassol2 сказал:

Но не нужно делать акцен что все через скрипты.

Без скриптов модуль не универсален.

[Rassol2]

27.09.2023 в 21:02, buslikdrev сказал:

Без скриптов модуль не универсален.

Скрипты дают свободу в решении ваших задач.
Просто не стоит в любой непонятной ситуации уповать на них.
В данном случаи действительно через скрипты вы не сможете увеличить потоки.

[Rassol2]

Совет для большинства. Ну или поделюсь опытом.

Я как автор хотел бы что бы мой модуль делал все что вы захотите и любые ограничения в нем в первую очередь бьют по мне. Так как это снижает привлекательность моего продукта, так вот именно я тот кто меньше всего хочет их внедрять. И если они есть они обусловлены какими то вескими причинами, не просто так что бы нагадить.

Если откатится во времени к моменту внедрения много поточности, то там была большая дискуссия, я проводил много тестов на десятках клинских сайтов, и ограничение в 5 потоков это баланс. До 5 потоков скорость парсинга растет кратно, а от 5 уже не значительно, но при этом нагрузка растет значительно, как и риски блокировок. В общих чертах, в частных случаях и парсинг в 5 потоков может показать худший результат чем в один поток если сильно убогий хостинг у вас или у донора.
Лично я парсю, или парсил в такой конфигурации.

 

Если донор знакомый и я с ним работаю постоянно. И я знаю его поведение.

Скрытый текст

 

Если донор новый, или к примеру какой то из крупных сайтов, где я могу предположить что есть хороший отдел it который не захочет со мной делится информацией.
Я парсю в таком конфиге.
 

Скрытый текст

 

Эти два конфига я бы назвал базовыми при здоровом парсинге.
Но я понимаю что, там где я могу себе позволить делать что то медленно, с минимальными рисками, вы может не захотите или у вас другие требования.
Я просто пишу как я поступаю лично. Из прокси у меня есть только один, на тот случай что бы убедится что проблема не в моем ip, как правило в баны не попадаю.

Так поступал я когда парсил активно на заказ.
Ну и помните, пока вы не создаете проблемы донору, а именно нагрузку, вы никому не интересны. Когда начинаете парсить 50 000 ссылок в 5 потоков, у донора растет нагрузка на веб сервер, и к нему приходит хостер с просьбой перейти на больший тариф или угомонить трафик. И вот тогда донор начнет задумываться что происходить и искать причину и бороться с ней. То есть с вами.
Уважайте своего донора и будете жить дружно и долго.

[Rassol2]

Верхний пост не относится к парсингу XML которые вы нарезаете, так как после нарезания они будут у вас на хостинге, а долбить себя можно сколько вам будет угодно.

[yurok79]

Подскажите как бороться с таким)

Товар со скидкой

<oldprice>2990</oldprice> - Цена 

<price>2890</price> - Цена со скидкой

 

Товар без скидки

<price>2990</price> - Цена

 

Тоесть в товарах со скидкой и без скидки теги меняются местами и меняют свое значение. Как правильно настроить?

[Rassol2]

28.09.2023 в 13:27, yurok79 сказал:

Подскажите как бороться с таким)

Товар со скидкой

<oldprice>2990</oldprice> - Цена 

<price>2890</price> - Цена со скидкой

 

Товар без скидки

<price>2990</price> - Цена

 

Тоесть в товарах со скидкой и без скидки теги меняются местами и меняют свое значение. Как правильно настроить?

Все старо как мир.
делаете границы
{gran_1} - oldprice
{gran_2} - price

И указываете в цену
{gran_1}{|}{gran_2}
а в акцию
{gran_2}


Подробнее про оператор {|} можно узнать здесь
https://simplepars.top/index.php?page=note&n=33

[yurok79]

Все гениальное просто! 

Спасибо!

 

[Rassol2]

Обновление условий использования.  (Пока еще не закреплена в лицензионном соглашении)
С этого момента ограничение переноса лицензии с одного сайта на другой проходит процесс либерализации.
Раньше переносить ключ с одно сайта на другой можно было не чаше одного раза в 72 часа.
С этого момента перенос можно производить не чаше 1 раза в 24 часа. То есть сократилось в 3 раза.

Пока что это официально не закреплено в лицензионном соглашении, если не будет злоупотребления буду продолжать либерализацию.
Ну а если пойдет злоупотребления вернемся к прежней практике.

ЗЫ. не хотел писать этот пост но нужно донести эту информацию до масс.
Не хотел писать по причине холивара в этом вопросе. Так что давайте воздержимся от него.

[Vetlucky777]

Подскажите как лучше сделать. 

Есть хмл 

Если цена указана в доллар тогда евро 0 и наоборот.

<currencyId>USD</currencyId>

<price>29,00</price>

<currencyId2>EUR</currencyId2>

<price2>0</price2>

<priceUSD>29,00</priceUSD>

<priceEUR>0</priceEUR>

 

Нужно чтоб было так

<priceUSD>   </priceUSD> значение 1 или больше  тогда в поле UPC товара записывается USD.

Если  <priceEUR>  </priceEUR>

значение 1 или больше  тогда в поле UPC товара записывается записывается EUR.

 

Так можно сделать только с помощью if, elif, else или есть другие способы?

Змінено 2 жовтня 2023 користувачем Vetlucky777

[partshez]

02.10.2023 в 22:38, Vetlucky777 сказал:

Подскажите как лучше сделать. 

Есть хмл 

Если цена указана в доллар тогда евро 0 и наоборот.

<currencyId>USD</currencyId>

<price>29,00</price>

<currencyId2>EUR</currencyId2>

<price2>0</price2>

<priceUSD>29,00</priceUSD>

<priceEUR>0</priceEUR>

 

Нужно чтоб было так

<priceUSD>   </priceUSD> значение 1 или больше  тогда в поле UPC товара записывается USD.

Если  <priceEUR>  </priceEUR>

значение 1 или больше  тогда в поле UPC товара записывается записывается EUR.

 

Так можно сделать только с помощью if, elif, else или есть другие способы?

Создаем границу, включающую в себя все цены. Замена >0 и все до конца этой границы удаляем. Нужно видеть точную запись цен в xml. Несколько вартантов. Тогда точнее можно подсказать.  Дальше заменой оставляем 29.00

Змінено 2 жовтня 2023 користувачем partshez

[CarAuto]

Доброго дня. Потрібно спарсити сайт. Хто може взятися за це?

[partshez]

04.10.2023 в 14:05, CarAuto сказал:

Доброго дня. Потрібно спарсити сайт. Хто може взятися за це?

Отписал в личку

[cmamonov]

Добрый вечер. Подскажите пожалуйста как сделать пирсинг в csv атрибуты ровно по столбцам? Что бы атрибут и его значение было только в одном столбце, а не разбросаны по разным столбцам?