[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

1 час назад, Axelenz сказал:

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Где искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

откройте файл inst.php
в самом верху под
<?php
второй строкой пропишите.
header('Content-Type: text/html; charset=UTF-8');

И под ней допишите.

И это должно помочь исправить краказабры.

[Axelenz]

15 минут назад, Rassol2 сказал:

И это должно помочь исправить краказабры.

Warning: Cannot modify header information - headers already sent by (output started at /sata1/home/users/sportzona/www/www.*****************/inst.php:1) in /sata1/home/users/sportzona/www/www.********************.com.ua/inst.php on line 3
Модуль SimplePars успешно установлен/обновлен!

 

А это правильный ответ пришёл теперь ?

 

В базе есть файл key с кодировкой cp1251_general_ci

Змінено 9 червня 2021 користувачем Axelenz

[Rassol2]

3 минуты назад, Axelenz сказал:

Warning: Cannot modify header information - headers already sent by (output started at /sata1/home/users/sportzona/www/www.*****************/inst.php:1) in /sata1/home/users/sportzona/www/www.********************.com.ua/inst.php on line 3
Модуль SimplePars успешно установлен/обновлен!

 

А это правильный ответ пришёл теперь ?

 

В базе есть файл key с кодировкой cp1251_general_ci

Вот так должен выглядеть файл, в самом верху.
 

Спойлер

 

[Axelenz]

4 минуты назад, Rassol2 сказал:

Вот так должен выглядеть файл, в самом верху.

Спасибо, всё теперь на русском при выполнении inst.php

 

Но кто-то полазил в контроллере в файлах категорий, производителя и товара и теперь вижу такую картину при загрузке через SimplePars

 

Спойлер

 

[Rassol2]

2 минуты назад, Axelenz сказал:

Но кто-то полазил в контроллере в файлах категорий, производителя и товара и теперь вижу такую картину при загрузке через SimplePars

Ну тут вопрос не этой ветки.

Исчите кто и что вам добавил в контроллер.
 

[Axelenz]

22 минуты назад, Rassol2 сказал:

Исчите кто и что вам добавил в контроллер.

Спасибо за подсказку. Заменил файлы на нормальные стандартные... пусть разбираются те, кто накосячил, моя работа наполнить магазин товарами не смотря ни на что...

[bodyak0]

Добрый ночес, такой вопрос, как парсить с прома товары?
Он парсит вроде нормально, но и русское и украинское, может есть кто парсит дайте совет как побороть эту проблему

[Rassol2]

18 минут назад, bodyak0 сказал:

Добрый ночес, такой вопрос, как парсить с прома товары?
Он парсит вроде нормально, но и русское и украинское, может есть кто парсит дайте совет как побороть эту проблему

Определить как на проме устроен выбор языка.
Возможно это ссылки содержат /ru/
И вы тогда настраиваете получения ссылок с нужной частицей.

Либо он определяет через куки, и тогда выставляете в настройках запроса отправлять куку с выбранным языком, и модуль будет получать товар в нужной вам локализации.

[asokr]

Подскажите, есть задача загрузить товары только из определённых категорий.

На ум пришло только:

В поиске/замена переименовываем нужные нам категории в категории магазина (ну это так и нужно), а всё что не переименовали нам нужное, переименовываем в, к примеру, "Не грузим".

Следующим шагом, в парсинге в магазин, в допуске в обработке добавляем правило: "Загрузить если граница категорий не равна Не грузим".

 

На сколько это правильное решение? Может есть вариант лучше?
Как лучше всего переименовать все не прошедшие предыдущие проверки категории в "Не грузим"?

Я обычно делаю вот так:

{reg[#^(Светотехника{csvnc}Люстры)$#]}|Свет{csvnc}Люстры
{reg[#^(Светотехника{csvnc}Бра)$#]}|Свет{csvnc}Бра

Предполагаю, что нужно последним правилом сделать

{reg[#^*$#]}|Не грузим

 

[partshez]

2 часа назад, asokr сказал:

Подскажите, есть задача загрузить товары только из определённых категорий.

На ум пришло только:

В поиске/замена переименовываем нужные нам категории в категории магазина (ну это так и нужно), а всё что не переименовали нам нужное, переименовываем в, к примеру, "Не грузим".

Следующим шагом, в парсинге в магазин, в допуске в обработке добавляем правило: "Загрузить если граница категорий не равна Не грузим".

 

На сколько это правильное решение? Может есть вариант лучше?
Как лучше всего переименовать все не прошедшие предыдущие проверки категории в "Не грузим"?

Я обычно делаю вот так:

{reg[#^(Светотехника{csvnc}Люстры)$#]}|Свет{csvnc}Люстры
{reg[#^(Светотехника{csvnc}Бра)$#]}|Свет{csvnc}Бра

Предполагаю, что нужно последним правилом сделать

{reg[#^*$#]}|Не грузим

 

Можно в очередь сбора ссылок загрузить только ссылки на нужные категории и с них собрать ссылки на товар. 

Светотехника

Светотехника/пайдж2

Светотехника/пайдж3

Светотехника/пайдж4

...

Светотехника/пайдж194

 

[asokr]

Спойлер

28 минут назад, partshez сказал:

Можно в очередь сбора ссылок загрузить только ссылки на нужные категории и с них собрать ссылки на товар. 

Светотехника

Светотехника/пайдж2

Светотехника/пайдж3

Светотехника/пайдж4

...

Светотехника/пайдж194

 

 

 

 

Это YML. Тут в любом случае, все товары идут в парс...

[Rassol2]

Спойлер  
 
 
Это YML. Тут в любом случае, все товары идут в парс...

Тогда да используйте допуски.

Отправлено с телефона через Tapatalk

[asokr]

28 минут назад, Rassol2 сказал:

Тогда да используйте допуски.

Отправлено с телефона через Tapatalk
 

 

Да, для допусков, как я понял, нужно в том же ключе прописать все существующие категории в поиске/замене...

А основная задача в том, чтобы при появлении у донора новой категории - товар из нее не попадал в магазин.

Решил хирургическим путём, пока не протестировал, но нечто такое:

Спойлер

			}elseif($setting['r_cat'] == 2){ //если добавлять товар только в сушествуюшие категории.
				if(!empty($data['cat'])){
					$data['cats_id'] = $this->getCategorysId($data['cat']);
					if($data['cats_id'][0] == 0 && $data['cat_d']!=0){
						$data['cats_id'][0] = $data['cat_d'];

					//Вот это добавим: - не добавляем товар, если нет категории в магазине и не задана категория по умолчанию.
					} else { 
						$log[] = ['name' =>'Категории','value'=>"Товар из этой категории нам не нужен"];
						$this->log('addProduct', $log, $dn_id);
						return;
					}


				}elseif($data['cat_d']!=0){
					$data['cats_id'][0] = $data['cat_d'];
				}

			}

 

 

 

Змінено 10 червня 2021 користувачем asokr

[Rassol2]

 
Да, для допусков, как я понял, нужно в том же ключе прописать все существующие категории в поиске/замене...
А основная задача в том, чтобы при появлении у донора новой категории - товар из нее не попадал в магазин.
Решил хирургическим путём, пока не протестировал, но нечто такое:
Спойлер

			}elseif($setting['r_cat'] == 2){ //если добавлять товар только в сушествуюшие категории.if(!empty($data['cat'])){				$data['cats_id'] = $this->getCategorysId($data['cat']);if($data['cats_id'][0] == 0 && $data['cat_d']!=0){					$data['cats_id'][0] = $data['cat_d'];//Вот это добавим: - не добавляем товар, если нет категории в магазине и не задана категория по умолчанию.} else { 					$log[] = ['name' =>'Категории','value'=>"Товар из этой категории нам не нужен"];					$this->log('addProduct', $log, $dn_id);return;}}elseif($data['cat_d']!=0){				$data['cats_id'][0] = $data['cat_d'];}}

 
 
 

Можно было остановиться на варианте с поиск заменой.
Создать границу заменить все нужные вам категории на слово грузит. А затем в допусках выбрать загружать только те страницы в которых есть это слово.

Отправлено с телефона через Tapatalk

[Axelenz]

Из хотелок...

Удобно было бы, чтобы присутствовало в Изображения (Парсинг в ИМ) поле, где можно было бы указывать ограничение на количество загружаемых фото.

Например:

Выбираем 1 - загружается только Главное изображение,

2 - Главное и дополнительное

3 - и так далее.

ALL - все фото (по умолчанию).

И при всех Обновлениях и пр. действиях сохранялась бы логика количества изображений.

[Rassol2]

34 минуты назад, Axelenz сказал:

Из хотелок...

Удобно было бы, чтобы присутствовало в Изображения (Парсинг в ИМ) поле, где можно было бы указывать ограничение на количество загружаемых фото.

Например:

Выбираем 1 - загружается только Главное изображение,

2 - Главное и дополнительное

3 - и так далее.

ALL - все фото (по умолчанию).

И при всех Обновлениях и пр. действиях сохранялась бы логика количества изображений.

Это можно сделать на уровне границ париснга.
Как правило фото грузятся через повторяющиеся границы париснга и это там есть.

[Rassol2]

Пока идет финальное тестирование версии с авторизацией можете писать здесь какие доработки по мелочи я обещал сделать.
В особенно те что я писал в личных сообщениях.
Напишите мне после выхода следующей стабильной версии.
Я начну подготовку.

[Reanimaster]

В 09.06.2021 в 16:25, Axelenz сказал:

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Где искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

В файле inst.php в начале указана кодировка. Смените на свою.

[blyskavka]

Всем привет) подскажите пожалуйста как в регулярку цены правильно записать округление. 
Есть формула (0-10)*1.4;(10-30)*1.3;(30-100000)*1.1&*28 и считает корректно, но нужно округлять до целого без копеек. 
Применил так {1}&(0-10)*1.4;(10-30)*1.3;(30-100000)*1.1&*28 но работает криво((( 

[Rassol2]

1 минуту назад, blyskavka сказал:

Всем привет) подскажите пожалуйста как в регулярку цены правильно записать округление. 
Есть формула (0-10)*1.4;(10-30)*1.3;(30-100000)*1.1&*28 и считает корректно, но нужно округлять до целого без копеек. 
Применил так {1}&(0-10)*1.4;(10-30)*1.3;(30-100000)*1.1&*28 но работает криво((( 

Здравствуйте.
Покажите скриншот страницы поиск замена где работает криво.
Кстати вот этот символ там не нужен.
 

Спойлер

 

[blyskavka]

3 минуты назад, Rassol2 сказал:

Здравствуйте.
Покажите скриншот страницы поиск замена где работает криво.
Кстати вот этот символ там не нужен.
 

  Скрыть контент

 

Вот без округления
 

Спойлер

 и с округлением
 

Спойлер

 

[TSwedkov]

Приветствую.ошибка -

Парсинг : ОШИБКА запроса | Код ошибки = 92 | Текст ошибки = HTTP/2 stream 1 was not closed cleanly: PROTOCOL_ERROR (err 1)

 

может ли быть такое из за какого то юсер агента?

через 3-4 запроса одна ошибка.

---

упд.

даже 4 ошибки подряд выскакивают. потом несколько без ошибок.  

Змінено 11 червня 2021 користувачем TSwedkov
добавил скрин

[Rassol2]

5 минут назад, blyskavka сказал:

Вот без округления

С округлением.
Это работает так.
 

Спойлер

Хотя честно говоря уже не помню почему было сделано так, а не округление финальной суммы.
Нужно будет пересмотреть и поправить.

[Rassol2]

Получается округление идет на каждом блоке разделенном & выполнил первое условие округлил, выполнил второе.
Сейчас внесу правки в следующей беде округление будет только над финальной цифрой.

[blyskavka]

Ну да как-то не очень корректно) если цена например до 2 баксов