[Поддержка] SimplePars - Універсальний парсер для ІМ

[amd4]

40 минут назад, Rassol2 сказал:

кстати а серьезно что оно должна была делать это регулярка ?
 

По идее должна была проверять адрес , начинается ли с http:// или https(я подставлял вместо ftp):// или после / не стоит ни единого символа, но  должны стоять. Это с форума, вычитал, сейчас уже и не найду с какого. По описанию подходило под мои задачи, но бился как рыба об лед, ничего не получалось. Потом допетрил до простого выражения {reg[#(http|https)#]}|https , но тоже ничего не получалось, выводилось httpss , потом написал сюда , получил утвердительный ответ что всё правильно. Но у меня все равно ничего не выходило и только после этого понял причину и поставил первым https ))) Вот как то вот такая история той появившейся длинной регулярки ) 

Но зато сейчас я это выражение почти полностью понимаю , кроме \ для чего они. 

Змінено 26 лютого 2021 користувачем amd4

[Rassol2]

13 минут назад, amd4 сказал:

По идее должна была проверять адрес , начинается ли с http:// или https(я подставлял вместо ftp):// или после / не стоит ни единого символа, но  должны стоять. Это с форума, вычитал, сейчас уже и не найду с какого. По описанию подходило под мои задачи, но бился как рыба об лед, ничего не получалось. Потом допетрил до простого выражения {reg[#(http|https)#]}|https , но тоже ничего не получалось, потом написал сюда , получил утвердительный ответ что всё правильно. Но у меня все равно ничего не выходило и только после этого понял причину и поставил первым https ))) Вот как то вот такая история той появившейся длинной регулярки ) 

Нет это правило не должно делать то что вы описали.

{reg[#^((http://)|(ftp://)[a-zA-Z0-9_\./]+)|(/[a-zA-Z0-9_\./]*)|$#]} 
 

Выделить если.
Строка начинается

1. Затем http://

или

2. ftp:// после которого идут латинские буквы, или нижние подчеркивание или точка или слеш. Один или более раз.

3. Если первые два правила не совпадают, то взять слеш / после которого идут латинские буквы, или цифры, или подчеркивание, или точка, или слеш. И все это богадство может повторятся сколько угодно раз. Или же не быть не разу. 

4. Если первые три пунката не совпали, взять строку после начала которой, идет сразуже конец строки. (псевда пустая строка.)

И заменить это на то что было после |

 

К вопросу того, что это правило не должно было заменять то что вы хотите. Оно вообще в принципе странное.
 

[Rassol2]

Это если я смог правильно его прочитать.

[amd4]

3 минуты назад, Rassol2 сказал:

Нет это правило не должно делать то что вы описали.

{reg[#^((http://)|(ftp://)[a-zA-Z0-9_\./]+)|(/[a-zA-Z0-9_\./]*)|$#]} 
 

Выделить если.

1. Строка начинается на http://

или

2. ftp:// после которого идут латинские буквы, или нижние подчеркивание или точка или слеш. Один или более раз.

3. Если первые два правила не совпадают, то взять слеш / после которого идут латинские буквы, или цифры, или подчеркивание, или точка, или слеш. И все это богадство может повторятся сколько угодно раз. Или же не быть не разу. 

4. Если первые три пунката не совпали, взять строку после начала которой, идет сразуже конец строки. (псевда пустая строка.)

И заменить это на то что было после |

 

К вопросу того, что это правило не должно было заменять то что вы хотите. Оно вообще в принципе странное.
 

То что оно не должно было заменять то что я хотел, это я понял уже тогда.

Собственно я его читал немного по другому. 

Ваш 3 пункт  я сейчас только стал понимать и то не до конца)  пока .

 

Я читал так : 

 Строка начинается на http:// или ftp:// после которого идут большие , маленькие латинские буквы.  цифры. 

или без http:// или ftp:// после слеша / после которого идут большие , маленькие латинские буквы. цифры в конце строки. )

 

 

 

 

[Rassol2]

2 минуты назад, amd4 сказал:

То что оно не должно было заменять то что я хотел, это я понял уже тогда.

Собственно я его читал немного по другому. 

Ваш 3 пункт  я сейчас только стал понимать и то не до конца)  пока .

 

Я читал так : 

 Строка начинается на http:// или ftp:// после которого идут большие , маленькие латинские буквы.  цифры. 

или без http:// или ftp:// после слеша / после которого идут большие , маленькие латинские буквы. цифры в конце строки. )

В этом правиле много или и оно бы выполнялось в такой последовательности.
Что первое отработает. И обратите внимание что все эти правила начинают отсчет исключительно с первого символа начала строки. ^
 

Спойлер

1.

 

2.

 

3.

4.

 

[amd4]

 

27 минут назад, Rassol2 сказал:

В этом правиле много или и оно бы выполнялось в такой последовательности.
Что первое отработает. И обратите внимание что все эти правила начинают отсчет исключительно с первого символа начала строки. ^
 

  Скрыть контент

1.

 

2.

 

3.

4.

 

Вот как....да, или это или это. Спасибо, запомним. А я думал немного по другому или это с этим или то с этим. Т.е. так можно в принципе (или это или это) составить выражение с километр с новой строки.   

А  с начала строки это понятно, я и выводил границами только ссылку. 

 

Кстати вопрос по теме - так и должно быть - в поиск замена, если сохраняешься на каждом выражении и при каждом изменении , гуляя по границам парсинга (что в левом столбе) . То какой товар был сохранен , на тот он и возвращается? Я просто сейчас немного не понял , захожу в бренды проверить конкретно один товар, другое название, захожу в название оно верно. Захожу в фото , оно совсем другое , от третьего товара.

 

 

 

Змінено 26 лютого 2021 користувачем amd4

[Rassol2]

2 минуты назад, amd4 сказал:

 

Вот как....да, или это или это. Спасибо, запомним. Т.е. так можно в принципе (или это или это) составить выражение с километр с новой строки.   

А  с начала строки это понятно, я и выводил границами только ссылку. 

 

Кстати вопрос по теме - так и должно быть - в поиск замена, если сохраняешься на каждом выражении и при каждом изменении , гуляя по границам парсинга (что в левом столбе) . То какой товар был сохранен , на тот он и возвращается? Я просто сейчас немного не понял , захожу в бренды проверить конкретно один товар, другое название, заходу в название все верно. Заходу в фото совсем другое , от третьего товара оно.

Вот вы когда в поиск замене нажали кнопку загрузить. Вам в границу парсига попал текст. Что бы вы смотрели на него и составляли правила.

Спойлер

Вы пошли в другую границу, и там нажали получить текст, от какой то ссылки. И тоже настраиваете.
Так вот текст это протсо пред просомотр, что загрузили то там и есть.
По возвращению в старую границу там останется в пред просмотре тот текст который вы туда загружали.
 

[sws]

В 24.02.2021 в 20:14, Reanimaster сказал:

Внимательно читайте. Можно указать 
1) Путь
2) Папку (В том числе с названием или границей)
3) Даже название фото.

как правильно прописать фото под наменованием артикула и выгрузить в папку?

[Kiyoshi]

  

17 минут назад, sws сказал:

как правильно прописать фото под наменованием артикула и выгрузить в папку?

Здравствуйте если все верно понял то открываете проект переходите в раздел Парсинг в ИМ затем выберете SEO Шаблон (https://prnt.sc/107qpma)
Касательно выгрузки в папку то настраиваем ее в раздел Парсинг в ИМ > Изображение https://prnt.sc/107qu0g

[sws]

29 минут назад, Kiyoshi сказал:

  

Здравствуйте если все верно понял то открываете проект переходите в раздел Парсинг в ИМ затем выберете SEO Шаблон (https://prnt.sc/107qpma)
Касательно выгрузки в папку то настраиваем ее в раздел Парсинг в ИМ > Изображение https://prnt.sc/107qu0g

а какую указывать директорию фото "Директория для фото" там указано по умолчаниию product а когда захожу по фтп то такой папки нет? куда оно выгружает фото?

[Kiyoshi]

Почти верно сама загрузка идет в image/catalog/ затем уже в выбранную папку product
 

Змінено 26 лютого 2021 користувачем Kiyoshi

[xshader]

Может кто подскажет как достучаться до страницы источника, когда она прикрыта сервисом https://www.cloudflare.com/

 

Пример страницы товара

https://www.router-switch.com/ar0mnteh10501-p-16950.html

 

Проблема не в бане IP, а в принципе не получается через установку заголовков, куков (моих после посещения страницы) добиться, чтобы модуль видел страницу. При загрузке страницы товара показывает промежуточную от сервиса https://www.cloudflare.com/

И как претвориться браузером непонятно)

[sws]

23 минуты назад, Kiyoshi сказал:

Почти верно сама загрузка идет в image/catalog/ затем уже в выбранную папку product
 

при старте парсинга обработка идёт, но папка product не создаётся и фото туда не грузит. Что может быть? Мне нужно только фото под названием артикула и всё.

[Kiyoshi]

Трудно сказать нужно смотреть логи настройки скиньте доступ подскажу или настройки в личку.

[farshmac]

Спойлер

Теперь можно выполнять поиск замену над следующими данными.

1.       Название товара
2.       Описание товара
3.       HTML-тег H1 (только ocStore)
4.       Мета-тег title
5.       Мета-тег description
6.       Мета-тег keywords
7.       Код товара [model]
8.       Артикул [sku]
9.       Универсальный код [upc]
10.       Европейский номер товара [ean]
11.       Японский штрихкод [jan]
12.       Номер книжного издания [isbn]
13.       Номер партии [mpn]
14.       Поле расположение [location]

Ох, еще бы в атрибуты (вернее даже в их значения) поиск|замену. Спасибо.

Змінено 26 лютого 2021 користувачем farshmac

[farshmac]

И разу уж по модели есть поиск|замена, то может быть реально реализовать ее обновление при парсинге по другому идентификатору? 

Змінено 27 лютого 2021 користувачем farshmac

[Stin]

Подскажите, все работало, что произошло, в режиме Обработчик XML, перестал работать, в логах выдает ошибку, а что с ней делать, этой ошибкой, я не знаю.

Цитата

Парсинг : ОШИБКА ответа  | Код ответа = 28 | Текст ответа = Connection timed out after 15003 milliseconds | Ссылка - https://h-d.by/index.php?route=feed/sw_hd_xml&user_access_token=2175xQBfHEk8rmOLp9bBwX9GJKVmMwop3cY

 

[partshez]

18 минут назад, Stin сказал:

Подскажите, все работало, что произошло, в режиме Обработчик XML, перестал работать, в логах выдает ошибку, а что с ней делать, этой ошибкой, я не знаю.

 

Попробовать с авторизацией. Перед этим куки и заголовки...

[Stin]

зачем с авторизацией, если доступ по ссылке доступен без авторизации. так раньше и работало. Попробую конечно авторизацию прописать, но я сильно сомневаюсь в успехе.

[partshez]

1 час назад, Stin сказал:

зачем с авторизацией, если доступ по ссылке доступен без авторизации. так раньше и работало. Попробую конечно авторизацию прописать, но я сильно сомневаюсь в успехе.

Если все работало, я бы начал с этих настроек.

Модуль не видит файл выгрузки? Или этого файла не существует, или модуль не может его прочитать... Третьего варианта не могу придумать

Змінено 27 лютого 2021 користувачем partshez

[Rassol2]

18 часов назад, farshmac сказал:

  Показать контент

Теперь можно выполнять поиск замену над следующими данными.

1.       Название товара
2.       Описание товара
3.       HTML-тег H1 (только ocStore)
4.       Мета-тег title
5.       Мета-тег description
6.       Мета-тег keywords
7.       Код товара [model]
8.       Артикул [sku]
9.       Универсальный код [upc]
10.       Европейский номер товара [ean]
11.       Японский штрихкод [jan]
12.       Номер книжного издания [isbn]
13.       Номер партии [mpn]
14.       Поле расположение [location]

Ох, еще бы в атрибуты (вернее даже в их значения) поиск|замену. Спасибо.

Для этого нужно еше написать фильтр по атрибутам.
И кучу всяких функций вокруг атрибутов.
А там прийдет кто то напишет, все хорошо но вот для опций тоже самое.

По этому всему свое время. Буду пилить пока пылится.
 

[Rassol2]

4 часа назад, farshmac сказал:

И разу уж по модели есть поиск|замена, то может быть реально реализовать ее обновление при парсинге по другому идентификатору? 

да это будет.

[Rassol2]

2 часа назад, Stin сказал:

Подскажите, все работало, что произошло, в режиме Обработчик XML, перестал работать, в логах выдает ошибку, а что с ней делать, этой ошибкой, я не знаю.

 

Я уже 100раз пожалел что в логах написал слово ОШИБКА.
Теперь все относятся к этому как к ошибке модуля.

По сути это ответ сервера, который ответил вам. не вышло установить соединение с сайтом донором за 15 секунд. что мне выделены. 
Это время можно увеличь в настройках запросов.
 

[Rassol2]

1 час назад, Stin сказал:

зачем с авторизацией, если доступ по ссылке доступен без авторизации. так раньше и работало. Попробую конечно авторизацию прописать, но я сильно сомневаюсь в успехе.

Просто увеличьте время. Хотя есть рискз что сайт донор банально отбрасывает ваши запросы.
Это в том случаи если вы чрезмерно долбили его и он решил с этим побороться.

[Rassol2]

19 часов назад, xshader сказал:

Может кто подскажет как достучаться до страницы источника, когда она прикрыта сервисом https://www.cloudflare.com/

 

Пример страницы товара

https://www.router-switch.com/ar0mnteh10501-p-16950.html

 

Проблема не в бане IP, а в принципе не получается через установку заголовков, куков (моих после посещения страницы) добиться, чтобы модуль видел страницу. При загрузке страницы товара показывает промежуточную от сервиса https://www.cloudflare.com/

И как претвориться браузером непонятно)

Вы уверены что сервис не поставил вас на карандаш ?
 

Спойлер

Спокойно в чистом проекте получил код страницы без всяких настроек.