Jump to content

Recommended Posts

Приветствую всех!

Делаю парсер. Парсер походу скачивает картинки по ссылкам на сервер.

 

$imageUrl = 'https:' . $this->getCell($data,$i,$j++);
$imageName = 'data/' . $productId . '_' . time() .".jpg";
if (!file_put_contents(DIR_IMAGE . $imageName, file_get_contents($imageUrl))) {
    $imageName = '';
}

Проблема в том, что ссылка бывает битая или сервер долго не отвечает.

В результате либо закачивается картинка с пустым содержанием, либо происходит таймаут и парсинг прекращается.

 

Как обработать данные события??

1. Как проверить существует ли картинка по ссылке?

2. Как сделать так чтобы в случае таймаута, парсер продолжил парсинг данных без картинки (ну или присвоил $imageName = 'no_image.jpeg')

 

Share this post


Link to post
Share on other sites

Возможно вам пригодится - есть готовый модуль для поиска картинок используя гугл

https://opencartforum.com/files/file/553-%D0%BF%D0%BE%D0%B8%D1%81%D0%BA-%D0%BA%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BE%D0%BA-%D0%B4%D0%BB%D1%8F-%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D1%8F-google/

в нем есть опция - искать на конкртном сайте, есть таймаут итд.

Share this post


Link to post
Share on other sites

Может пригодиться:

$Headers = @get_headers($url);
// проверяем ответ от сервера с кодом 200 - ОК
if(preg_match("|200|", $Headers[0])) {
//качаем прайс и начинаем парсить
//....код
}

Ну и можете ещё размер скачанного файла проверять. Чтобы не ставить с нулевыми размерами

Share this post


Link to post
Share on other sites

Есть библиотека exceptionizer.php отлично работает с file_get_content или можно парсить каждую картинку отдельным ajax запросом (так даже лучше). Т е спарсил страницу создал массив ссылок на картинки и потом foreach по каждой картинке ajax запрос с get_header и exceptionizer.php

 

Где-то так:

require_once(DIR_SYSTEM . 'library/exceptionizer.php');
$ver_link="http://...";
            $opts = array(
                  'http'=>array(
                    'method'=>"GET",
                    'header'=>    "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . " \r\n" .
                                "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 \r\n" .
                                "Accept-language: en-us,en;q=0.5\r\n" .
                                //"Accept-Encoding: gzip,deflate\r\n" .
                                "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n" .
                                "Keep-Alive: 300\r\n" .
                                "Connection: keep-alive\r\n" .
                                "Referer:".HTTP_SERVER."\r\n"

                  )
                );
            $context = stream_context_create($opts);
            $exceptionizer = new PHP_Exceptionizer(E_ALL);
            try {
                $ver_content = file_get_contents($ver_link, FALSE , $context);
            }  catch (E_WARNING $e) {
                // echo "Warning or better raised: " . $e->getMessage();
            }

Share this post


Link to post
Share on other sites

Есть библиотека exceptionizer.php отлично работает с file_get_content или можно парсить каждую картинку отдельным ajax запросом (так даже лучше). Т е спарсил страницу создал массив ссылок на картинки и потом foreach по каждой картинке ajax запрос с get_header и exceptionizer.php

 

Где-то так:

require_once(DIR_SYSTEM . 'library/exceptionizer.php');
$ver_link="http://...";
            $opts = array(
                  'http'=>array(
                    'method'=>"GET",
                    'header'=>    "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . " \r\n" .
                                "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 \r\n" .
                                "Accept-language: en-us,en;q=0.5\r\n" .
                                //"Accept-Encoding: gzip,deflate\r\n" .
                                "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n" .
                                "Keep-Alive: 300\r\n" .
                                "Connection: keep-alive\r\n" .
                                "Referer:".HTTP_SERVER."\r\n"

                  )
                );
            $context = stream_context_create($opts);
            $exceptionizer = new PHP_Exceptionizer(E_ALL);
            try {
                $ver_content = file_get_contents($ver_link, FALSE , $context);
            }  catch (E_WARNING $e) {
                // echo "Warning or better raised: " . $e->getMessage();
            }

где здесь аякс? :)

Share this post


Link to post
Share on other sites

где здесь аякс? :)

Ну прямо всё и разжуй :)

А творческий полет мысли?

Share this post


Link to post
Share on other sites

Ну прямо всё и разжуй :)

А творческий полет мысли?

так вот потому и спрашиваю, что полет мысли вижу, а аякса не вижу ))

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.