Перейти к содержанию

Рекомендуемые сообщения

Приветствую всех!

Делаю парсер. Парсер походу скачивает картинки по ссылкам на сервер.

 

$imageUrl = 'https:' . $this->getCell($data,$i,$j++);
$imageName = 'data/' . $productId . '_' . time() .".jpg";
if (!file_put_contents(DIR_IMAGE . $imageName, file_get_contents($imageUrl))) {
    $imageName = '';
}

Проблема в том, что ссылка бывает битая или сервер долго не отвечает.

В результате либо закачивается картинка с пустым содержанием, либо происходит таймаут и парсинг прекращается.

 

Как обработать данные события??

1. Как проверить существует ли картинка по ссылке?

2. Как сделать так чтобы в случае таймаута, парсер продолжил парсинг данных без картинки (ну или присвоил $imageName = 'no_image.jpeg')

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Возможно вам пригодится - есть готовый модуль для поиска картинок используя гугл

https://opencartforum.com/files/file/553-%D0%BF%D0%BE%D0%B8%D1%81%D0%BA-%D0%BA%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BE%D0%BA-%D0%B4%D0%BB%D1%8F-%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D1%8F-google/

в нем есть опция - искать на конкртном сайте, есть таймаут итд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может пригодиться:

$Headers = @get_headers($url);
// проверяем ответ от сервера с кодом 200 - ОК
if(preg_match("|200|", $Headers[0])) {
//качаем прайс и начинаем парсить
//....код
}

Ну и можете ещё размер скачанного файла проверять. Чтобы не ставить с нулевыми размерами

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Есть библиотека exceptionizer.php отлично работает с file_get_content или можно парсить каждую картинку отдельным ajax запросом (так даже лучше). Т е спарсил страницу создал массив ссылок на картинки и потом foreach по каждой картинке ajax запрос с get_header и exceptionizer.php

 

Где-то так:

require_once(DIR_SYSTEM . 'library/exceptionizer.php');
$ver_link="http://...";
            $opts = array(
                  'http'=>array(
                    'method'=>"GET",
                    'header'=>    "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . " \r\n" .
                                "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 \r\n" .
                                "Accept-language: en-us,en;q=0.5\r\n" .
                                //"Accept-Encoding: gzip,deflate\r\n" .
                                "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n" .
                                "Keep-Alive: 300\r\n" .
                                "Connection: keep-alive\r\n" .
                                "Referer:".HTTP_SERVER."\r\n"

                  )
                );
            $context = stream_context_create($opts);
            $exceptionizer = new PHP_Exceptionizer(E_ALL);
            try {
                $ver_content = file_get_contents($ver_link, FALSE , $context);
            }  catch (E_WARNING $e) {
                // echo "Warning or better raised: " . $e->getMessage();
            }

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Есть библиотека exceptionizer.php отлично работает с file_get_content или можно парсить каждую картинку отдельным ajax запросом (так даже лучше). Т е спарсил страницу создал массив ссылок на картинки и потом foreach по каждой картинке ajax запрос с get_header и exceptionizer.php

 

Где-то так:

require_once(DIR_SYSTEM . 'library/exceptionizer.php');
$ver_link="http://...";
            $opts = array(
                  'http'=>array(
                    'method'=>"GET",
                    'header'=>    "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . " \r\n" .
                                "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 \r\n" .
                                "Accept-language: en-us,en;q=0.5\r\n" .
                                //"Accept-Encoding: gzip,deflate\r\n" .
                                "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n" .
                                "Keep-Alive: 300\r\n" .
                                "Connection: keep-alive\r\n" .
                                "Referer:".HTTP_SERVER."\r\n"

                  )
                );
            $context = stream_context_create($opts);
            $exceptionizer = new PHP_Exceptionizer(E_ALL);
            try {
                $ver_content = file_get_contents($ver_link, FALSE , $context);
            }  catch (E_WARNING $e) {
                // echo "Warning or better raised: " . $e->getMessage();
            }

где здесь аякс? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

где здесь аякс? :)

Ну прямо всё и разжуй :)

А творческий полет мысли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну прямо всё и разжуй :)

А творческий полет мысли?

так вот потому и спрашиваю, что полет мысли вижу, а аякса не вижу ))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.