Как получить окончательный перенаправленный канонический URL-адрес веб-сайта с помощью PHP?

Поскольку мне не удалось найти библиотеки, которые действительно делали бы то, что я искал, и я надеялся сделать больше, чем просто следовать перенаправлениям HTTP, я пошел дальше и создал библиотеку, которая достигает целей, и выпустил ее под MIT. лицензия. Вы можете получить его здесь:

https://github.com/mattwright/URLResolver.php

URLResolver.php — это класс PHP, который пытается преобразовать URL-адреса в окончательную каноническую ссылку:

• Выполняет переадресацию 301 и 302 в заголовках HTTP
  
• Отслеживает ‹метатеги› URL Open Graph, найденные на веб-странице ‹head›
  
• Следует каноническим URL-тегам ‹link›, найденным на веб-странице ‹head›
  
• Быстро прерывает загрузку, если тип содержимого не является HTML-страницей

Я, конечно, не эксперт по правилам перенаправления HTTP, поэтому, если у кого-то есть предложения по улучшению этой библиотеки, буду очень признателен. Я протестировал тысячи URL-адресов, и, похоже, все работает хорошо. Я последовал совету Марио и при необходимости использовал библиотеку PHP Simple HTML Parser.

Используя Guzzle (хорошо известный и надежный HTTP-клиент), вы можете сделать это следующим образом:

<?php
use Guzzle\Http\Client as GuzzleClient;
use Guzzle\Plugin\History\HistoryPlugin;

public function resolveUrl($url)
{
    $client   = new GuzzleClient($url);
    $history  = new HistoryPlugin();
    $client->addSubscriber($history);

    $response = $client->head($url)->send();

    if (!$response->isSuccessful()) {
        throw new \Exception(sprintf("Url %s is not a valid URL or website is down.", $url));
    }

    return $response->getEffectiveUrl();
}

Я написал вам небольшую функцию, чтобы сделать это. Это просто, но может стать отправной точкой для вас. Примечание. URL-адрес http://dlvr.it/xxb0W возвращает недопустимый URL-адрес для заголовка ответа Location.

Для работы вам понадобится PHP-библиотека Altumo. Это библиотека, которую я написал, но лицензия MIT, как и эта функция.

См.: https://github.com/homer6/altumo.

Кроме того, вам придется обернуть функцию в файл try/catch.

/**
* Gets the final URL of a URL that will be redirected.
* 
* @param string $url_string
* @throws \Exception                    //on error
* @return string
*/
function get_final_url( $url_string ){

    while( 1 ){

        //validate URL
            $url = new \Altumo\String\Url( $url_string );

        //get the Location response header of the URL
            $client = new \Altumo\Http\OutgoingHttpRequest( $url_string );
            $response = $client->sendAndGetResponseMessage();
            $location = $response->getHeader( 'Location' );

        //return the URL if no Location header was found, else continue
            if( is_null($location) ){
                return $url_string;
            }else{
                $url_string = $location;
            }

    }

}

echo get_final_url( 'your url here' );

Пожалуйста, дайте мне знать, если вам нужны дальнейшие модификации или помощь в запуске.