ساخت خزنده وب با php

سلام دوستان. در این مقاله می خوایم یک کد خزنده وب با PHP رو با هم بررسی کنیم. برای مثال صفحه اخبار ورزش 3 رو کروال می کنیم و بعد تک تک صفحات خبری که در اون صفحه قرار دارند. طی کد زیر، عنوان، چکیده، لینک عکس، لینک صفحه خبر، تعداد بازدید پست، تاریخ انتشار، توضیحات خبر و لیست برچست ها را استخراج می کنیم.

برای نوشتن این خزنده از کتابخانه Goutte استفاده می کنیم. برای نصب این کتابخانه از دو روش می تونید استفاده کنید:

نصب با composer:

composer require fabpot/goutte

نصب به صورت دستی

برای نصب، فایل zip زیر را دانلود و در محل نصب extract کنید:

https://github.com/FriendsOfPHP/Goutte/archive/master.zip

پس از نصب در کنار پوشه vendor یک فایل جدید با نام مثلاً index.php ایجاد می کنیم و محتوای کد زیر را در آن قرار می دهیم:

<?php
include 'vendor/autoload.php';
$client = new Goutte\Client();


$news = [];

//صفحه آخرین اخبار ورزش 3
$url = "https://www.varzesh3.com/news";
$crawler = $client->request('GET', $url);

$crawler->filter('.newsbox')->each(function ($node, $i) {
    global $news;
    //گرفتن عنوان خبر
    if ($node->filter('.news-content>a')->count() > 0) {
        $title = $node->filter('.news-content>a>h3')->text();
    } else {
        $title = '';
    }

    //گرفتن لینک صفحه خبر
    if ($node->filter('.news-content>a')->count() > 0) {
        $url = $node->filter('.news-content>a')->attr('href');
    } else {
        $url = '';
    }

    //گرفتن تصویر خبر
    if ($node->filter('.news-cover-box>.news-cover-image>img')->count() > 0) {
        $img = $node->filter('.news-cover-box>.news-cover-image>img')->attr('src');
    } else {
        $img = '';
    }

    //خلاصه خبر
    if ($node->filter('.news-content>.caption')->count() > 0) {
        $caption = $node->filter('.news-content>.caption')->text();
    }

    //تاریخ انتشار
    if ($node->filter('.news-content>.news-data>.date')->count() > 0) {
        $date = $node->filter('.news-content>.news-data>.date')->text();
    }


    //تعداد بازدید پست
    if ($node->filter('.news-content>.news-data>.view')->count() > 0) {
        $view = $node->filter('.news-content>.news-data>.view')->text();
    }



    //بازکردن تک تک صفحات 
    $client2 = new Goutte\Client();
    $crawler2 = $client2->request('GET', $url);

    //توضیحات کامل
    if ($crawler2->filter('.news-content-holder>.news-content>.news-text')->count() > 0) {
        $description = $crawler2->filter('.news-content-holder>.news-content>.news-text')->html();
    } else {
        $description = '';
    }

    //برچسب های نوشته در این آرایه نگه داری می شوند
    global $tags;
    $tags = [];
    $crawler2->filter('.news-footer .tag')->each(function ($node2, $i2) {
        global $tags;
        if ($node2->filter('a span')->count() > 0) {
            $tag = $node2->filter('a span')->text();
        } else {
            $tag = '';
        }

        $tags[] = $tag;
    });

    $news[] = array(
        'title' => $title,
        'url' => $url,
        'img_url' => $img,
        'caption' => $caption,
        'date' => $date,
        'view' => $view,
        'description' => $description,
        'tags' => $tags,
    );
});