THT Yardım Merkezi scraper

MRRE

Üye
1 Tem 2018
156
19
PHP ile Simple Dom Parser kullanarak THT Yardım Merkezi scraper geliştirdim. Amaç konuları sade bir şekilde görmek. Sadece yardım merkezi değil istediğiniz bölümün konularını çekebilirsiniz ama 16. satırı ve 22. satırı değiştirmeyi unutmayın :yardimsever Kurmak için dosyaları localhosta atın.

Kod:
[COLOR="White"]<?php
require_once "[COLOR="Lime"]simple_html_dom.php[/COLOR]";
[COLOR="DarkOrange"]$arrContextOptions[/COLOR]=array(
    [COLOR="silver"]//ssl kontrolunu devre disi birak[/COLOR]
    "ssl"=>array(
        "verify_peer"=>false,
        "verify_peer_name"=>false,
    ),
    [COLOR="silver"]//user agent tanimla[/COLOR]
    'http' => array(
        'header' => array('User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201'),
    ),
);

[COLOR="silver"]//verileri cek[/COLOR]
[COLOR="DarkOrange"]$site[/COLOR] = file_get_html([COLOR="Lime"]"https://www.turkhackteam.org/tht-yardim-merkezi/",false, stream_context_create([COLOR="DarkOrange"]$arrContextOptions[/COLOR])[/COLOR]);

[COLOR="silver"]//threadbits_forum_186'daki sayiyi bolumlerin table id'sine gore degistirebilirsiniz ama 22. ve 16. satirdaki kodlari degistirmeyi unutmayin
[/COLOR][COLOR="DarkOrange"]$links[/COLOR] = $site->find([COLOR="Lime"]"tbody[id=threadbits_forum_186] tr td[title] div a[id^=thread_title]"[/COLOR]);

[COLOR="Silver"]//"Onemli" yazan konulari "sayisina" gore sil[/COLOR]
for ([COLOR="Orange"]$i[/COLOR] = 0;[COLOR="orange"]$i[/COLOR]<12;[COLOR="orange"]$i[/COLOR]++) {
    unset([COLOR="orange"]$links[/COLOR][[COLOR="orange"]$i[/COLOR]]);
}

[COLOR="Silver"]//$links dizisini $link ile gez ve yazdir[/COLOR]
foreach ([COLOR="DarkOrange"]$links[/COLOR] as [COLOR="DarkOrange"]$link[/COLOR]) {
    echo [COLOR="DarkOrange"]$link[/COLOR]."<br>";
}[/COLOR]
?>

İndir:https://github.com/MuhittinYilmazer/THT-Scraper
 
Son düzenleme:
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.