theHarvester: Klasik Açık Kaynak Zeka Aracı

theHarvester: Klasik Açık Kaynak Zeka Aracı

 Bir tehdidin keşfinin bir parçası olarak birden çok kaynaktan hızlı ve kolay bir şekilde veri alabilmeyi dilediniz mi?

Bu yeteneğe sahip bir avuç özel araç olsa da, bugün incelediğimiz araçta açık kaynak ruhu tam olarak sergileniyor. theHarvester'ın kurulumu son derece basittir ve verilerini bir düzine artı kaynaktan ücretli ve ücretsiz olarak alır.

Harvester nedir?

theHarvester (başlangıçta bilerek küçük harf 't' ile yazılmıştır), Edge-Security ekibi tarafından yapılan komut satırı tabanlı bir araçtır . Bir şirketin internetteki dış tehdit ortamını belirlemeye yardımcı olmak için açık kaynaklı İstihbarattan ( OSINT ) yararlanarak bir araştırmanın ilk aşamalarında kullanılması amaçlanan Python tabanlı bir araçtır .

Araç, orijinal olarak bir sızma testinin veya kırmızı ekip katılımının erken aşamalarında kullanılmak üzere tasarlanmıştır. Bununla birlikte, Hasatçı'nın pasif keşif yetenekleri , duruma bağlı olarak onu mavi veya mor takımlar için de uygun kılıyor .

Harvester tarafından kullanılan pasif ve aktif keşif veri kaynaklarından birkaçını aşağıda listeleyeceğiz.

Pasif:

• Baidu
• Bing
• dnsdumpster
• Duckduckgo
• Google
• Hunter
• Qwant
• SecurityTrails
• Shodan
• Trello
• Twitter

Aktif:

• DNS kaba kuvvet: sözlük kaba kuvvet numaralandırma
• Ekran Görüntüleri: Bulunan alt alanların ekran görüntülerini alın

Yükleme

Orada 4 farklı kurulum yöntemleri theHarvester için. Bunlar:

• Kali Linux – zaten kurulu olarak geliyor
• Liman işçisi
• Kaynaktan (Piponv kullanmadan)
• Kaynaktan (Piponv ile)

Artık üçüncü seçeneği kullanarak yazılımı yüklemeye devam edebiliriz. Her zaman olduğu gibi, yeni yazılım yüklerken bir tür korumalı alan ortamı kullanmak önemlidir . Bir sanal makine (VM), kapsayıcı veya uzak test sunucusu seçebilirsiniz. Bu inceleme için Ubuntu 20.04 kullanıyoruz ve burada kullanılan tüm komutlar Debian tabanlı dağıtımlara (ve birkaç küçük ince ayar ile diğer dağıtımlara da) uygulanmalıdır.

İlk önce korumalı alanımızı güncellemeli ve ihtiyacımız olacak yazılımı yüklemeliyiz:

sudo apt update
sudo apt upgrade
sudo apt install git python3-venv

Artık gerekli Python paketlerini kurmak için bir Python sanal ortamı oluşturabiliriz:

python3 -m venv harvest

cd harvest/

source bin/activate

git clone https://github.com/laramies/theHarvester

cd theHarvester/

pip install wheel

pip install -r requirements/base.txt

Kurulum sırasında küçük bir hata bulduk ve diğer paketleri 'base.txt'den kurmadan önce 'wheel' pip paketini kurmak zorunda kaldık.

Kurulum talimatlarımızı izlediyseniz, şunları çalıştırabilirsiniz:

python theHarvester.py -h

ve aşağıdakileri göreceksiniz:

Son olarak, api-keys.yamldosyaya bazı API anahtarları eklememiz gerekiyor . Testleri çalıştırmak için sadece ücretsiz/ücretsiz API'leri kullanacağız. api-keys.yamlDosyayı düzenlemek için herhangi bir düzenleyiciyi kullanabilirsiniz . API anahtarlarını eklemek için dosyayı aşağıda gördüğünüz gibi nano veya vim ile düzenlemeniz yeterlidir:

nano -w api-keys.yaml

Kullanım

Harvester'ı kullanarak başka neler ortaya çıkarabileceğimizi görmek için Recon Safari #3'teki bazı mevcut verileri kullanacağız.

Sonuçlarımızı 50 ile sınırlayarak ve kaynak olarak Google'ı kullanarak temel bir rpfront[.]com araması yapacağız:

python theHarvester.py -d rpfront.com -l 50 -b google

Google'ın farklı API'lerin sahip olabileceği OSINT verilerine sahip olmasını beklemediğimiz için sonuçlar çok ilginç değil. Tekrar deneyelim ama bu sefer farklı API'ler kullanarak:

1. Güvenlik İzleri

Aşağıdakileri çalıştırın:

python theHarvester.py -d rpfront.com -l 50 -b securityTrails

Burada çok daha fazla veri var. 3 ilgili IP ve 2 ana bilgisayar bulduk.

2. Tehdit Kalabalığı

ThreatCrowd'u kaynak olarak kullanırken hiçbir sonuç bulamadık.

3. UrlTarama

Koşma:

python theHarvester.py -d rpfront.com -l 50 -b urlscan

5 IP ve 1 ana bilgisayar bulabildik.

Birincil OSINT veri kaynakları, IP'leri ve ana bilgisayarları bulmak için mükemmeldir. İşin iyi yanı, bu aracın aralarından seçim yapabileceğiniz çok sayıda kaynak sunması, şimdi diğer üçüncü taraf hizmetlerini kullanarak daha fazla test çalıştırmayı deneyeceğiz.

Tuhaf bir şekilde, Twitter'da ne 'rpfront' ne de rpfront[.]com için hiçbir şey bulamadık. Başka bir aktif alanı test ettik ancak Twitter'da 'muslempress' ile ilgili hiçbir şey bulamadık:

python theHarvester.py -d moslempress -l 100 -b twitter

moslempress[.]com'u aramak için DuckDuckGo'yu kullandık ve sonuç alamadık:

Sonuçların olmaması, yanlış bir şey yapıyor olabileceğimiz konusunda biraz endişeliydi. Bu yüzden, orada 'muslimpress' ile ilgili herhangi bir veri bulup bulmadığımızı görmek için Hunter API'sini test etmeye karar verdik. Ne yazık ki, orada da hiçbir şey bulamadık:

python theHarvester.py -d moslempress.com -l 10 -b hunter

Hunter'ın gerçekten çalıştığını doğrulamak için daha yaygın bir alanda test ettik:

Neyse ki, yukarıda gösterildiği gibi bazı e-posta sonuçları elde ettik. Buradaki tutarsızlık büyük olasılıkla Hunter ve diğer kaynaklarda bu niş alan için mevcut veri eksikliğinden kaynaklanmaktadır.

ThreatMiner ve RapidDNS, aşağıdakileri ortaya çıkarmamıza yardımcı oldu:

2 veri kaynağı, www[.]moslempress[.]com için geçerli IP adresinin ne olduğunu doğrular.

moslempress[.]com etki alanının tam bir görünümünü elde etmek için, şimdi tüm kaynaklar üzerinde bir tarama çalıştırmayı deneyeceğiz ve sonuçların nasıl göründüğünü görmek için sonucu bir HTML dosyasına göndereceğiz. Bunu aşağıdakileri çalıştırarak yapabiliriz:

python theHarvester.py -d moslempress.com -l 50 -b all -f moslempress.html

Bu şimdiye kadarki en faydalı taramaydı. Aşağıdaki ekran görüntülerinde gösterildiği gibi birçok veriyi ortaya çıkardık:

Buradaki veri noktalarının sayısı Harvester'ın değerini gösterir. Bizim için tek dezavantajı, taramayı tekrar çalıştırmayı denediğimizde oldu. Motor kaynaklarının çoğunun her zaman spam benzeri taramalarla uğraştığından ve taramayı aynı IP'yi kullanarak yeniden çalıştırma girişimimizde olduğundan ve bu nedenle yakında güvenlik duvarı/koruma hizmetleri tarafından işaretleneceğinden şüpheleniyoruz. Bu kesinlikle LinkedIn için geçerliydi ve ayrıca Host sayısının 47'den 31'e düştüğünü fark ettik (1 veya daha fazla hizmetten engelleme/hız sınırlaması olduğunu gösteriyor). Bu sorunu aşmanın bir yolu --proxies, birden çok proxy IP'sinin eklenebileceği Harvester'da bulunan başka bir seçenektir proxies.yaml.

HTML çıktısı da çok kullanışlıdır:

Yukarıdaki tabloda birden fazla filtreleme seçeneği vardır, böylece her bir kaynaktan Sonuçların ne olduğunu görebiliriz. Arsa grafikleri (gösterilmemiştir) bizim için pek kullanışlı değildi. İşlevselliklerine bağlı olarak, Sonuçlardaki değişiklikleri gösterecek olan tekrarlanan taramalar ve araştırmalar için daha kullanışlı görünüyorlar. HTML çıktısının sonunda, her Kaynaktan Sonuçların bir özetini de aldık:

Biraz kafa karıştırıcı bulduğumuz şey, --shodanbir veri kaynağı olmayan ve normal bir alan araması için bir bayrak olarak dahil edilmesi gereken seçenekti. Biraz kurcaladıktan sonra kullanım şöyle:

python theHarvester.py -d moslempress.com -l 50 -b securityTrails –shodan

ve çıktı aşağıdaki gibidir:

Topladığımız şey, Shodan'ın çalışması için hizmet tarafından aranabilmesi için bir IP adresinin bulunması gerektiğidir.

Son taramamız şu şekilde gerçekleştirildi:

python theHarvester.py -d moslempress.com -l 50 -b securityTrails -c --screenshot ~/harvest/theHarvester/sc/

DNS'yi kaba kuvvet kullanarak ( kullanarak -c) ve ekran görüntülerini alıp kaydetmeye çalıştık . DNS kaba zorlaması, bu sonuçları zaten birden çok Kaynak kullanarak elde ettiğimiz için kullanışlı değildi. Ekran görüntüsü özelliği bizim için çalışmadı ve birkaç kez denedikten sonra aynı hatayı aldık:

Özet

Genel olarak, Harvester'ı herhangi bir temel OSINT araştırması için mükemmel bir araç olarak değerlendiririz. Birden fazla kaynaktan gelen pasif keşif, herhangi bir soruşturma başlatmak için büyük bir kolaylaştırıcıdır.

Bu aracın dezavantajlarından biri belge eksikliğidir, ancak bizimki gibi kapsamlı bir inceleme, aracın diğer öğreticilerin çoğunun yapmadığı birçok farklı kullanımını kapsar. Ayrıca 1 veya 2 hata bulduk, ancak bu herhangi bir açık kaynak araçta beklenir ve aracın değerini en ufak bir şekilde düşürmez.