İnterneti Popüler Arama Motorları ile Kötüye Kullanmak

Bir arama motorunu düşündüğünüz zaman, kullanışlı bir görünüş gözünüzde canlanır. HTML ’ye dayalı sitelerde, isteğinize göre RFC’leri, elektirik devrelerini, yazılımları, serial keyleri ve doğru olmayan görüntüleri bulmanıza yardımcı olabilir.

Büyük olasılıkla google, yahoo, msn gibi arama motorlarını trilyonca kez saldırganların kullandığını düşünmeden kullanmışsınızdır. 

Sadece HTTP’nin hacmi nedeniyle olan ataklar, bir kez HTTP’nin bir firewall olmadığını düşün. Şayet server deamon patch edilmişse ve kullanıcı girdilerinin yeri güvenli bir şekilde kontrol ediliyorsa, endişelenmeye gerek yok. Bu çok ciddi bir yanlış anlamadır, bundan kaçınmak gerekir.

Güvenlik altyapın, HTTP finger printing, SQL enjeksiyon, mulformed heaader enjeksiyon, XSS, cookie fun, bütün akla gelebilecek web`e dayalı form uygulamaları yada servis ataklarını yönetebilir.

Yinede arama motorunu çok yavaş ve mutlu bir şekilde gelmenize izin verdiğinizde, bilgilerinizi meraklı gözlerden korumak için işe yarayacak olan şey önlenebilir güvenliğe sahip olmanızdır.

Spiderlar (Örümcekler):
Bilgisayar robot programları, bazı zamanlar "crawlers", "knowledgebot" yada "knowbot" a gönderme yapabilir. İnternet yolu ile www de dolaşmak, sayfaları ve veritabanlarını ziyaret etmek ve web sayfasının arama motoru veritabanını günlük devam ettirmek için kullanılır. Bunlar yeni sayfalar elde eder, bilinen sayfaları update eder ve kullanılmayan sayfaları siler. Bulduklarını ise ana veritabanında birleştirir.

Meraklı bir akıl herhangi bir güçlü teknolojiyi kullandığı zaman, ekstradan dahili (iç) çalışma bilgisine sahipse, kolaylıkla teknolojiyi potansiyel kötü bir silaha çevirebilir. Bu sebeple saldırganlar için arama motorları ileri derecede saldırganların toplandığı araç haline gelecektir.

Herkes, RFP’nin web toollarını bıyık olarak adlandırıldığını bilir. Henüz arama motorlarının da aynı şeyi, hatta daha fazlasını yaptığından kimse haberdar değildir.

Google, online bölgede kullanılan en güçlü arama motorudur. Belki dört yıldan fazla zamandır, günlük kelime kelime milyonlarca web sitesi ve kamu arşivi eklenmektedir. Bu bilgilerin tamamı akıllı insanların zekalarında miktarları sebebiyle kalabalık edecekti. Bilgiler büyük miktarlarda yüklenmeye başlandığında, makineler ile yığınmış gibi hareket edecek. Bazı zamanlar bu durum pek güzel değildir. Çünkü hassas bilgiler içerecektir.

Spiderlar, bütün bu siteler akılda olmadığı zaman google da hasatları toplamak için kullanır. 
Spiderlar yalnızca ana somaya( sinir hücresi) axon (sinir gövdesi) bağlantısı yaparlar, tıpkı neural newtwork (yapay sinir ağları)gibi. Eğer bilgiler basit bir mantık testten geçerse, axona sızarak gelir, sonra soma bilgileri ana hücreye gönderiri. Sadece enerjiye bir diyet sürünmeyi sağlamlaştırmak için ihtiyaç duyarlar.. tıpkı güvercinlerin gaga yapması gibi. Bu çalışma veri tabanındaki gruplara dahil edilmek için kullanılır.

Bir şirket sitesini ya da domaini test etmek daima google kullanmak için uygundur. Google sürüngen muhteşem bir yazılımdır ve enteresan güzel şeyler bulacaktır. Ayrıca çok hoş bir fonksiyona sahiptir. Bu fonksiyonla eski sayfaları görmenizi sağlayacaktır. Bu sayfalar bu sitede bir kez yayınlanmıştır. Saldırganlar bu özelliğe sayfaları, yapıları, bu tarz şeyleri karşılaştırmak için kullanır.

DMZ ende açık textleri ve CGI leri kullanmak için bazı hayali açık BBS’ler bulunur. BBSler de açık textler ve md5 ile encrypt edilmiş şifreler bulunur ve Mr. Security bunu unutur. Bir hafta sonra arama motoru spider nüfuz etmeye başlayacak ve sitede yavaş yavaş ilerleyip şifreleri bulmaya başlayacaktır. Bir ay sonra tekrar gelecek ve domaindeki şifreler için arama yapmaya başlayacaktır. Bu şuna benzer, kullanıcı BBS’ye dahili network ile bağlıdır ve aynı şifreleri domain şifresi olarakta kullanabilirsin. Şimdi bazı şeyler entersan olmaya başladı özellikle resepsiyon ofisinde gerşeç telefon sesini keşf edersin. Kullanıcı bir IT personelidir.

IT: domainler, routerlar, switchler, serverlar, veritabanları.
Human (insan): tembel, eksik, bazı şifrelerin her yerde olması, admin domain hesabı
Robot dosyaları kullanarak spiderları bloke edebilirsiniz. Örnek bir robot dosya:

User-agent: * # Spiderları kovar.

Disallow: / # Baston, bu server etrafında dosya olmaz:

User-agent: googlebot # googlebotu kovar: 

Disallow: /cgi-bin/

Disallow: /images/ 

# Tease vulnerable spiders: 

User-agent: AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA x 350 
Disallow: /GoogleBot PAYLOAD :-)/

Eğer gerçekten araknofobilerden muzdaripseniz, firewall ya da routerlar da bunu bloke edebilirsiniz.

NOT: Bu doküman google`ı saldırgan aracı olarak kullanmanızı denemek için değildir. Bu tarz bilgilerin bulunması da yasal değildir zaten. Kullanıcılarınızın web dizininde hangi bilgileri kullanmaya izin verdiğiniz, düşünmeye değer bir durumdur.

Google advanced search kullanımın özelliği:

allinurl: # urldeki bütün stringleri bul
allintitle: # başlıktaki bütün stringleri bul
filetype: # Sadece spesifik filetype ı bul
intitle: # Başlıktaki herhangi bir stringi bul
inurl: # Urldeki herhangi bir stringi bul 
link: # Linkteki stringi bul
site: # sitedeki stringi bul

Specific:

allinurl:session_login.cgi # Nagios/NetSaint/Nagmin 
allintitle:/cgi-bin/status.cgi? # Network monioring 
allintitle:/cgi-bin/extinfo.cgi # Nagios/NetSaint 
inurl:cpqlogin.htm # Compaq Insight Agent 
allinurl:"Index of /WEBAGENT/" # Compaq Insight Agent 
allinurl:/proxy/ssllogin # Compaq Insight Agent 
allintitle:WBEM Login # Compaq Insight Agent 
WBEM site:domain.com # Compaq Insight Agent at domain.com
inurl:vslogin OR vsloginpage # Sistem yada Vitalnet ziyaretçisi
allintitle:/exchange/root.asp # Değiştir Webmaili 
"Index of /exchange/" # Değiştir Webmail Directory 
netopia intitle:192.168 # Netopia Router Config

General:

site:blah.com filename:cgi # cgi kaynak kodunu kontrol et 
allinurl:.gov passwd # Bir blackhat favorisi 
allinurl:.mil passwd # Başka nir blackhat favori 
"Index of /admin/" 
"Index of /cgi-bin/" 
"Index of /mail/"
"Index of /passwd/" 
"Index of /private/" 
"Index of /proxy/" 
"Index of /pls/" 
"Index of /scripts/" 
"Index of /tsc/" 
"Index of /www/" 
"Index of" config.php OR config.cgi 
intitle:"index.of /ftp/etc" passwd OR pass -freebsd -netbsd -openbsd 
intitle:"index.of" passwd -freebsd -netbsd -openbsd 
inurl:"Index of /backup" 
inurl:"Index of /tmp" 
inurl:auth filetype:mdb # MDB dosyası 
inurl:users filetype:mdb 
inurl:config filetype:mdb 
inurl:clients filetype:xls # General çizelgeler 
inurl:network filetype:vsd # Network diagramları