信息收集系列|子域名收集姿勢(shì)總結(jié)
時(shí)間:2023-02-12 16:57:01 | 來源:建站知識(shí)
時(shí)間:2023-02-12 16:57:01 來源:建站知識(shí)
聲明:本文在FreeBuf首發(fā),首發(fā)鏈接為:https://www.freebuf.com/vuls/328801.html
概述
在滲透測(cè)試或SRC漏洞挖掘中,安全測(cè)試人員通常會(huì)得到一些域名資產(chǎn)。為了更好地進(jìn)行滲透測(cè)試,通常都需要進(jìn)行子域名收集。
為什么需要進(jìn)行子域名收集?
- 擴(kuò)大資產(chǎn)范圍,可以增加漏洞發(fā)現(xiàn)的概率
- 眾所周知,一般情況下主站的安全性可能相對(duì)較高,而一些不常用的子站或者上線不久的站點(diǎn),可能安全方面的考慮還沒有很周全,可能成為目標(biāo)系統(tǒng)的脆弱點(diǎn)
- 通常情況下,同一組織采用相同應(yīng)用搭建多個(gè)服務(wù)的可能性很大,以及補(bǔ)丁的情況也可能大致相同,因此,存在相同漏洞的概率非常大
子域名收集通常分為兩種方式,分別為被動(dòng)收集和主動(dòng)收集。
被動(dòng)收集是指,在不與目標(biāo)系統(tǒng)進(jìn)行交互的情況下,通過第三方進(jìn)行收集。這種方式有著明顯的優(yōu)勢(shì),因?yàn)椴恍枰湍繕?biāo)系統(tǒng)進(jìn)行交互,所以不會(huì)對(duì)目標(biāo)系統(tǒng)造成任何影響,更不會(huì)觸發(fā)任何安全產(chǎn)品的告警。
被動(dòng)子域名收集的方式:
- 信息泄露
- 搜索引擎
- 網(wǎng)絡(luò)空間測(cè)繪引擎
- 證書透明
- 第三方DNS服務(wù)
- AS 號(hào)碼查詢
- SAN 收集
- 使用公共數(shù)據(jù)集
主動(dòng)收集是指,通過與目標(biāo)系統(tǒng)進(jìn)行交互,對(duì)子域名進(jìn)行收集。因?yàn)樾枰湍繕?biāo)系統(tǒng)進(jìn)行交互,很可能出現(xiàn)高頻訪問等情況,有觸犯安全產(chǎn)品告警的風(fēng)險(xiǎn)。
主動(dòng)收集子域名的方式:
被動(dòng)子域名收集
信息泄露
- corssdomain.xml
跨站策略文件,主要是為web客戶端(如Adobe Flash Player等)設(shè)置跨域處理數(shù)據(jù)的權(quán)限,里面可能包含部分域名信息。 - Github 、Gitee等代碼倉庫中,可能有相關(guān)子域名的信息
- 抓包分析獲取,如一些靜態(tài)資源的請(qǐng)求、一些APP或者小程序接口、郵件服務(wù)器等等
搜索引擎
常用的搜索引擎有Google和百度,基礎(chǔ)的搜索語法:
site:*.baidu.com
一般用作工具搜集的補(bǔ)充,也可以編寫腳本進(jìn)行批量操作
網(wǎng)絡(luò)資產(chǎn)搜索引擎
常見的空間測(cè)繪引擎:
直接在搜索框使用語法進(jìn)行搜素,基礎(chǔ)語法:
domain=Your_domain
也可以利用API進(jìn)行搜索
echo 'domain="baidu.com"' | base64 - | xargs -I{} curl "https://fofa.info/api/v1/search/all?email=${Your_Mail}&key=${Your_Key}&page=1&qbase64={}"
再編寫個(gè)腳本,對(duì)返回的數(shù)據(jù)進(jìn)行簡(jiǎn)單的處理,即可獲得一個(gè)子域名列表。
import requestsfrom base64 import b64encodeimport json??# 配置信息domain = 'domain="baidu.com"'domain = str(b64encode(domain.encode("utf-8")), "utf-8")email = "Your_email"key = "Your_key"# endurl = "https://fofa.info/api/v1/search/all?email={email}&key={key}&qbase64={domain}".format(email=email, key=key, domain=domain) + "&page={page}"page = 1subdomain = list()?while True: url = url.format(page=str(page)) req = requests.get(url=url).text result = json.loads(req)['results'] if result: tmp = [i[0] for i in result] subdomain += tmp else: break page += 1print(set(subdomain)) # 去重
注:這里的代碼僅僅是展現(xiàn)處理的邏輯,暫未考慮優(yōu)化處理,師傅們輕噴~
第三方DNS服務(wù)
VirusTotal
VirusTotal會(huì)運(yùn)行DNS復(fù)制功能,通過存儲(chǔ)用戶訪問URL時(shí)執(zhí)行的DNS解析來構(gòu)建數(shù)據(jù)庫。
其他在線DNS工具匯總:
- https://decoder.link/
- https://searchdns.netcraft.com/
- https://dnsdumpster.com/
- https://pentest-tools.com/information-gathering/find-subdomains-of-domain
- https://www.pkey.in/tools-i/search-subdomains
- https://hackertarget.com/find-dns-host-records/
- https://findsubdomains.com/
- https://spyse.com/
證書透明
- 證書
當(dāng)通過HTTPS訪問web時(shí),網(wǎng)站向?yàn)g覽器提供數(shù)字證書,此證書用于識(shí)別網(wǎng)站的主機(jī)名,由證書頒發(fā)機(jī)構(gòu)(CA,Certificate Authority)頒發(fā)。 - 證書透明
證書透明(CT)是證書頒發(fā)機(jī)構(gòu)(CA)必須將其發(fā)布的每個(gè)SSL/TLS證書發(fā)布到公共日志的項(xiàng)目。SSL/TLS證書通常包含域名,子域名和電子郵件地址等信息。
常用證書透明查詢網(wǎng)站
- censys:https://censys.io/certificates
- crtsh:https://crt.sh/
- spyse:https://spyse.com/search/certificate
- certspotter:https://sslmate.com/certspotter/api/
- entrust:https://www.entrust.com/ct-search/
- facebook:https://developers.facebook.com/tools/ct
- google:https://developers.facebook.com/tools/ct
使用也是比較簡(jiǎn)單,直接搜索主域名即可。因?yàn)檫@種方法的原理是根據(jù)日志信息收集,只增不減,所以可能會(huì)出現(xiàn)一些失效的子域名。
ASN
AS 號(hào)碼幫助識(shí)別屬于組織的網(wǎng)絡(luò)塊,而該網(wǎng)絡(luò)快又可能具有有效域
- 查找ASN
- 基于IP查找:https://asn.cymru.com/cgi-bin/whois.cgi
- 基于域名查找:https://bgp.he.net/
- 使用nmap進(jìn)行查找
nmap --script targets-asn --script-args targets-asn.asn=Your_asn > netblocks.txt
像fofa這類的網(wǎng)絡(luò)空間測(cè)繪引擎也支持ASN查找
SAN
SAN(Subject Alternative Name) 是 SSL 標(biāo)準(zhǔn) x509 中定義的一個(gè)擴(kuò)展。使用了 SAN 字段的 SSL 證書,可以擴(kuò)展此證書支持的域名,使得一個(gè)證書可以支持多個(gè)不同域名的解析。
允許在安全證書中使用
subjectAltName
字段將多種值與證書關(guān)聯(lián),這些值被稱為主題備用名稱。名稱可包括:IP地址、DNS名稱等。
這里用火狐瀏覽器作為例子:
也可以使用 appsecco 提供的shell腳本:
sed -ne 's/^/( */)Subject://1/p;/X509v3 Subject Alternative Name/{ N;s/^.*/n//;:a;s/^/( */)/(.*/), //1/2/n/1/;ta;p;q; }' < <( openssl x509 -noout -text -in <( openssl s_client -ign_eof 2>/dev/null <<<$'HEAD / HTTP/1.0/r/n/r' / -connect baidu.com:443 ) )
公開數(shù)據(jù)集
利用已有公開的掃描數(shù)據(jù)集,對(duì)子域名信息進(jìn)行收集。推薦常用的兩個(gè):
https://scans.io/study/sonar.rdns_v2 https://opendata.rapid7.com/
通常這些數(shù)據(jù)集都是比較大,可以使用命令進(jìn)行快速查找
wget https://scans.io/data/rapid7/sonar.fdns_v2/20170417-fdns.json.gzcat 20170417-fdns.json.gz | pigz -dc | grep ".Your_Target.org" | jq
主動(dòng)子域名收集
字典枚舉
字典枚舉即利用常見的子域名字典,進(jìn)行暴力破擊,最終獲得有效的子域名。這種方法有比較大的局限,能收集到多少子域,取決于字典的覆蓋程度,同時(shí)還有比較致命的缺點(diǎn),即會(huì)造成較大的流量,可能會(huì)讓目標(biāo)系統(tǒng)的安全產(chǎn)品造成告警。
常用工具:
- Aquatone
- Bluto-Old
- DNS-Discovery
- Dnssearch
- Amass
- Subbrute
- subDomainBrute
- Sublist3r
- OneForAll
- DNSBrute
部分工具可能長(zhǎng)時(shí)間沒更新,字典可能比較老舊,可以根據(jù)需求修改成自己的字典
置換掃描
使用已知域/子域名的排列組合來識(shí)別新的子域名,使得字典有一定的針對(duì)性,提高準(zhǔn)確率
比較常用的工具是 altdns (具體的工具使用見下一節(jié))
域傳送漏洞
DNS區(qū)域傳輸是將DNS數(shù)據(jù)庫或DNS記錄從主名稱服務(wù)器復(fù)制到輔助名稱服務(wù)器的過程。如果DNS服務(wù)器沒有進(jìn)行嚴(yán)格的配置,只要收到AXFR請(qǐng)求就進(jìn)行域傳送,便造成了該漏洞。域傳送過程中,傳遞的信息除了子域外,還有電子郵件地址、電子郵件服務(wù)器等信息,可用于釣魚攻擊。其實(shí),域傳送漏洞本身就是一個(gè)高危漏洞。
域傳送漏洞的即常見驗(yàn)證方式:
nslookup
# 1.nslookup命令進(jìn)入交互式shell$ nslookup?# 2.server命令 參數(shù)設(shè)定查詢將要使用的DNS服務(wù)器$ server xxx.com?# 3.如果漏洞存在的話,可以使用ls命令列出所有域名$ ls?# 4.退出$ exit
dig
在Linux下,可以使用dig命令來發(fā)送DNS請(qǐng)求,這里只需要發(fā)送axfr類型的DNS請(qǐng)求,如果存在該漏洞,則會(huì)返回所有解析記錄。
dig @Target_DNS_Server_IP axfr 查詢的域名
dnswalk
在Kali中已經(jīng)預(yù)裝的工具,這里需要注意的是,要使用域名的完整形式,即
.
不能省略
dnswalk your_domain.
nmap
namap 中也有域傳送漏洞的檢測(cè)腳本:
nmap --script dns-zone-transfer --script-args dns-zone-transfer.domain=Your_domain -p 53 -Pn dns.xxx.yyy.com
DNSSEC
DNSSEC,即域名系統(tǒng)安全擴(kuò)展,主要功能是通過建立信任鏈來保護(hù)DNS中數(shù)據(jù)的完整性和真實(shí)性。由于DNSSEC處理不存在域名的方式,可以遍歷DNSSEC域并枚舉該域中的所有域名
常用的工具:
- ldns-walk
可以使用 apt-get 安裝
apt-get install ldnsutils - nsec3walker
- nsec3map
DNS緩存
在常見的企業(yè)網(wǎng)絡(luò)中,通常都會(huì)配置DNS服務(wù)器,為網(wǎng)絡(luò)內(nèi)的主機(jī)提供域名解析服務(wù)。DNS服務(wù)器除了解析私有域名外,還會(huì)用遞歸方式,向公網(wǎng)的DNS服務(wù)器請(qǐng)求解析第三方域名。為了提升性能,通常會(huì)使用緩存記錄,記錄解析過的域名,尤其是第三方域名。 域名緩存?zhèn)蓽y(cè)(DNS Cache Snooping)技術(shù)就是向這些服務(wù)器發(fā)送域名解析請(qǐng)求,但要求不使用遞歸模式。這樣DNS只能解析私有域名和緩存中保存的域名。借助該項(xiàng)技術(shù),滲透測(cè)試人員就知道哪些域名是否被過請(qǐng)求過。
./dnsrecon.py -t snoop -n Sever -D <Dict>
自動(dòng)化工具
OneForAll
OneForAll是一款比較綜合的子域名掃描工具,擁有多個(gè)模塊和接口掃描,收集子域信息很全,包括子域、子域IP、子域常用端口、子域Title、子域Banner、子域狀態(tài)等。
- Download
- 使用
這里用Docker方式演示
git clone https://gitee.com/shmilylty/OneForAll.git
docker pull shmilylty/oneforall
docker run -it --rm -v ~/results:/OneForAll/results -v ~/OneForAll/config:/OneForAll/config shmilylty/oneforall --target http://baidu.com run
- 掃描結(jié)果路徑:~/results
- 置文件路徑:~/OneForAll/config
- 目標(biāo)域名:http://baidu.com
ksubdomain
ksubdomain是一款基于無狀態(tài)子域名爆破工具,支持在Windows/Linux/Mac上使用,它會(huì)很快的進(jìn)行DNS爆破,在Mac和Windows上理論最大發(fā)包速度在30w/s,linux上為160w/s的速度。
TIPS:在linux下,還需要安裝libpcap-dev
,在Windows下需要安裝WinPcap
,mac下可以直接使用。
- Download
- 使用
# 使用內(nèi)置字典爆破
ksubdomain -d http://baidu.com
?
# 使用字典爆破域名
ksubdomain -d http://baidu.com -f subdomains.dict
?
# 字典里都是域名,可使用驗(yàn)證模式
ksubdomain -f dns.txt -verify
?
# 爆破三級(jí)域名
ksubdomain -d http://baidu.com -l 2
Sublist3r
Sublist3r使用許多搜索引擎(如Google,Yahoo,Bing,Baidu和Ask)進(jìn)行子域名探測(cè)。
Sublist3r還使用Netcraft,Virustotal,ThreatCrowd,DNSdumpster和ReverseDNS進(jìn)行子域名探測(cè)。
- Download
- 使用
python sublist3r.py -b -d http://baidu.com
-d -domain要枚舉子域的域名
-b -bruteforce啟用subbrute bruteforce模塊
-p -ports根據(jù)特定的tcp端口掃描找到的子域
-v --verbose啟用詳細(xì)模式并實(shí)時(shí)顯示結(jié)果
-t -threads用于subbrute bruteforce的線程數(shù)
-e - 引擎指定逗號(hào)分隔的搜索引擎列表
-o -output將結(jié)果保存到文本文件
-h -help顯示幫助信息并退出
altdns
Altdns是一款運(yùn)用置換掃描技術(shù)的子域發(fā)現(xiàn)工具,它可以幫助我們查找與某些排列或替換匹配的子域。AltDNS接受可能存在于域下的子域中的單詞(例如測(cè)試,開發(fā),分期),以及獲取你知道的子域列表。
使用者只需提供兩個(gè)輸入列表,altdns就可以為我們生成輸出大量可能存在的潛在子域并保存。這些保存好的子域列表,用作DNS爆破字典是個(gè)不錯(cuò)的選擇。
- Download
- 使用
python altdns.py -i subdomains.txt -o data_output -w words.txt -r -s results_output.txt
- subdomains.txt 文件包含了目標(biāo)的已知子域
- data_output文件將包含大量的更改和置換的子域列表
- words.txt是需要置換子域的單詞列表(即admin,staging,dev,qa)- 單詞以行分隔
- results_output.txt 將包含被發(fā)現(xiàn)有效的且具有DNS記錄的排列后子域的最終列表。
- -r命令解析每個(gè)生成的已排列的子域
- -s命令用于指定altdns在哪保存已解析的排列子域結(jié)果。
- -t命令用于指定解析器同時(shí)使用的線程數(shù)
當(dāng)然,優(yōu)秀的工具還有許多,這里僅僅是舉了幾個(gè)我個(gè)人覺得比較常用工具的使用方法。只有合理地使用,才能把工具的作用發(fā)揮到最大。常見的工具還有:
- Aquatone
- Bluto-Old
- DNS-Discovery
- Dnssearch
- Amass
- Subbrute
- subDomainBrute
- Sublist3r
- OneForAll
- DNSBrute
- Layer
- ……
總結(jié)
在滲透測(cè)試中,介于項(xiàng)目的周期,大部分測(cè)試人員都是使用自動(dòng)化工具進(jìn)行收集。然而,當(dāng)對(duì)于已經(jīng)收集到的資產(chǎn)束手無策時(shí),嘗試多種手段進(jìn)一步擴(kuò)大資產(chǎn)的范圍也不失為一種方法。因此,本文較為系統(tǒng)地整理了一些常見的收集方法,希望對(duì)各位師傅有所幫助~
后記
SpaceSec安全團(tuán)隊(duì)熱衷分享網(wǎng)絡(luò)安全相關(guān)的技術(shù),希望能和各位師傅們一同成長(zhǎng),后續(xù)更新內(nèi)容將會(huì)在公眾號(hào)中持續(xù)更新,歡迎關(guān)注交流呀~
聲明
- 本文初衷為分享網(wǎng)絡(luò)安全知識(shí),請(qǐng)勿利用技術(shù)做出任何危害網(wǎng)絡(luò)安全的行為,由于傳播、利用此文所提供的信息而造成的任何直接或者間接的后果及損失,均由使用者本人負(fù)責(zé),與SpaceSec安全團(tuán)隊(duì)及作者無關(guān)!
- 文章中部分學(xué)習(xí)內(nèi)容來自于網(wǎng)絡(luò),回饋予網(wǎng)絡(luò),如涉及版權(quán)問題,請(qǐng)聯(lián)系刪除。
- SpaceSec 保留對(duì)文章絕對(duì)的解釋權(quán),轉(zhuǎn)載與傳播時(shí)須保證文章的完整性,同時(shí)標(biāo)明出處。未經(jīng)允許,禁止轉(zhuǎn)載或用于商業(yè)用途。
參考
https://www.freebuf.com/sectool/162774.htmlhttps://www.freebuf.com/articles/web/260743.htmlhttps://www.freebuf.com/articles/web/220344.html
關(guān)鍵詞:收集,姿勢(shì),總結(jié),系列,信息