爬蟲(chóng)實(shí)戰(zhàn)—“網(wǎng)絡(luò)信息安全”公司top100

時(shí)間：2023-06-21 05:00:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-06-21 05:00:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

爬蟲(chóng)實(shí)戰(zhàn)—“網(wǎng)絡(luò)信息安全”公司top100：

項(xiàng)目描述

為了解網(wǎng)絡(luò)信息安全行業(yè)公司情況，從天眼查爬取前100個(gè)相關(guān)公司，并對(duì)其進(jìn)行簡(jiǎn)單分析。

主要爬取內(nèi)容包括：公司名稱、天眼查評(píng)分、注冊(cè)資本、成立時(shí)間、法人、經(jīng)營(yíng)范圍等

項(xiàng)目流程

分為以下四個(gè)步驟：準(zhǔn)備工作、頁(yè)面下載、頁(yè)面解析、數(shù)據(jù)保存；數(shù)據(jù)分析

• 準(zhǔn)備工作

1. 獲取將要爬取頁(yè)面的URL，即網(wǎng)址。如需進(jìn)行相關(guān)聯(lián)的多頁(yè)面爬取，需進(jìn)行簡(jiǎn)單分析，找出各個(gè)頁(yè)面之間的聯(lián)系。
2. 獲取headers信息，如果頁(yè)面內(nèi)容需登錄才顯示，那么還需要獲取Cookie信息。

url_begin = "https://www.tianyancha.com/search/p"url_end = "?key=%E7%BD%91%E7%BB%9C%E4%BF%A1%E6%81%AF%E5%AE%89%E5%85%A8"final_result = []for i in range(1, 6): # 分析前5個(gè)頁(yè)面 url = url_begin + str(i) + url_end # 拼接得到頁(yè)面URL


headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36" }

• 頁(yè)面下載

此處需要使用到requsets模塊的get方法，來(lái)下載頁(yè)面，供我們進(jìn)一步的分析和解析數(shù)據(jù)。

Requests 簡(jiǎn)化了 urllib 的諸多冗雜且無(wú)意義的操作，并提供了更強(qiáng)大的功能。
Requests 是 Python 所有模塊中最受歡迎的一個(gè)，全世界最優(yōu)秀的程序員都在使用它！

import requestsres= requests.get(url,headers=headers)print(res.status_code) #判斷是否正確得到頁(yè)面，返回200說(shuō)明成功

• 頁(yè)面解析

將下載得到的頁(yè)面進(jìn)行分析，找到我們需要的信息。

此處需要用到beautifulsoup模塊，它能幫助我們將requests下載的頁(yè)面內(nèi)容轉(zhuǎn)為文檔樹(shù)的形式，方便我們分析的提取數(shù)據(jù)。

BeautifulSoup 模塊，可以化腐朽為神奇，將一個(gè)復(fù)雜的網(wǎng)頁(yè)結(jié)構(gòu)轉(zhuǎn)化為書(shū)籍目錄的形式供你瀏覽。

本項(xiàng)目主要對(duì)公司名稱、天眼查評(píng)分、注冊(cè)資本、成立時(shí)間、法人、經(jīng)營(yíng)范圍幾項(xiàng)信息進(jìn)行提取。

from bs4 import BeautifulSoupsoup = BeautifulSoup(res.text,'html.parser')result = [] # 一個(gè)頁(yè)面的信息#公司名、評(píng)分company = []score = []targets= soup.find_all('div',class_="search-item sv-search-company")for each in targets: temp = each.find('a') company.append(temp.text)for each in targets: try: temp = each.find('span',class_ ="score-num") score.append(int(temp.text)) except: score.append("暫無(wú)")#法人boss = []targets = soup.find_all('div', class_="title -wider text-ellipsis")for each in targets: try: boss.append(each.a.text) except: boss.append("未公開(kāi)")#注冊(cè)資本reg_money = []targets = soup.find_all('div',class_="title -narrow text-ellipsis")for each in targets: try: reg_money.append(int(each.span.text.split("萬(wàn)")[0])) except: reg_money.append("未公開(kāi)")#成立日期date = []targets = soup.find_all('div',class_="title text-ellipsis")for each in targets: try: date.append(each.span.text) except: date.append("未公開(kāi)")# 經(jīng)營(yíng)范圍&歷史名稱service = []targets = soup.find_all('div', class_="search-item sv-search-company")for each in targets: try: temp = each.find('div', class_="match row text-ellipsis" ) service.append(temp.span.text) except: service.append("未公開(kāi)")#匯總信息length = len(company)for i in range(0,length): result.append([company[i], score[i], reg_money[i], date[i], boss[i], service[i]])return result

• 保存數(shù)據(jù)

將提取到的信息保存到Excel文件中，需要用到openpyxl工具包。

import openpyxlwb = openpyxl.Workbook()wb.guess_type = Truews = wb.activews.append(["公司名稱", "天眼評(píng)分", "注冊(cè)資本（萬(wàn)元）", "成立時(shí)間", "法人", "其他信息"])for item in data: ws.append(item)wb.save("網(wǎng)絡(luò)信息安全前100.xlsx")

• 結(jié)果展示

保存到Excel的內(nèi)容如下所示：

數(shù)據(jù)分析

1. 可以看出，天眼查是按照天眼評(píng)分排序，對(duì)公司進(jìn)行展示
2. 以成立時(shí)間維度分析：

• 可知網(wǎng)絡(luò)信息安全相關(guān)公司數(shù)量增長(zhǎng)較快。成立數(shù)量近四年（16-19年）比前四年（12-15年）多9家。（分別為21、12家）
• 最新成立的公司為山西鑫盾網(wǎng)絡(luò)信息安全有限公司，成立時(shí)間為2020-06-05，注冊(cè)資本為500萬(wàn)元

3.以注冊(cè)資本維度分析：

• 排名前三的公司分別為：中國(guó)電子科技網(wǎng)絡(luò)信息安全有限公司（200000萬(wàn)），中資網(wǎng)絡(luò)信息安全科技有限公司（30000萬(wàn)），中電科華北網(wǎng)絡(luò)信息安全有限公司（20000萬(wàn)）。
• 排名前三的公司天眼評(píng)分也較高，分別為：93、94、92。說(shuō)明其綜合實(shí)力也較強(qiáng)。
• 其中“中國(guó)電子科技網(wǎng)絡(luò)信息安全有限公司”實(shí)際為“中電科華北網(wǎng)絡(luò)信息安全有限公司”的股東。說(shuō)明中國(guó)電子科技網(wǎng)絡(luò)信息安全有限公司在此行業(yè)實(shí)力較強(qiáng)。

4.以經(jīng)營(yíng)范圍分析，主要有：

• 信息安全領(lǐng)域安全認(rèn)證、網(wǎng)絡(luò)安全、網(wǎng)絡(luò)設(shè)備安裝與維護(hù)、智能網(wǎng)絡(luò)控制系統(tǒng)設(shè)備的設(shè)計(jì)及安裝、網(wǎng)絡(luò)系統(tǒng)工程設(shè)計(jì)與安裝。
• 信息網(wǎng)絡(luò)安全技術(shù)研發(fā)、提供信息網(wǎng)絡(luò)安全咨詢和服務(wù)
• 互聯(lián)網(wǎng)輿情信息監(jiān)測(cè)、重要政策等新聞信息的網(wǎng)絡(luò)傳播和評(píng)論引導(dǎo)工作

---

完整代碼：




隨手點(diǎn)贊，手留余香~