頁面請求工具頁面處理工具請求代理&監(jiān)控工具筆者主要做web前端開發(fā)，因此主要介紹 JS 中常見的工具。

一、頁面請求工具本質(zhì)上這些工具都" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

15158846557 或 在線咨詢 在線咨詢
15158846557 或 在線咨詢
所在位置： 首頁 > 營銷資訊 > 網(wǎng)站運營 > 前端工程師用什么工具扒網(wǎng)站？

前端工程師用什么工具扒網(wǎng)站？

時間：2023-12-15 09:36:01 | 來源：網(wǎng)站運營

時間：2023-12-15 09:36:01 來源：網(wǎng)站運營

前端工程師用什么工具扒網(wǎng)站？：如果題主說的是爬蟲，一般來說我們需要這 3 類工具

筆者主要做web前端開發(fā)，因此主要介紹 JS 中常見的工具。

一、頁面請求工具

本質(zhì)上這些工具都是一個 網(wǎng)絡(luò)資源請求 工具。NodeJS 技術(shù)棧中，常見的工具有

1. request

最基礎(chǔ)的請求庫，提供鏈式語法的 API，喜歡 Promise 的可以試試 request-promise 官方Github 地址

var request = require("request");request("https://www.zhihu.com", function(error, response, body) { console.log("body:", body); // Print the HTML});

2. superagent

原生支持 Node 環(huán)境和瀏覽器環(huán)境，提供鏈式語法和 Promise 語法的 API，周邊插件也很豐富 官方Github 地址

// Node環(huán)境中const superagent = require("superagent");superagent .get("https://www.zhihu.com") // 請求地址 .query({ user: "liukanshan" }) // 請求頁面或接口的參數(shù) .end((err, res) => { // res是返回體，res.text就是html文本，更多查看官方文檔 });

二、頁面處理工具

抓取到的頁面一般是個字符串（`< html >...< html >"），想要 讀取里面的數(shù)據(jù)，比如獲取導(dǎo)航欄菜單的名稱，一般會用到頁面模擬工具，常見的工具有

1. cheerio

類 JQuey 設(shè)計的服務(wù)端頁面運行環(huán)境，以上面 request 請求到頁面后為例 官方Github 地址

var request = require("request");var cheerio = require("cheerio");request("https://www.zhihu.com", function(error, response, body) { var $ = cheerio.load(body); console.log($(".Tabs-link.AppHeader-TabsLink").text); // 打印出 '首頁'});

2. puppeteer

以 Chromium 為基礎(chǔ)開發(fā)的 Node 端無頭瀏覽器，最近幾年比較火，非常強大，非常強大，非常強大（說三遍～）官方Github 地址

const puppeteer = require("puppeteer");(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto("https://zhihu.com"); await page.screenshot({ path: "本站首頁截圖打印成圖片.png" }); await browser.close();})();

三、抓取代理工具

我們在調(diào)試 “抓取網(wǎng)頁” 這個過程時，需要經(jīng)常查看我們發(fā)出的請求對不對，返回是否有異常等，這時候需要代理工具能查看網(wǎng)絡(luò)請求和返回

whistle

基于 NodeJS 開發(fā)網(wǎng)絡(luò)代理工具

詳情見 官網(wǎng)

關(guān)鍵詞：工具,工程師

74
73
25
news

版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。

為了最佳展示效果，本站不支持IE9及以下版本的瀏覽器，建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關(guān)閉