猴子都能學(xué)會(huì)的20行代碼登錄微博

時(shí)間：2023-05-20 07:52:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-05-20 07:52:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

猴子都能學(xué)會(huì)的20行代碼登錄微博：如何登錄新浪微博是令許多數(shù)據(jù)新手（包括我）頭疼的大問(wèn)題。由于新浪的反爬蟲策略，網(wǎng)上的教程往往撐不過(guò)幾個(gè)月，查閱到的資料在半年前或是一年前——而它們?cè)缇蜔o(wú)法使用了，在你想開始爬蟲的時(shí)候被活生生卡在了第一步。

簡(jiǎn)單而言，我使用的方法是通過(guò) Selenium 模擬瀏覽器的行為，直接在瀏覽器中輸入用戶名和密碼并登錄，然后直接從瀏覽器中獲取 Cookies。雖然聽起來(lái)十分簡(jiǎn)單（事實(shí)上也十分簡(jiǎn)單），但是確實(shí)是十分有效的方式。只要一個(gè)網(wǎng)站能通過(guò)瀏覽器登陸，我們就可以簡(jiǎn)單改造這個(gè)程序來(lái)登錄并獲得想要的資料。

什么是Selenium？如何使用？

Selenium 是一個(gè)項(xiàng)目的名稱，都與瀏覽器和網(wǎng)頁(yè)測(cè)試相關(guān)。主要的工具也就是今天我們所要使用的，是WebDriver，是一個(gè)瀏覽器自動(dòng)化工具。它為很多不同的語(yǔ)言提供了庫(kù)，包括 Python、Java、Ruby 等。本文中我選擇使用 Python 來(lái)進(jìn)行操作，當(dāng)然你也可以使用你熟悉的語(yǔ)言來(lái)進(jìn)行操作。

在 Python中使用 Selenium 只需要通過(guò)pip安裝 Selenium 提供的 Python 庫(kù)。

pip3 install selenium # 如果你使用 Python 2 ，請(qǐng)使用 pip install selenium僅僅安裝 Selenium 本身是不夠的，你同時(shí)還需要安裝 Driver 。你可以將 Driver 理解為瀏覽器本身的『驅(qū)動(dòng)』，在程序中使用 Driver 就相當(dāng)于你打開了一個(gè)瀏覽器做了些什么事情。

在這里我們推薦幾個(gè) Driver ：

1. Firefox: https://github.com/mozilla/geckodriver/releases
2. Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads
3. PhantomJS: http://phantomjs.org/download.html

（如果你是Windows用戶，這部分內(nèi)容也需要參考：http://selenium-python.readthedocs.io/installation.html#detailed-instructions-for-windows-users）

下載后，我建議將可執(zhí)行文件加入環(huán)境中，以備使用。

Firefox 和 Chrome 相信大家都比較熟悉。PhantomJS 是一個(gè)可以讓你無(wú)需瀏覽器就進(jìn)行網(wǎng)頁(yè)相關(guān)操作的WebKit，它也沒(méi)有圖形界面。個(gè)人比較推薦在調(diào)試程序期間使用 Firefox 或是 Chrome ，這樣你可以通過(guò)觀察發(fā)現(xiàn)自己哪里出了錯(cuò)。在調(diào)試完成后使用 PhantomJS ，來(lái)避免多余的可視化渲染。

創(chuàng)建一個(gè) WebDriver

利用 Selenium 創(chuàng)建 WebDriver 十分簡(jiǎn)單粗暴：

from selenium import webdriverdriver = webdriver.Firefox() # 如果 Firefox 所時(shí)使用的 geckodriver 在環(huán)境中# driver = webdriver.PhantomJS() # 如果你想使用 PhantomJS如果你需要自定義路徑，你可以通過(guò)傳入?yún)?shù) executable_path：

driver = webdriver.Firefox(executable_path="/path/to/geckodriver")如果你使用 Firefox 或 Chrome，你會(huì)看到這個(gè)操作打開一個(gè)瀏覽器。

觀察網(wǎng)頁(yè)本身

為了方便演示，我們使用新浪的移動(dòng)版進(jìn)行登錄。如果想決定如何操作一個(gè)網(wǎng)頁(yè)，首先我們要觀察網(wǎng)頁(yè)本身。

右鍵登錄的地方并審查元素，你會(huì)發(fā)現(xiàn)用戶名和密碼其實(shí)是簡(jiǎn)單的輸入框，而登錄按鈕是一個(gè)鏈接而已。

因此我們簡(jiǎn)單規(guī)劃之后要做的事情：

1. 輸入用戶名和密碼
2. 點(diǎn)擊登錄按鈕（或摁回車）

利用 Selenium 進(jìn)行登錄操作

打開網(wǎng)頁(yè)

Selenium 提供了方法的get方法用以獲取網(wǎng)頁(yè)：

driver.get('https://passport.weibo.cn/signin/login')如果你使用 Firefox 或 Chrome，你會(huì)看到這個(gè)操作打開微博手機(jī)版的登錄頁(yè)面。

定位元素

由網(wǎng)頁(yè)本身的結(jié)構(gòu)我們發(fā)現(xiàn)，這兩個(gè)輸入框和登錄鏈接元素的id屬性都是頁(yè)面中獨(dú)一無(wú)二的，我們便可以利用這一特點(diǎn)尋找到元素本身。

name_field = driver.find_element_by_id('loginName') # 用戶名輸入框password_field = driver.find_element_by_id('loginPassword') # 密碼輸入框submit_button = driver.find_element_by_id('loginAction') # 登錄鍵輸入內(nèi)容

Selenium 提供了為元素輸入的方法 send_keys()，直接調(diào)用這一方法就可以把內(nèi)容輸入到網(wǎng)頁(yè)中的輸入框內(nèi)：

name_field.send_keys('你的用戶名')password_field.send_keys('你的密碼')如果你使用 Firefox 或 Chrome ，你會(huì)看到頁(yè)面中的兩個(gè)輸入框被填入你在程序中輸入的文字。

點(diǎn)擊按鈕的方法也很簡(jiǎn)單，如果你已經(jīng)獲取了元素，只要使用click()方法：

submit_button.click() # 單擊元素如果你需要使用回車鍵，可以使用send_keys()來(lái)發(fā)送回車（Keys.RETURN），我在這里不展開描述。

如果你擔(dān)心兩個(gè)輸入框在你輸入前就已經(jīng)有了其他內(nèi)容而影響操作，你可以使用clear()方法，并且我在這里也更加推薦這樣的做法：

name_field.clear() # 清除用戶名區(qū)域name_field.send_keys('你的用戶名')password_field.clear() # 清除密碼區(qū)域password_field.send_keys('你的密碼')獲取 Cookies

從 WebDriver 獲取 Cookies 只需要一個(gè)操作 get_cookies()：

driver.get_cookies()它是一個(gè)字典文件的列表，每一個(gè)字典文件是一個(gè) Cookie。如果你們要在其他 WebDriver 或?yàn)g覽器中使用這組 Cookies ，使用一個(gè)循環(huán)來(lái)給 WebDriver 利用add_cookie方法添加是比較標(biāo)準(zhǔn)的方法：

for cookie in driver.get_cookies(): another_driver.add_cookie(cookie)等待網(wǎng)頁(yè)載入

如果你僅僅執(zhí)行上述代碼，你會(huì)發(fā)現(xiàn)如果你的網(wǎng)速不夠快，或是電腦不夠好，就非常容易在元素出現(xiàn)前就進(jìn)行操作，然后出現(xiàn)無(wú)法找到元素或是元素不可見等錯(cuò)誤，我們可以通過(guò)等待一段時(shí)間來(lái)解決這個(gè)問(wèn)題：

import time# 在獲取網(wǎng)頁(yè)后time.sleep(2) # 等待2秒這種做法比較簡(jiǎn)單，但也十分粗暴：因?yàn)槟銦o(wú)法確定2秒時(shí)間足夠讓網(wǎng)頁(yè)加載完成。每次打開網(wǎng)頁(yè)的時(shí)間受限于許多因素，你可能很難用一個(gè)固定的時(shí)間來(lái)決定。而 Selenium 本身也提供了一些好用的方法：

from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC# 在獲取網(wǎng)頁(yè)后WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, 'loginName'))) # 等待 id 為 loginName的元素出現(xiàn)，最多20秒

結(jié)語(yǔ)

如何登錄網(wǎng)站對(duì)于收集數(shù)據(jù)的人而言是個(gè)不大不小的問(wèn)題。通過(guò)使用 Selenium，我們幾乎可以通過(guò)各種方法模擬瀏覽器的操作，而且這種方法是只要瀏覽器存在就可以使用的。我相信如何觀察網(wǎng)頁(yè)的結(jié)構(gòu)以及利用是非常有用的技能。




完整代碼

import timefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECdriver = webdriver.PhantomJS()driver.get('https://passport.weibo.cn/signin/login')WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, 'loginName')))time.sleep(1)name_field = driver.find_element_by_id('loginName')name_field.clear()name_field.send_keys('你的賬號(hào)')password_field = driver.find_element_by_id('loginPassword')password_field.clear()password_field.send_keys('你的密碼')submit_button = driver.find_element_by_id('loginAction')submit_button.click()print(driver.get_cookies())