很早的時候就有個搭建小說網(wǎng)站的想法,沒有會員,沒有彈窗,沒有廣告,能夠簡簡單單看看小說?,F(xiàn)在看來有不少的優(yōu)秀小說網(wǎng)站系統(tǒng),可以滿足快速搭建,快速爬取文章的效果;多方比較后,選擇了比較小" />
如何搭建一個簡單的小說網(wǎng)站
時間:2023-08-15 02:54:01 | 來源:網(wǎng)站運營
時間:2023-08-15 02:54:01 來源:網(wǎng)站運營
如何搭建一個簡單的小說網(wǎng)站:
導(dǎo)語:很早的時候就有個搭建小說網(wǎng)站的想法,沒有會員,沒有彈窗,沒有廣告,能夠簡簡單單看看小說?,F(xiàn)在看來有不少的優(yōu)秀小說網(wǎng)站系統(tǒng),可以滿足快速搭建,快速爬取文章的效果;多方比較后,選擇了比較小眾的易讀小說系統(tǒng),既能快速的搭建網(wǎng)站,又有自帶的爬取引擎,非常適合剛接觸小說網(wǎng)站搭建的人來練手。
小說網(wǎng)站組成1.主體框架,開源和非開源
2.文章獲取,自動爬取和手動填充
3.組織結(jié)構(gòu),管理員和普通讀者
4.運營體系,是否有廣告,是否有會員,是否有閱讀限制,是否有版權(quán)問題
易讀小說系統(tǒng)易讀小說(
https://www.51yd.org/)是國內(nèi)的神秘大牛開發(fā)的,簡單方便,適用于Windows系統(tǒng)和Linux系統(tǒng),還提供了爬取的正則表達式的規(guī)則(
http://rules.51yd.org/),更加靈活爬取其他的小說站點。
搭建和使用搭建使用建議最好使用Centos系統(tǒng),作者提供了一套自動化搭建的部署腳本。
安裝具體操作如下:
1.進入安裝目錄
2.下載一件自動化部署安裝包,然后解壓
unzip YiDuInstaller-V1.x.xBeta.zip
3.進入解壓好的目錄,賦予install.sh腳本執(zhí)行權(quán)限,
chmod +x install.sh
4.最后執(zhí)行
sh install.sh
等待安裝完畢
使用方式:
1.網(wǎng)站是Java開發(fā),Tomcat作為應(yīng)用,端口是8080,程序使用管理方式
service tomcat restart
2.網(wǎng)站是由Apache作為Web反向代理,配置文件是/etc/httpd/conf.d/proxy_ajp.conf,一般很少變更
service httpd restart
文章爬取易讀小說系統(tǒng)提供了自己的一套爬取引擎,默認(rèn)路徑是在/usr/local/spider/里面,啟動非常簡單./start.sh,但是文章爬取規(guī)則就比較復(fù)雜了。以下是自己的使用心得:
1.盡量選擇一些更新穩(wěn)定的網(wǎng)站。(最后發(fā)現(xiàn)筆趣閣之類的都是一個模板套路出來的)
2.規(guī)則的使用的變量就是正則表達式的匹配出來的結(jié)果。
3.通過
http://rules.51yd.org/網(wǎng)站模擬出來的結(jié)果,換算成真正使用的xml文件。
以找尋小說編號的變量為實例:
我想爬取
http://www.800txt.net的小說編號,那就去找最新更新的小說編號,因為爬取過來的時候想要的也是最新的,所以一般網(wǎng)站要么在首頁有更新的列表,要么就在單獨的更新列表。確認(rèn)好了列表頁面后,就要獲得小說的編號變量,<span class=”s2″><a href=”
http://www.800txt.net/book_(/d+)/”中的”(/d+)”就是編號變量,前面的一大串其實就是在匹配最好的獲取內(nèi)容。同理所有下面的變量都是要自己去網(wǎng)站找尋最好的匹配結(jié)果。
總結(jié)小說網(wǎng)站的搭建初衷并非是為了商業(yè)運營,只是想體驗技術(shù)帶來的新感受,所以請在爬取其他正規(guī)網(wǎng)站的內(nèi)容同時,請注意小說網(wǎng)站和小說作者的權(quán)益!
如何搭建一個簡單的小說網(wǎng)站