大型分布式網站建設要注意哪些事項

2019-05-06

20300000009075132256038660438.jpg

大型分布式網站建設要結合以下的(de)方面進行:

1,大型分布式網站架構技術

大型網站的(de)特點

    大型網站一(yī)般有如(rú)下特點:
    用戶多,分布廣泛,大流量,高(gāo)并, 海量數據,服務高(gāo)可(kě)用,安全環境惡劣,易受網絡攻擊
    功能多,變更快,頻繁發布,從小到大,漸進發展, 以用戶為(wèi)中心,免費服務,付費體驗
2,大型網站架構目标

大型網站的(de)架構目标有如(rú)下幾個:

    高(gāo)性能:提供快速的(de)訪問體驗。高(gāo)可(kě)用:網站服務一(yī)直可(kě)以正常訪問。
    可(kě)伸縮:通過硬件增加/減少,提高(gāo)/降低(dī)處理(lǐ)能力。 擴展性:方便地(dì)通過新增/移除方式,增加/減少新的(de)功能/模塊。 安全性:提供網站安全訪問和(hé)數據加密、安全存儲等策略。

敏捷性:随需應變,快速響應。

3,大型網站架構模式

大型網站的(de)架構模式:

    分層:一(yī)般可(kě)分為(wèi)應用層、服務層、數據層、管理(lǐ)層與分析層。
    分割:一(yī)般按照業務/模塊/功能特點進行劃分,比如(rú)應用層分為(wèi)首頁、用戶中心。
    分布式:将應用分開部署(比如(rú)多台物理(lǐ)機),通過遠程調用協同工作。
    集群:一(yī)個應用/模塊/功能部署多份(如(rú):多台物理(lǐ)機),通過負載均衡共同提供對外訪問。
    緩存:将數據放在距離(lí)應用或用戶最近的(de)位置,加快訪問速度。
    異步:将同步的(de)操作異步化。客戶端發出請求,不等待服務端響應,等服務端處理(lǐ)完畢後,使用通知或輪詢的(de)方式告知請求方。一(yī)般指:請求——響應——通知模式。
    冗餘:增加副本,提高(gāo)可(kě)用性、安全性與性能。
    安全:對已知問題有有效的(de)解決方案,對未知/潛在問題建立發現和(hé)防禦機制。
    自(zì)動化:将重複的(de)、不需要人工參與的(de)事情,通過工具的(de)方式,使用機器完成。
    敏捷性:積極接受需求變更,快速響應業務發展需求。

4,高(gāo)性能架構

高(gāo)性能的(de)架構是以用戶為(wèi)中心,提供快速的(de)網頁訪問體驗,主要參數有較短(duǎn)的(de)響應時間、較大的(de)并發處理(lǐ)能力、較高(gāo)的(de)吞吐量與穩定的(de)性能參數。

可(kě)分為(wèi)前端優化、浏覽器優化、應用層優化、代碼層優化與存儲層優化:

    前端優化:網站業務邏輯之前的(de)部分。
    浏覽器優化:減少 HTTP 請求數,使用浏覽器緩存,啓用壓縮,CSS JS 位置,JS 異步,減少 Cookie 傳輸;CDN 加速,反向代理(lǐ)。
    應用層優化:處理(lǐ)網站業務的(de)服務器。使用緩存,異步,集群。
    代碼優化:合理(lǐ)的(de)架構,多線程,資源複用(對象池,線程池等),良好的(de)數據結構,JVM調優,單例,Cache 等。
    存儲優化:緩存、固态硬盤、光纖傳輸、優化讀寫、磁盤冗餘、分布式存儲(HDFS)、NoSQL 等。

5,高(gāo)可(kě)用架構

大型網站應該在任何時候都可(kě)以正常訪問,正常提供對外服務。因為(wèi)大型網站的(de)複雜性,分布式,廉價服務器,開源數據庫,操作系統等特點,要保證高(gāo)可(kě)用是很困難的(de),也就是說網站的(de)故障是不可(kě)避免的(de)。

如(rú)何提高(gāo)可(kě)用性,就是需要迫切解決的(de)問題。首先,需要從架構級别考慮,在規劃的(de)時候,就考慮可(kě)用性。

行業內(nèi)一(yī)般用幾個 9 表示可(kě)用性指标,比如(rú)四個 9(99.99),一(yī)年(nián)內(nèi)允許的(de)不可(kě)用時間是 53 分鍾。

不同層級使用的(de)策略不同,一(yī)般采用冗餘備份和(hé)失效轉移解決高(gāo)可(kě)用問題:

    應用層:一(yī)般設計為(wèi)無狀态的(de),對于每次請求,使用哪一(yī)台服務器處理(lǐ)是沒有影響的(de)。一(yī)般使用負載均衡技術(需要解決 Session 同步問題)實現高(gāo)可(kě)用。
    服務層:負載均衡,分級管理(lǐ),快速失敗(超時設置),異步調用,服務降級,幂等設計等。
    數據層:冗餘備份(冷,熱備[同步,異步],溫備),失效轉移(确認,轉移,恢複)。數據高(gāo)可(kě)用方面著名的(de)理(lǐ)論基礎是 CAP 理(lǐ)論。(持久性,可(kě)用性,數據一(yī)緻性[強一(yī)緻,用戶一(yī)緻,最終一(yī)緻])

6,可(kě)伸縮架構

伸縮性是指在不改變原有架構設計的(de)基礎上,通過添加/減少硬件(服務器)的(de)方式,提高(gāo)/降低(dī)系統的(de)處理(lǐ)能力:

    應用層:對應用進行垂直或水平切分。然後針對單一(yī)功能進行負載均衡(DNS、HTTP[反向代理(lǐ)]、IP、鏈路層)。
    服務層:與應用層類似。
    數據層:分庫、分表、NoSQL 等;常用算法 Hash,一(yī)緻性 Hash。

7,可(kě)擴展架構

可(kě)以方便地(dì)進行功能模塊的(de)新增/移除,提供代碼/模塊級别良好的(de)可(kě)擴展性:

    模塊化,組件化:高(gāo)內(nèi)聚,低(dī)耦合,提高(gāo)複用性,擴展性。
    穩定接口:定義穩定的(de)接口,在接口不變的(de)情況下,內(nèi)部結構可(kě)以“随意”變化。
    設計模式:應用面向對象思想,原則,使用設計模式,進行代碼層面的(de)設計。
    消息隊列:模塊化的(de)系統,通過消息隊列進行交互,使模塊之間的(de)依賴解耦。
    分布式服務:公用模塊服務化,提供其他系統使用,提高(gāo)可(kě)重用性,擴展性。

8,安全架構

對已知問題有有效的(de)解決方案,對未知/潛在問題建立發現和(hé)防禦機制。對于安全問題,首先要提高(gāo)安全意識,建立一(yī)個安全的(de)有效機制,從政策層面,組織層面進行保障。

比如(rú)服務器密碼不能洩露,密碼每月更新,并且三次內(nèi)不能重複;每周安全掃描等。

以制度化的(de)方式,加強安全體系的(de)建設。同時,需要注意與安全有關的(de)各個環節。

安全問題不容忽視(shì),包括基礎設施安全,應用系統安全,數據保密安全等:

    基礎設施安全:硬件采購,操作系統,網絡環境方面的(de)安全。一(yī)般采用正規渠道(dào)購買高(gāo)質量的(de)産品,選擇安全的(de)操作系統,及時修補漏洞,安裝殺毒軟件防火牆。

防範病毒,後門。設置防火牆策略,建立 DDOS 防禦系統,使用攻擊檢測系統,進行子(zǐ)網隔離(lí)等手段。

    應用系統安全:在程序開發時,對已知常用問題,使用正确的(de)方式,在代碼層面解決掉。


防止跨站腳本攻擊(XSS),注入攻擊,跨站請求僞造(CSRF),錯誤信息,HTML 注釋,文件上傳,路徑遍曆等。

還可(kě)以使用 Web 應用防火牆(比如(rú):ModSecurity),進行安全漏洞掃描等措施,加強應用級别的(de)安全。

    數據保密安全:存儲安全(存儲在可(kě)靠的(de)設備,實時,定時備份),保存安全(重要的(de)信息加密保存,選擇合适的(de)人員複雜保存和(hé)檢測等),傳輸安全(防止數據竊取和(hé)數據篡改)。

常用的(de)加解密算法(單項散列加密[MD5、SHA],對稱加密[DES、3DES、RC]),非對稱加密[RSA]等。

9,敏捷性

網站的(de)架構設計,運維管理(lǐ)要适應變化,提供高(gāo)伸縮性,高(gāo)擴展性。方便的(de)應對快速的(de)業務發展,突增高(gāo)流量訪問等要求。

除上面介紹的(de)架構要素外,還需要引入敏捷管理(lǐ),敏捷開發的(de)思想。使業務,産品,技術,運維統一(yī)起來,随需應變,快速響應。


責任編輯:中山網站建設
 【網訊網絡】國(guó)家高(gāo)新技術企業》十年(nián)專注軟件開發,網站建設,網頁設計,APP開發,小程序,微信公衆号開發,定制各類企業管理(lǐ)軟件(OA、CRM、ERP、訂單管理(lǐ)系統、進銷存管理(lǐ)軟件等)!服務熱線:0760-88610046、13924923903,http://www.wansion.net


您的(de)項目需求咨詢熱線:0760-88610046(國(guó)家高(gāo)新技術企業)

*請認真填寫需求,我們會在24小時內(nèi)與您取得聯系。