站長資訊網近日，由網易和中國工商銀行聯合發起的云原生日志系統Loggie項目(github.com/loggie-io/loggie/)正式開源。這是網易數帆向云原生日志痛點發起的一次沖鋒，也是團隊聯合合作伙伴踐行“架構開放，內核開源”技術理念、把控制權交給客戶的又一行動。
Loggie項目：破解云原生日志之痛
企業數字化轉型浪潮中，采用云原生技術解決數字化軟件研發、運維新挑戰已成主流選擇，然而在云原生環境下，容器大規模及頻繁動態遷移、日志存儲多樣性、Kubernetes元信息查詢等特點，迫使日志管理方式發生變化。隨著業務實踐的深入，日志方面存在的人肉運維越來越多、功能開發難以擴展和難以支撐更大規模等問題逐漸浮出水面，業界既有的開源方案未能滿足需求，比如：
• 性能不達標，或者擴展功能開發效率低，未達到很好的平衡
• 對容器化場景支持有限
• 大部分開源項目均未提供一套完整的日志解決方案
在此背景下，面向云原生場景的Loggie應運而生。Loggie是一個基于Golang的輕量級、高性能、云原生日志采集Agent和中轉處理Aggregator，支持多Pipeline和組件熱插拔，提供了：
• 一棧式日志解決方案：同時支持日志中轉、過濾、解析、切分、日志報警等
• 云原生的日志形態：快速便捷的容器日志采集方式，原生的Kubernetes CRD動態配置下發
• 生產級的特性：基于長期的大規模運維經驗，形成了全方位的可觀測性、快速排障、異常預警、自動化運維能力
結合網易數帆長期的業務實踐，Loggie形成了如下幾大特點：
• 可擴展、熱插拔：配置不同的Source/Interceptor/Sink，擁有中轉、過濾、解析、切分、日志報警等能力，可使用Golang快速自研插件
• 強隔離：多Pipeline設計，減少互相干擾，可同時發送多個不同數據源
• 輕量級、高性能：基于Golang，極少的資源占用，強大的吞吐性能
• 可靠性保障：完善的日志可觀測性，原生Prometheus metrics支持，還有限流等Interceptor
• 云原生：配置中心集成Kubernetes，創建CRD實例即可采集容器日志
同時，基于Loggie的流式數據傳輸設計，我們可以靈活的使用Loggie的Pipeline。從使用形態上可劃分為：
• Agent 形態：每個節點一個或者每個Pod一個，用于采集日志或者其他數據
• Aggregator 形態：用于中轉、轉發和處理，可獨立部署成集群
可以應用在：
• 數據采集：采集容器日志、節點日志，采集Prometheus metrics、Kubernetes Events等
• 數據中轉：作為中轉機去做數據的聚合、轉發、分流
• 數據處理：進行流式數據的切分、轉換、處理
• 日志報警：進行異常日志的檢測與報警
…
此外，利用Loggie的設計，用戶也可以快速開發一個Source、Sink或Interceptor組件，復用Loggie的能力，避免大量重復的開發工作，比如：
• 在Kubernetes集群中可方便、直接的使用CRD下發配置，并且支持自動reload、支持指定Loggie集群，無需考慮部署、配置更新等問題
• 依賴Loggie提供傳輸過程的穩定性和可靠性，保證at-least-once和重試機制，避免數據丟失，以及數據量過多或過大造成的隱患
• 使用Loggie提供的一系列監控指標，比如隊列長度、傳輸延遲、發送QPS等，可快速接入Prometheus，同時還可使用一些系統內置的快速排障的接口與能力
• 使用可插拔的Interceptor可用于自定義的數據處理、格式轉換等，避免過多的定制化代碼開發
Loggie生態：攜手伙伴強化系統能力
Loggie萌芽于網易嚴選業務的實際需求，成長于嚴選與數帆的長期共建，持續發展于網易數帆與網易新聞、中國工商銀行的緊密協作。廣泛的生態，使得項目能夠基于業務需求不斷完善、成熟。
在Loggie之前，網易嚴選采用的是開源的日志解決方案。由于業務同時存在虛擬機、物理機、容器等多種日志采集場景，需要應對相當于平峰期10倍+的大促流量，嚴選在采集性能、資源隔離、可觀測性、異常發現及自動化運維等方面都遇到了非常大的痛點。因此，2019年，嚴選與數帆開始共建面向云原生的全新日志系統Loggie。
網易數帆輕舟產品總經理陳諤表示：
Loggie是我們云原生實踐的一項重要成果，項目遵循云原生社區標準構建，同時兼容傳統技術架構，融合工商銀行等不同行業應用場景的經驗，企業采用Loggie能夠統一日志管理，為云原生應用平滑落地保駕護航。Loggie的成熟得益于網易數帆與業務共建，我們相信開源將使得項目能夠適應更多行業場景，豐富開源技術生態，促進云原生技術發展。
網易高級技術專家、嚴選中臺負責人王國云表示：
Loggie已經在網易嚴選的混合生產環境中經過了2年多的充分驗證。現在，在集團的大力支持下，我們將Loggie開源，一方面，希望可以填補社區在一站式日志解決方案上的空白，幫助到更多遇到同類問題的企業;另一方面，也希望可以借助社區的力量，使Loggie項目不斷壯大，獲得更持續更健康的發展。
后續，嚴選將基于自身業務場景及在云原生實踐方面的技術積累，持續參與Loggie項目的開發與管理工作，也期待有更多志同道合的伙伴參與進來。
中國工商銀行已經建成同業規模最大的企業級云平臺，核心應用100%入云，容器集群超100個，運行容器超30萬個。工商銀行2017年開始建設企業級日志中心，日志中心實現對應用各類日志收集、清洗、格式化及存儲，支撐用戶檢索、下載，日均日志容量達45TB;基于標準化日志數據打造輕量級運營服務，快速有效支持業務交易率、耗時等基礎運營指標的實時獲取，同時還提供移動端、前臺等便捷的用戶視圖。
工商銀行軟件開發中心云計算實驗室主任王鑫表示：
在社區貢獻方面，工商銀行作為Loggie項目參與單位，結合日志平臺建設經驗，并在采集目標發現、日志攔截處理、組件自監控等核心模塊進行深度定制開發。后續，工商銀行將持續參與Loggie社區的工作，計劃在日志輸出擴展、流式處理等模塊繼續深入研究，反哺開源社區。
Loggie未來：滿足可觀測性更多需求
Loggie已經廣泛應用于網易內部、中國工商銀行以及網易輕舟眾多的商業客戶環境中。在網易嚴選業務的實測中，Loggie消耗的CPU僅為之前方案的1/4，同時發送吞吐量為后者的1.6～2.6倍，并且在多Pipeline采集下甚至達到了200MB/s+極限吞吐量。
Loggie開源發布之后，網易數帆開源的自研云原生項目已達6個，還包括云原生軟件定義存儲系統Curve、多租戶可視化Kubernetes管理平臺KubeCube、云原生運維診斷系統KubeDiag、高性能云原生API網關Hango、智能網格管理器Slime等。陳諤此前曾表示：網易數帆在云原生領域的一系列開源工作，旨在為客戶引入云原生技術棧提供便利，通過企業級增強基礎組件的開源，幫助客戶解決云原生基礎設施的管控、維護、穩定性等問題。
Loggie的開源，意味著網易數帆在云原生開源版圖的可觀測性領域也落下重子，形成了更加完善的布局。
未來，Loggie將提供更多組件與功能擴展，推出輕量級的流式處理能力，不斷解決云原生日志的更多痛點，滿足可觀測性方向的更多需求。對該領域感興趣的朋友，歡迎了解Loggie項目，共同參與建設Loggie社區!
了解更多
Loggie項目地址：https://github.com/loggie-io/loggie/
Loggie項目文檔：https://loggie-io.github.io/docs/
數帆自主開源總覽：https://sf.163.com/opensource
特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。
