站長資訊網
        最全最豐富的資訊網站

        介紹一下什么是Apache Flink

        介紹一下什么是Apache Flink

        Apache Flink介紹:

        Apache Flink 是一個框架和分布式處理引擎,用于在無邊界和有邊界數據流上進行有狀態的計算。Flink 能在所有常見集群環境中運行,并能以內存速度和任意規模進行計算。

        (推薦教程:apache)

        接下來,我們來介紹一下 Flink 架構中的重要方面。

        處理無界和有界數據

        任何類型的數據都可以形成一種事件流。信用卡交易、傳感器測量、機器日志、網站或移動應用程序上的用戶交互記錄,所有這些數據都形成一種流。

        數據可以被作為 無界 或者 有界 流來處理。

        1.無界流 有定義流的開始,但沒有定義流的結束。它們會無休止地產生數據。無界流的數據必須持續處理,即數據被攝取后需要立刻處理。我們不能等到所有數據都到達再處理,因為輸入是無限的,在任何時候輸入都不會完成。處理無界數據通常要求以特定順序攝取事件,例如事件發生的順序,以便能夠推斷結果的完整性。

        2.有界流 有定義流的開始,也有定義流的結束。有界流可以在攝取所有數據后再進行計算。有界流所有數據可以被排序,所以并不需要有序攝取。有界流處理通常被稱為批處理。

        介紹一下什么是Apache Flink

        Apache Flink 擅長處理無界和有界數據集 精確的時間控制和狀態化使得 Flink 的運行時(runtime)能夠運行任何處理無界流的應用。有界流則由一些專為固定大小數據集特殊設計的算法和數據結構進行內部處理,產生了出色的性能。

        通過探索 Flink 之上構建的 用例 來加深理解。

        部署應用到任意地方

        Apache Flink 是一個分布式系統,它需要計算資源來執行應用程序。Flink 集成了所有常見的集群資源管理器,例如 Hadoop YARN、 Apache Mesos 和 Kubernetes,但同時也可以作為獨立集群運行。

        Flink 被設計為能夠很好地工作在上述每個資源管理器中,這是通過資源管理器特定(resource-manager-specific)的部署模式實現的。Flink 可以采用與當前資源管理器相適應的方式進行交互。

        部署 Flink 應用程序時,Flink 會根據應用程序配置的并行性自動標識所需的資源,并從資源管理器請求這些資源。在發生故障的情況下,Flink 通過請求新資源來替換發生故障的容器。提交或控制應用程序的所有通信都是通過 REST 調用進行的,這可以簡化 Flink 與各種環境中的集成。

        運行任意規模應用

        Flink 旨在任意規模上運行有狀態流式應用。因此,應用程序被并行化為可能數千個任務,這些任務分布在集群中并發執行。所以應用程序能夠充分利用無盡的 CPU、內存、磁盤和網絡 IO。而且 Flink 很容易維護非常大的應用程序狀態。其異步和增量的檢查點算法對處理延遲產生最小的影響,同時保證精確一次狀態的一致性。

        Flink 用戶報告了其生產環境中一些令人印象深刻的擴展性數字

        處理每天處理數萬億的事件,應用維護幾TB大小的狀態, 和應用在數千個內核上運行。

        利用內存性能

        有狀態的 Flink 程序針對本地狀態訪問進行了優化。任務的狀態始終保留在內存中,如果狀態大小超過可用內存,則會保存在能高效訪問的磁盤數據結構中。任務通過訪問本地(通常在內存中)狀態來進行所有的計算,從而產生非常低的處理延遲。Flink 通過定期和異步地對本地狀態進行持久化存儲來保證故障場景下精確一次的狀態一致性。

        介紹一下什么是Apache Flink

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 国产乱人伦偷精品视频 | 99精品国产成人一区二区| 久久99精品免费一区二区| 九九99精品久久久久久| 午夜精品久久久久久久| 久久性精品| 精品人妻人人做人人爽| 久久久久亚洲精品天堂久久久久久| 国产精品久久久久久久久鸭| 日韩精品真人荷官无码| 欧美日韩精品一区二区视频 | 日韩一区二区精品观看| 97国产视频精品| 成人精品视频在线观看| 久久精品中文无码资源站| 日本精品自产拍在线观看中文 | 亚洲国产婷婷综合在线精品| 国产精品粉嫩美女在线观看| 久久国产成人精品麻豆| 99热门精品一区二区三区无码| 人妻少妇精品无码专区二区| 一级做a爰黑人又硬又粗免费看51社区国产精品视 | 国产精品久久国产精品99盘| 久久国产精品99国产精| 欧产日产国产精品精品| 无码精品国产VA在线观看DVD| 一区二区国产精品 | 精品久久久久久亚洲精品| 熟妇人妻VA精品中文字幕| 中文字幕在线精品视频入口一区 | 久久99精品久久久久久秒播| 国产精品午夜福利在线无码| 国产精品第1页| 国产亚洲精品精品国产亚洲综合 | 久久99精品久久久久子伦| 精品欧洲av无码一区二区| 久久亚洲私人国产精品vA| 久久精品无码午夜福利理论片| 亚洲av成人无码久久精品| 嫖妓丰满肥熟妇在线精品| 久久国产亚洲精品无码|