登入  |  English
感謝您對「自由軟體鑄造場」的支持與愛護,十多年來「自由軟體鑄造場」受中央研究院支持,並在資訊科學研究所以及資訊科技創新研究中心執行,現已完成階段性的任務。 原網站預計持續維運至 2021年底,網站內容基本上不會再更動。本網站由 Denny Huang 備份封存。
也紀念我們永遠的朋友 李士傑先生(Shih-Chieh Ilya Li)。
源碼新聞 Netflix 釋出 Genie for Hadoop 源碼

Netflix 釋出 Genie for Hadoop 源碼

電影串流公司 Netflix 釋出了 Hadoop 工作與資源管理系統 Genie 的源碼。Genie 的開發是為了協助 Netflix 管理,該公司在 Amazon Web Services 雲端上採用多種不同組態的 Hadoop 叢集。終端用戶能夠使用 Genie 向執行服務提交工作,讓 Genie 將該工作匹配到適合的 Hadoop 叢集,管理者則透過 Genie 瀏覽已註冊的 Hadoop 叢集,並檢視各叢集對應的組態設定。除此之外,Genie 並不處理工作流排程、工作排程,或是配置與延展 Hadoop 叢集等資源管理工作。

典型的使用案例是以儲存在 Amazon S3 服務的組態,來設定 Hadoop 叢集。管理者可以使用 Genie 用戶端,將有關該叢集的 ID、名稱與其他屬性告知 Genie 服務,一旦註冊之後,終端用戶即可指定工作類型、命令列參數、檔案相依性,將工作要求送至 Genie。他們也可以透過 ID、名稱或屬性,指定使用何種 Hadoop 叢集,Genie 將依此選擇適合的叢集。

這套新的管理系統是以 Netflix 開發且釋出的一系列 Hadoop 工具為基礎。其中 Karyon 負責網路服務的啓動與生命週期管理,Eureka 為 Genie 提供了服務註冊與查找,同時也運用到動態屬性系統 Archaius,以及監管介面 Servo。最後則靠 Ribbon 將這些中介服務整合在一起。

Netflix 將其開發釋出作為開放源碼,視為一項原則要點,並以 Apache 2.0 授權,透過 Netflix 開放源碼中心 (Netflix Open Source Center) 來提供。Genie 的源碼可在 Netflix 的 GitHub 源碼庫取得。儘管已經在 Netflix 生產環境中運行數月之久,其開發者表示開發仍在進行中,目前還處於版本 0 的階段。


原文網址:

  1. Netflix 釋出 Genie for Hadoop 源碼
    https://www.h-online.com/open/news/item/Netflix-releases-open-source-Genie-for-Hadoop-1896158.html


您也許有興趣閱讀以下文章:




自由軟體鑄造場電子報 : 第 222 期 Sphinx - 用 reStructuredText 寫網站與書

分類: 源碼新聞