利用 Minikube 快速測試部署 Kubeflow v0.5
- 本文介紹如何在 Minikube 上運行 Kubeflow v0.5 基本安裝步驟
- Minikube 會透過虛擬機(VM)運行簡單的單節點 Kubernetes 叢集
- 文章最後,你將擁有 Minikube 單節點kubernetes 叢集安裝以及Kubeflow的所有默認核心 Components
- 最後能夠訪問 kubeflow UIs 包含
Jupyter Notebook
、katib
、pipeline
Jupyter Notebook
、katib
、pipeline
Kubeflow 專案致力於使 ML Workflow 發展更具簡易性、可攜帶性和規模性。 Kubeflow於2017年底正式開源,並於2018年5月發布了首個0.1版本,至今 kubeflow 各項目發展迅速,而我參與 2018 KubeCon Shanghai
聆聽好幾場來自 各大企業與 Google等議程,分享 Kubeflow 導入企業實際應用情境,深刻感受到 kubeflow 在開源社區與貢獻者中重視度,在快速發展下至於1月宣布 Kubeflow 0.4 穩定版本正式發佈。
#此篇主要記錄操作 kubflow v0.4.1 部署與更新概述。
本篇文章將說明實作官網 [kubeflow/Job Scheduling],所介紹的如何使用 gang-scheduling
更換原 kubeflow 預設 scheduler 機制。文章教學介紹透過使用kube-batch以支持 kubeflow 透過gang-scheduling
排程方式,來同時允許多個Pod執行解決deadlock
問題。
tf-operator 實現 gang-scheduler 已經從
PDB
轉換為PodGroups
已更新於文章
請參考 Kube-batch-tutorial 介紹 or volcano
先前文章參考:透過 Microk8s 快速部署 Kubeflow
此篇想重新介紹透過 microk8s,近期剛好看到Using GPGPUs with Kubernetes這邊文章介紹,想起之前在實驗kubeflow時候有於Mac上執行過Microk8s,這次重新測試於單機 Linux 環境並測試相關 Addons 與GPU環境中實驗。
此篇主要分享參與KubeCon China2018會後心得,剛好透過社群分享再次的回顧自己聆聽議程與參與國際會議論壇的體悟。
Kubeflow 是由 Google 與相關公司共同發起的開源專案,其目標是利用 Kubernetes 容器平台來簡化機器學習的建置與執行過程,使之更簡單、可重複的攜帶性與可擴展,並提供一套標準的雲原生(Cloud Native)機器學習解決方案,以幫助演算法科學家專注在模型開發本身,而由於 Kubeflow 以 Kubernetes 做基礎,因此只要有 Kubernetes 地方就能夠快速部署並執行。
此文章將記錄透過安裝 Microk8s ,在本地機器上輕鬆部署 kubernetes 集群,並且透過運行腳本讓 kubeflow 環境一起部署完成。最後您將擁有簡易的單節點 Kubernetes 集群以及在 Pod 中部署為服務的 Kubeflow 的所有默認核心組件。並且能訪問 JupyterHub 筆記本和 Kubeflow Dashboard,進行相關測試。