Kubeflow v0.4.x 部署與概述

Kubeflow v0.4.x 部署與概述

Kubeflow 專案致力於使 ML Workflow 發展更具簡易性、可攜帶性和規模性。 Kubeflow於2017年底正式開源,並於2018年5月發布了首個0.1版本,至今 kubeflow 各項目發展迅速,而我參與 2018 KubeCon Shanghai 聆聽好幾場來自 各大企業與 Google等議程,分享 Kubeflow 導入企業實際應用情境,深刻感受到 kubeflow 在開源社區與貢獻者中重視度,在快速發展下至於1月宣布 Kubeflow 0.4 穩定版本正式發佈。

#此篇主要記錄操作 kubflow v0.4.1 部署與更新概述。

繼續閱讀
如何更換 Kubeflow 預設 Scheduling

如何更換 Kubeflow 預設 Scheduling

本篇文章將說明實作官網 [kubeflow/Job Scheduling],所介紹的如何使用 gang-scheduling 更換原 kubeflow 預設 scheduler 機制。文章教學介紹透過使用kube-batch以支持 kubeflow 透過gang-scheduling排程方式,來同時允許多個Pod執行解決deadlock問題。

tf-operator 實現 gang-scheduler 已經從 PDB 轉換為 PodGroups已更新於文章
請參考 Kube-batch-tutorial 介紹 or volcano

繼續閱讀
透過microk8s更輕巧建立單節點kubernetes叢集(含GPU測試)
人生首場 KubeCon&CloudNativeCon China 2018
如何透過 Ansible Playbooks 部屬 Kubernetes+GPU 叢集
快速部署 Kubeflow v0.3 容器機器學習平台

快速部署 Kubeflow v0.3 容器機器學習平台

Kubeflow 是由 Google 與相關公司共同發起的開源專案,其目標是利用 Kubernetes 容器平台來簡化機器學習的建置與執行過程,使之更簡單、可重複的攜帶性與可擴展,並提供一套標準的雲原生(Cloud Native)機器學習解決方案,以幫助演算法科學家專注在模型開發本身,而由於 Kubeflow 以 Kubernetes 做基礎,因此只要有 Kubernetes 地方就能夠快速部署並執行。

繼續閱讀
透過 Microk8s 快速部署 Kubeflow

透過 Microk8s 快速部署 Kubeflow

此文章將記錄透過安裝 Microk8s ,在本地機器上輕鬆部署 kubernetes 集群,並且透過運行腳本讓 kubeflow 環境一起部署完成。最後您將擁有簡易的單節點 Kubernetes 集群以及在 Pod 中部署為服務的 Kubeflow 的所有默認核心組件。並且能訪問 JupyterHub 筆記本和 Kubeflow Dashboard,進行相關測試。

繼續閱讀