2020 年度總結

2020 年度總結

2020 年真的是變化多端的一年,今年也是有滿滿的收穫,期許自己一年比一年更精彩,訂下目標持續前進。

繼續閱讀
Singularity 啟用 Fakeroot

Singularity 啟用 Fakeroot

此篇介紹 Singularity fakeroot 功能(又稱為 rootless mode)透過利用 namespace UID/GID 映射,允許無特權的使用者以 “fake root “的權限進行操作容器環境。

簡單來說如果當前使用者,要進行容器內環境組件安裝與操作檔案權限,大多數需要 sudo 的操作,這邊可以直接透過 --fakeroot 參數獲得容器內權限以進行操作。

繼續閱讀
Singularity 基礎介紹

Singularity 基礎介紹

Singularity 是 Greg Kurtzer 在 Lawrence Berkley National 實驗室時,他特別針對大規模、跨節點 HPC 應用和 Deep Leaning 工作負載所開發出的容器化技術,而現在是由他的公司 Sylabs 持續對於可用性與安全性做更進一步的開發,也推出針對企業級版本 Singulairty PRO。Singularity 與其他標準容器格式(OCI)兼容,部署容易並能與所有現有應用和 HPC 基礎架構結合使用,包括資源管理、並行檔案系統、MPI、GPU、InfiniBand 和 FPGA 等。

繼續閱讀
2019 年度總結

2019 年度總結

2019年,終於從研究生的身份畢業,並正式踏入職場的一個階段,過程還服役補充兵,今年因角色轉換,經歷更不一樣的歷程自己也有階段性的成長,期許自己一年比一年更精彩,訂下新年目標持續前進。

繼續閱讀
中坑精南 補充兵 12 日心得
透過 Ansible 快速部署 OpenShift 3.11(OKD) 叢集
利用 Minikube 快速測試部署 Kubeflow v0.5

利用 Minikube 快速測試部署 Kubeflow v0.5

  • 本文介紹如何在 Minikube 上運行 Kubeflow v0.5 基本安裝步驟
  • Minikube 會透過虛擬機(VM)運行簡單的單節點 Kubernetes 叢集
  • 文章最後,你將擁有 Minikube 單節點kubernetes 叢集安裝以及Kubeflow的所有默認核心 Components
  • 最後能夠訪問 kubeflow UIs 包含 Jupyter Notebookkatibpipeline
繼續閱讀
Kubeflow v0.4.x 部署與概述

Kubeflow v0.4.x 部署與概述

Kubeflow 專案致力於使 ML Workflow 發展更具簡易性、可攜帶性和規模性。 Kubeflow於2017年底正式開源,並於2018年5月發布了首個0.1版本,至今 kubeflow 各項目發展迅速,而我參與 2018 KubeCon Shanghai 聆聽好幾場來自 各大企業與 Google等議程,分享 Kubeflow 導入企業實際應用情境,深刻感受到 kubeflow 在開源社區與貢獻者中重視度,在快速發展下至於1月宣布 Kubeflow 0.4 穩定版本正式發佈。

#此篇主要記錄操作 kubflow v0.4.1 部署與更新概述。

繼續閱讀
Portainer 透過 TLS 認證

Portainer 透過 TLS 認證

Portainer 是一個輕量級的 UI 管理界面,可輕鬆管理 Docker 主機或 Swarm 叢集,配置遠端管理會使用到Docker API,而預設都會開啟沒有安全保護的 port 2375 產生連線漏洞,而我們就會需要配置TLS認證憑證,以確保連線安全,此篇會說明如何針對新增Endpoints主機配置加入TLS加密。

繼續閱讀
如何更換 Kubeflow 預設 Scheduling

如何更換 Kubeflow 預設 Scheduling

本篇文章將說明實作官網 [kubeflow/Job Scheduling],所介紹的如何使用 gang-scheduling 更換原 kubeflow 預設 scheduler 機制。文章教學介紹透過使用kube-batch以支持 kubeflow 透過gang-scheduling排程方式,來同時允許多個Pod執行解決deadlock問題。

tf-operator 實現 gang-scheduler 已經從 PDB 轉換為 PodGroups已更新於文章
請參考 Kube-batch-tutorial 介紹 or volcano

繼續閱讀