2020 年度總結
2020 年真的是變化多端的一年,今年也是有滿滿的收穫,期許自己一年比一年更精彩,訂下目標持續前進。
此篇介紹 Singularity fakeroot 功能(又稱為 rootless mode)透過利用 namespace UID/GID 映射,允許無特權的使用者以 “fake root “的權限進行操作容器環境。
簡單來說如果當前使用者,要進行容器內環境組件安裝與操作檔案權限,大多數需要 sudo 的操作,這邊可以直接透過 --fakeroot
參數獲得容器內權限以進行操作。
Singularity 是 Greg Kurtzer
在 Lawrence Berkley National 實驗室時,他特別針對大規模、跨節點 HPC 應用和 Deep Leaning 工作負載所開發出的容器化技術,而現在是由他的公司 Sylabs 持續對於可用性與安全性做更進一步的開發,也推出針對企業級版本 Singulairty PRO。Singularity 與其他標準容器格式(OCI)兼容,部署容易並能與所有現有應用和 HPC 基礎架構結合使用,包括資源管理、並行檔案系統、MPI、GPU、InfiniBand 和 FPGA 等。
2019年,終於從研究生的身份畢業,並正式踏入職場的一個階段,過程還服役補充兵,今年因角色轉換,經歷更不一樣的歷程自己也有階段性的成長,期許自己一年比一年更精彩,訂下新年目標持續前進。
此篇文章用來紀錄,服役補充兵的心得,役期共 12 天,內容主要提到當兵過程接觸到事物與經歷的心得。
什麼是 補充兵參考兵役法說明
本篇將介紹透過 OpenShift Ansible 來快速部署 RedHat OpenShift 社區版本 OKD (The Origin Community Distribution of Kubernetes)
的 release-3.11
版本,此篇文章主要是用來筆記學習裸機機器(Bare-metal Server)部署過程與環境架構。
共同編輯: Hank Lin - 靠著13%技術與87%嘴砲
Jupyter Notebook
、katib
、pipeline
Kubeflow 專案致力於使 ML Workflow 發展更具簡易性、可攜帶性和規模性。 Kubeflow於2017年底正式開源,並於2018年5月發布了首個0.1版本,至今 kubeflow 各項目發展迅速,而我參與 2018 KubeCon Shanghai
聆聽好幾場來自 各大企業與 Google等議程,分享 Kubeflow 導入企業實際應用情境,深刻感受到 kubeflow 在開源社區與貢獻者中重視度,在快速發展下至於1月宣布 Kubeflow 0.4 穩定版本正式發佈。
#此篇主要記錄操作 kubflow v0.4.1 部署與更新概述。
Portainer 是一個輕量級的 UI 管理界面,可輕鬆管理 Docker 主機或 Swarm 叢集,配置遠端管理會使用到Docker API,而預設都會開啟沒有安全保護的 port 2375
產生連線漏洞,而我們就會需要配置TLS認證憑證,以確保連線安全,此篇會說明如何針對新增Endpoints主機
配置加入TLS加密。
本篇文章將說明實作官網 [kubeflow/Job Scheduling],所介紹的如何使用 gang-scheduling
更換原 kubeflow 預設 scheduler 機制。文章教學介紹透過使用kube-batch以支持 kubeflow 透過gang-scheduling
排程方式,來同時允許多個Pod執行解決deadlock
問題。
tf-operator 實現 gang-scheduler 已經從
PDB
轉換為PodGroups
已更新於文章
請參考 Kube-batch-tutorial 介紹 or volcano