最近在为VisionStack产品开发容器服务,提起容器服务就不得不考虑kubernetes项目(简称k8s),当今主流开源的容器编排框架,因此就想搭建一个k8s环境调研下它的功能、使用、相关概念等内容,在搭建环境过程中,首先是参考官网文档提到的minikube工具,用它来进行测试环境的搭建,结果折腾了一下午,也没有成功,遇到的最大问题是国内的防火墙屏蔽了google相关网站的访问,而k8s是google主推的,大部分资源都在google服务器上(如环境部署过程中用到的各种docker镜像都需要从gcr.io上下载,这个是google云提供的docker镜像库网站),如果镜像都无法下载,那肯定环境也就无法搭建成功了。而另外一个工具kubeadm,由于比较复杂,另外估计很可能也会遇到类似问题,也就没有尝试。
正准备放弃的时候,发了个朋友圈吐槽这个事情,正好有朋友也遇到过这个问题,他推荐了另外一个工具:kubeasz,专门针对国内网络环境开发的k8s安装部署工具。下面的安装部署过程就是基于它来完成的,并且是一次成功,对搭建开发测试环境来说非常简单易用,因此这里强烈推荐下(这个故事告诉我们,朋友圈真的是万能的)。下面的安装过程也主要是参考它给的官方文档,略有删减。
项目地址:https://github.com/gjmzj/kubeasz
项目用途:使用Ansible脚本安装K8S集群,介绍组件交互原理,方便直接,不受国内网络环境影响。
快速指南
以下为快速体验k8s集群的测试、开发环境all-in-one部署,国内环境下觉得比官方的minikube方便、简单很多。
1.基础系统配置
- 推荐内存2G/硬盘20G以上
- 最小化安装
Ubuntu 16.04 server
或者CentOS 7 Minimal
- 配置基础网络、更新源、SSH登陆等
2.安装依赖工具
我实验过程中使用的是CentOS 7.2系统。
Ubuntu 16.04 请执行以下脚本:
1 2 3 4 5 6 |
# 文档中脚本默认均以root用户执行 apt-get update; apt-get upgrade -y; apt-get dist-upgrade -y # 安装依赖工具 apt-get install python2.7 git python-pip # Ubuntu16.04可能需要配置以下软连接 ln -s /usr/bin/python2.7 /usr/bin/python |
CentOS 7 请执行以下脚本:
1 2 3 4 5 6 |
# 文档中脚本默认均以root用户执行 # 安装 epel 源并更新 yum install epel-release -y yum update # 安装依赖工具 yum install git python python-pip -y |
3.ansible安装及准备
1 2 3 4 5 6 7 8 |
# 安装ansible (国内如果安装太慢可以直接用pip阿里云加速) #pip install pip --upgrade #pip install ansible pip install pip --upgrade -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pip install --no-cache-dir ansible -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com # 配置ansible ssh密钥登陆 ssh-keygen -t rsa -b 2048 回车 回车 回车 ssh-copy-id $IP #$IP为本虚机地址,按照提示输入yes 和root密码 |
4.安装kubernetes集群
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
git clone https://github.com/gjmzj/kubeasz.git mkdir -p /etc/ansible mv kubeasz/* /etc/ansible # 下载已打包好的binaries,解压到/etc/ansible/bin目录 # 国内请从分享的百度云链接下载 https://pan.baidu.com/s/1c4RFaA # 如果你有合适网络环境也可以按照/down/download.sh自行从官网下载各种tar包到 ./down目录,并执行download.sh tar zxvf k8s.193.tar.gz(我实验时下载的是k8s.1100.tar.gz) mv bin/* /etc/ansible/bin # 配置ansible的hosts文件 cd /etc/ansible cp example/hosts.allinone.example hosts # 然后根据实际情况修改此hosts文件,所有节点改成本虚机IP # 开始集群安装,如果你对集群安装流程不熟悉,请阅读分步安装讲解后一步一步安装,并对每步都进行验证 # 分步安装 ansible-playbook 01.prepare.yml ansible-playbook 02.etcd.yml ansible-playbook 03.docker.yml ansible-playbook 04.kube-master.yml ansible-playbook 05.kube-node.yml ansible-playbook 06.network.yml # 一步安装 #ansible-playbook 90.setup.yml |
如果执行成功,k8s集群就安装好了。详细分步讲解请查看项目目录 /docs
下相关文档
5.验证安装
1 2 3 4 5 6 7 |
# 如果提示kubectl: command not found,退出重新ssh登陆一下,环境变量生效即可 kubectl version kubectl get componentstatus # 可以看到scheduler/controller-manager/etcd等组件 Healthy kubectl cluster-info # 可以看到kubernetes master(apiserver)组件 running kubectl get node # 可以看到单 node Ready状态 kubectl get pod --all-namespaces # 可以查看所有集群pod状态 kubectl get svc --all-namespaces # 可以查看所有集群服务状态 |
6.安装主要组件
1 2 3 4 5 6 |
# 安装kubedns kubectl create -f /etc/ansible/manifests/kubedns # 安装heapster kubectl create -f /etc/ansible/manifests/heapster # 安装dashboard kubectl create -f /etc/ansible/manifests/dashboard |
7.dashboard安装及登录
- 登陆
dashboard
可以查看和管理集群,更多内容请查阅dashboard文档 - 本文档基于 dashboard 1.8.3版本,k8s版本v1.10.0。
7.1部署dashboard
如果之前已按照本项目部署dashboard1.6.3,先删除旧版本:kubectl delete -f /etc/ansible/manifests/dashboard/1.6.3/
1.8.3配置文件参考官方文档
- 增加了通过
api-server
方式访问dashboard - 增加了
NodePort
方式暴露服务,这样集群外部可以使用https://NodeIP:NodePort
(注意是https不是http,区别于1.6.3版本) 直接访问 dashboard,生产环境建议关闭该访问途径。
安装部署
1 2 3 4 5 |
# 部署dashboard 主yaml配置文件 $ kubectl create -f /etc/ansible/manifests/dashboard/kubernetes-dashboard.yaml # 部署基本密码认证配置[可选],密码文件位于 /etc/kubernetes/ssl/basic-auth.csv $ kubectl create -f /etc/ansible/manifests/dashboard/ui-admin-rbac.yaml $ kubectl create -f /etc/ansible/manifests/dashboard/ui-read-rbac.yaml |
7.2验证部署结果
1 2 3 4 5 6 7 8 9 10 11 |
# 查看pod 运行状态 kubectl get pod -n kube-system | grep dashboard kubernetes-dashboard-7c74685c48-9qdpn 1/1 Running 0 22s # 查看dashboard service kubectl get svc -n kube-system|grep dashboard kubernetes-dashboard NodePort 10.68.219.38 <none> 443:24108/TCP 53s # 查看集群服务 kubectl cluster-info|grep dashboard kubernetes-dashboard is running at https://10.0.90.22:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy # 查看pod 运行日志,关注有没有错误 kubectl logs kubernetes-dashboard-7c74685c48-9qdpn -n kube-system |
7.3登录dashboard
1 2 3 4 |
# 创建Service Account 和 ClusterRoleBinding $ kubectl create -f /etc/ansible/manifests/dashboard/admin-user-sa-rbac.yaml # 获取 Bearer Token,找到输出中 ‘token:’ 开头那一行 $ kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') |
访问 https://x.x.x.x:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
(该URL具体使用kubectl cluster-info|grep dashboard
查看) ,先使用admin、test1234账号密码通过http认证,之后选择令牌方式登录,令牌通过命令行kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')
获取(token:那行),复制冒号后的全部字符并粘贴到dashboard‘输入令牌’处即可。admin登陆拥有所有权限,比如删除某个部署;使用 readonly登陆只有查看权限,尝试删除某个部署会提示错误 forbidden: User \"readonly\" cannot delete services/proxy in the namespace \"kube-system\"
8.清理集群
以上步骤创建的K8S开发测试环境请尽情折腾,碰到错误尽量通过查看日志、上网搜索、提交issues
等方式解决;当然如果是彻底奔溃了,可以清理集群后重新创建。
一步清理:ansible-playbook 99.clean.yml
总结
上述流程大部分都是由工具自动完成的,并且所需要的资源也已经全部下载到本地,因此安装过程其实很快,如果你也有类似需求,可以试试这个工具。