使用kubeasz快速搭建k8s集群all-in-one开发测试环境




最近在为VisionStack产品开发容器服务,提起容器服务就不得不考虑kubernetes项目(简称k8s),当今主流开源的容器编排框架,因此就想搭建一个k8s环境调研下它的功能、使用、相关概念等内容,在搭建环境过程中,首先是参考官网文档提到的minikube工具,用它来进行测试环境的搭建,结果折腾了一下午,也没有成功,遇到的最大问题是国内的防火墙屏蔽了google相关网站的访问,而k8s是google主推的,大部分资源都在google服务器上(如环境部署过程中用到的各种docker镜像都需要从gcr.io上下载,这个是google云提供的docker镜像库网站),如果镜像都无法下载,那肯定环境也就无法搭建成功了。而另外一个工具kubeadm,由于比较复杂,另外估计很可能也会遇到类似问题,也就没有尝试。

正准备放弃的时候,发了个朋友圈吐槽这个事情,正好有朋友也遇到过这个问题,他推荐了另外一个工具:kubeasz,专门针对国内网络环境开发的k8s安装部署工具。下面的安装部署过程就是基于它来完成的,并且是一次成功,对搭建开发测试环境来说非常简单易用,因此这里强烈推荐下(这个故事告诉我们,朋友圈真的是万能的)。下面的安装过程也主要是参考它给的官方文档,略有删减。

项目地址:https://github.com/gjmzj/kubeasz

项目用途:使用Ansible脚本安装K8S集群,介绍组件交互原理,方便直接,不受国内网络环境影响。

快速指南

以下为快速体验k8s集群的测试、开发环境all-in-one部署,国内环境下觉得比官方的minikube方便、简单很多。

1.基础系统配置

  • 推荐内存2G/硬盘20G以上
  • 最小化安装Ubuntu 16.04 server或者CentOS 7 Minimal
  • 配置基础网络、更新源、SSH登陆等

2.安装依赖工具

我实验过程中使用的是CentOS 7.2系统。

Ubuntu 16.04 请执行以下脚本:

# 文档中脚本默认均以root用户执行
apt-get update; apt-get upgrade -y; apt-get dist-upgrade -y
# 安装依赖工具
apt-get install python2.7 git python-pip
# Ubuntu16.04可能需要配置以下软连接
ln -s /usr/bin/python2.7 /usr/bin/python

CentOS 7 请执行以下脚本:

# 文档中脚本默认均以root用户执行
# 安装 epel 源并更新
yum install epel-release -y
yum update
# 安装依赖工具
yum install git python python-pip -y

3.ansible安装及准备

# 安装ansible (国内如果安装太慢可以直接用pip阿里云加速)
#pip install pip --upgrade
#pip install ansible
pip install pip --upgrade -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install --no-cache-dir ansible -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
# 配置ansible ssh密钥登陆
ssh-keygen -t rsa -b 2048 回车 回车 回车
ssh-copy-id $IP #$IP为本虚机地址,按照提示输入yes 和root密码

4.安装kubernetes集群

git clone https://github.com/gjmzj/kubeasz.git
mkdir -p /etc/ansible
mv kubeasz/* /etc/ansible
# 下载已打包好的binaries,解压到/etc/ansible/bin目录
# 国内请从分享的百度云链接下载 https://pan.baidu.com/s/1c4RFaA
# 如果你有合适网络环境也可以按照/down/download.sh自行从官网下载各种tar包到 ./down目录,并执行download.sh
tar zxvf k8s.193.tar.gz(我实验时下载的是k8s.1100.tar.gz)
mv bin/* /etc/ansible/bin
# 配置ansible的hosts文件
cd /etc/ansible
cp example/hosts.allinone.example hosts # 然后根据实际情况修改此hosts文件,所有节点改成本虚机IP
# 开始集群安装,如果你对集群安装流程不熟悉,请阅读分步安装讲解后一步一步安装,并对每步都进行验证
# 分步安装
ansible-playbook 01.prepare.yml
ansible-playbook 02.etcd.yml
ansible-playbook 03.docker.yml
ansible-playbook 04.kube-master.yml
ansible-playbook 05.kube-node.yml
ansible-playbook 06.network.yml
# 一步安装
#ansible-playbook 90.setup.yml

如果执行成功,k8s集群就安装好了。详细分步讲解请查看项目目录 /docs 下相关文档

5.验证安装

# 如果提示kubectl: command not found,退出重新ssh登陆一下,环境变量生效即可
kubectl version
kubectl get componentstatus # 可以看到scheduler/controller-manager/etcd等组件 Healthy
kubectl cluster-info # 可以看到kubernetes master(apiserver)组件 running
kubectl get node # 可以看到单 node Ready状态
kubectl get pod --all-namespaces # 可以查看所有集群pod状态
kubectl get svc --all-namespaces # 可以查看所有集群服务状态

6.安装主要组件

# 安装kubedns
kubectl create -f /etc/ansible/manifests/kubedns
# 安装heapster
kubectl create -f /etc/ansible/manifests/heapster
# 安装dashboard
kubectl create -f /etc/ansible/manifests/dashboard

7.dashboard安装及登录

  • 登陆 dashboard可以查看和管理集群,更多内容请查阅dashboard文档
  • 本文档基于 dashboard 1.8.3版本,k8s版本v1.10.0。

7.1部署dashboard

如果之前已按照本项目部署dashboard1.6.3,先删除旧版本:kubectl delete -f /etc/ansible/manifests/dashboard/1.6.3/

1.8.3配置文件参考官方文档

  • 增加了通过api-server方式访问dashboard
  • 增加了NodePort方式暴露服务,这样集群外部可以使用 https://NodeIP:NodePort (注意是https不是http,区别于1.6.3版本) 直接访问 dashboard,生产环境建议关闭该访问途径。

安装部署

# 部署dashboard 主yaml配置文件
$ kubectl create -f /etc/ansible/manifests/dashboard/kubernetes-dashboard.yaml
# 部署基本密码认证配置[可选],密码文件位于 /etc/kubernetes/ssl/basic-auth.csv
$ kubectl create -f /etc/ansible/manifests/dashboard/ui-admin-rbac.yaml
$ kubectl create -f /etc/ansible/manifests/dashboard/ui-read-rbac.yaml

7.2验证部署结果

# 查看pod 运行状态
kubectl get pod -n kube-system | grep dashboard
kubernetes-dashboard-7c74685c48-9qdpn   1/1       Running   0          22s
# 查看dashboard service
kubectl get svc -n kube-system|grep dashboard
kubernetes-dashboard   NodePort    10.68.219.38   <none>        443:24108/TCP                   53s
# 查看集群服务
kubectl cluster-info|grep dashboard
kubernetes-dashboard is running at https://10.0.90.22:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
# 查看pod 运行日志,关注有没有错误
kubectl logs kubernetes-dashboard-7c74685c48-9qdpn -n kube-system

7.3登录dashboard

# 创建Service Account 和 ClusterRoleBinding
$ kubectl create -f /etc/ansible/manifests/dashboard/admin-user-sa-rbac.yaml
# 获取 Bearer Token,找到输出中 ‘token:’ 开头那一行
$ kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')

访问 https://x.x.x.x:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy (该URL具体使用kubectl cluster-info|grep dashboard查看) ,先使用admin、test1234账号密码通过http认证,之后选择令牌方式登录,令牌通过命令行kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')获取(token:那行),复制冒号后的全部字符并粘贴到dashboard‘输入令牌’处即可。admin登陆拥有所有权限,比如删除某个部署;使用 readonly登陆只有查看权限,尝试删除某个部署会提示错误 forbidden: User \"readonly\" cannot delete services/proxy in the namespace \"kube-system\"

8.清理集群

以上步骤创建的K8S开发测试环境请尽情折腾,碰到错误尽量通过查看日志、上网搜索、提交issues等方式解决;当然如果是彻底奔溃了,可以清理集群后重新创建。

一步清理:ansible-playbook 99.clean.yml

总结

上述流程大部分都是由工具自动完成的,并且所需要的资源也已经全部下载到本地,因此安装过程其实很快,如果你也有类似需求,可以试试这个工具。

参考资料