美高梅开户-美高梅官方网站开户

您的位置:美高梅开户 > 美高梅官方网站开户 > 3安装部署jewel版本Ceph集群实战演练,Ceph快速部署

3安装部署jewel版本Ceph集群实战演练,Ceph快速部署

发布时间:2019-10-30 20:39编辑:美高梅官方网站开户浏览(88)

    Ceph介绍

    一、环境准备

    Ceph是统一存储系统,支持三种接口。

    安装CentOS7.3虚拟机三台

    Object:有原生的API,而且也兼容Swift和S3的API

    由于官网源与网盘下载速度都非常的慢,所以给大家提供了国内的搜狐镜像源:

    Block:支持精简配置、快照、克隆

    在三台装好的虚拟机上分别加三块100G的硬盘。如图所示:

    File:Posix接口,支持快照

    图片 1

    Ceph也是分布式存储系统,它的特点是:

    3.配置ip

    高扩展性:使用普通x86服务器,支持10~1000台服务器,支持TB到PB级的扩展。

    ceph-1 ceph-2 ceph-3
    192.168.42.200 192.168.42.201 192.168.42.203

    高可靠性:没有单点故障,多数据副本,自动管理,自动修复。

    修改可参照下面的配置文件即可
    [root@localhost ~ ]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
    TYPE=Ethernet
    BOOTPROTO=none
    DEFROUTE=yes
    PEERDNS=yes
    PEERROUTES=yes
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.42.200
    GATEWAY=192.168.42.2
    NETMASK=255.255.255.0
    DNS1=8.8.8.8
    DNS2=8.8.4.4
     
    [root@localhost ~ ]# systemctl restart network

    高性能:数据分布均衡,并行化度高。对于objects storage和block storage,不需要元数据服务器。

    4.修改yum源,官网的yum源可能会很慢,所以可以添加ali的

    Ceph架构

    [root@localhost ~ ]# yum clean all
    [root@localhost ~ ]# curl >/etc/yum.repos.d/CentOS-Base.repo
    [root@localhost ~ ]# curl >/etc/yum.repos.d/epel.repo
    [root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
    [root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
    [root@localhost ~ ]# yum makecache

    组件

    5.修改主机名和安装一些软件

    图片 2

    [root@localhost ~ ]#

    Ceph的底层是RADOS,它的意思是“A reliable, autonomous, distributed object storage”。 RADOS由两个组件组成:

    6.最后的工作,将各个主机的IP加入各自的/etc/hosts中
    [root@localhost ~ ]# vim /etc/hosts
    127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.42.200  ceph-1
    192.168.42.201  ceph-2
    192.168.42.202  ceph-3

    OSD: Object Storage Device,提供存储资源。

    7.重启服务器环境生效。

    Monitor:维护整个Ceph集群的全局状态。

    二、集群搭建

    环境:三台装有CentOS 7的 主机,每个主机有三个磁盘(虚拟机磁盘要大于100G)

    1.集群配置如下:

    [root@mon-1 cluster]# cat /etc/RedHat-release
    CentOS Linux release 7.2.1511 (Core)
    [root@mon-1 cluster]# lsblk
    NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
    fd0              2:0    1    4K  0 disk
    sda              8:0    0  20G  0 disk
    ├─sda1            8:1    0  500M  0 part /boot
    └─sda2            8:2    0 19.5G  0 part
      ├─centos-root 253:0    0 18.5G  0 lvm  /
      └─centos-swap 253:1    0    1G  0 lvm  [SWAP]
    sdb              8:16  0  200G  0 disk
    sdc              8:32  0  200G  0 disk
    sdd              8:48  0  200G  0 disk
    sr0              11:0    1  603M  0 rom

    主机 IP 功能
    ceph-1 192.168.42.200 deploy、mon*1、osd*3
    ceph-2 192.168.42.201 mon*1、 osd*3
    ceph-3 192.168.42.202 mon*1 、osd*3

    修改主机名并添加hosts

    2.环境清理

    vim /etc/hostname    #由于7和6.5修改主机名的方法不一样,这里举个例子
    mon-1
    [root@osd-1 ceph-osd-1]# cat /etc/hosts
    192.168.50.123  mon-1
    192.168.50.124  osd-1
    192.168.50.125  osd-2

    如果之前部署失败了,不必删除ceph客户端,或者重新搭建虚拟机,只需要在每个节点上执行如下指令即可将环境清理至刚安装完ceph客户端时的状态!强烈建议在旧集群上搭建之前清理干净环境,否则会发生各种异常情况。
    [root@ceph-1 cluster]# ps aux|grep ceph |awk '{print $2}'|xargs kill -9
    [root@ceph-1 cluster]# ps aux|grep ceph    #确保所有进程已经结束
    ps -ef|grep ceph
    #确保此时所有ceph进程都已经关闭!!!如果没有关闭,多执行几次。
    umount /var/lib/ceph/osd/*
    rm -rf /var/lib/ceph/osd/*
    rm -rf /var/lib/ceph/mon/*
    rm -rf /var/lib/ceph/mds/*
    rm -rf /var/lib/ceph/bootstrap-mds/*
    rm -rf /var/lib/ceph/bootstrap-osd/*
    rm -rf /var/lib/ceph/bootstrap-rgw/*
    rm -rf /var/lib/ceph/tmp/*
    rm -rf /etc/ceph/*
    rm -rf /var/run/ceph/*

    配置ssh无密码登陆

    3.yum源及ceph的安装
    需要在每个主机上执行以下指令
    yum clean all
    rm -rf /etc/yum.repos.d/*.repo
    wget -O /etc/yum.repos.d/CentOS-Base.repo
    wget -O /etc/yum.repos.d/epel.repo
    sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
    sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
    sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo

    [root@localhost ~]# ssh-keygen  -t rsa -P ''
    Generating public/private rsa key pair.
    Enter file in which to save the key (/root/.ssh/id_rsa):
    Your identification has been saved in /root/.ssh/id_rsa.
    Your public key has been saved in /root/.ssh/id_rsa.pub.
    The key fingerprint is:
    62:b0:4c:aa:e5:37:92:89:4d:db:c3:38:e2:f1:2a:d6 root@admin-node
    The key's randomart image is:
    --[ RSA 2048]----
    |                |
    |                |
    |    o            |
    |  o          |
    |  o o S        |
    | B B . .        |
    | .@ *            |
    |oooE o          |
    |oo..            |
    -----------------
    ssh-copy-id mon-1
    ssh-copy-id osd-1
    ssh-copy-id osd-2

    4.增加ceph的源
    vim /etc/yum.repos.d/ceph.repo
    添加以下内容:
    [ceph]
    name=ceph
    baseurl=
    gpgcheck=0
    [ceph-noarch]
    name=cephnoarch
    baseurl=
    gpgcheck=0

    2.集群配置

    5.安装ceph客户端:

    主机IP功能

    yum makecache
    yum install ceph ceph-radosgw rdate -y
    关闭selinux&firewalld
    sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
    setenforce 0
    systemctl stop firewalld 
    systemctl disable firewalld
    同步各个节点时间:
    yum -y install rdate
    rdate -s time-a.nist.gov
    echo rdate -s time-a.nist.gov >> /etc/rc.d/rc.local
    chmod x /etc/rc.d/rc.local

    图片 3

    6.开始部署

    3.环境清理

    在部署节点(ceph-1)安装ceph-deploy,下文的部署节点统一指ceph-1:
    [root@ceph-1 ~]# yum -y install ceph-deploy
    [root@ceph-1 ~]# ceph-deploy --version
    1.5.34
    [root@ceph-1 ~]# ceph -v
    ceph version 10.2.2 (45107e21c568dd033c2f0a3107dec8f0b0e58374)

    如果之前部署失败了,不必删除ceph客户端,或者重新搭建虚拟机,只需要在每个节点上执行如下指令即可将环境清理至刚安装完ceph客户端时的状态!强烈建议在旧集群上搭建之前清理干净环境,否则会发生各种异常情况。

    7.在部署节点创建部署目录并开始部署:

    ps aux|grep ceph |awk '{print $2}'|xargs kill -9
    ps -ef|grep ceph
    #确保此时所有ceph进程都已经关闭!!!如果没有关闭,多执行几次。
    umount /var/lib/ceph/osd/*
    rm -rf /var/lib/ceph/osd/*
    rm -rf /var/lib/ceph/mon/*
    rm -rf /var/lib/ceph/mds/*
    rm -rf /var/lib/ceph/bootstrap-mds/*
    rm -rf /var/lib/ceph/bootstrap-osd/*
    rm -rf /var/lib/ceph/bootstrap-mon/*
    rm -rf /var/lib/ceph/tmp/*
    rm -rf /etc/ceph/*
    rm -rf /var/run/ceph/*

    [root@ceph-1 ~]# cd
    [root@ceph-1 ~]# mkdir cluster
    [root@ceph-1 ~]# cd cluster/
    [root@ceph-1 cluster]# ceph-deploy new ceph-1 ceph-2 ceph-3

    安装部署流程

    如果之前没有ssh-copy-id到各个节点,则需要输入一下密码,过程log如下:

    yum源及ceph的安装

    [ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
    [ceph_deploy.cli][INFO  ] Invoked (1.5.34): /usr/bin/ceph-deploy new ceph-1 ceph-2 ceph-3
    [ceph_deploy.cli][INFO  ] ceph-deploy options:
    [ceph_deploy.cli][INFO  ]  username                      : None
    [ceph_deploy.cli][INFO  ]  func                          : <function new at 0x7f91781f96e0>
    [ceph_deploy.cli][INFO  ]  verbose                      : False
    [ceph_deploy.cli][INFO  ]  overwrite_conf                : False
    [ceph_deploy.cli][INFO  ]  quiet                        : False
    [ceph_deploy.cli][INFO  ]  cd_conf                      : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f917755ca28>
    [ceph_deploy.cli][INFO  ]  cluster                      : ceph
    [ceph_deploy.cli][INFO  ]  ssh_copykey                  : True
    [ceph_deploy.cli][INFO  ]  mon                          : ['ceph-1', 'ceph-2', 'ceph-3']
    ..
    ..
    ceph_deploy.new][WARNIN] could not connect via SSH
    [ceph_deploy.new][INFO  ] will connect again with password prompt
    The authenticity of host 'ceph-2 (192.168.57.223)' can't be established.
    ECDSA key fingerprint is ef:e2:3e:38:fa:47:f4:61:b7:4d:d3:24:de:d4:7a:54.
    Are you sure you want to continue connecting (yes/no)? yes
    Warning: Permanently added 'ceph-2,192.168.57.223' (ECDSA) to the list of known hosts.
    root
    root@ceph-2's password: 
    [ceph-2][DEBUG ] connected to host: ceph-2

    需要在每个主机上执行以下命令

    ..
    ..
    [ceph_deploy.new][DEBUG ] Resolving host ceph-3
    [ceph_deploy.new][DEBUG ] Monitor ceph-3 at 192.168.57.224
    [ceph_deploy.new][DEBUG ] Monitor initial members are ['ceph-1', 'ceph-2', 'ceph-3']
    [ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.57.222', '192.168.57.223', '192.168.57.224']
    [ceph_deploy.new][DEBUG ] Creating a random mon key...
    [ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring...
    [ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf...

    本文由美高梅开户发布于美高梅官方网站开户,转载请注明出处:3安装部署jewel版本Ceph集群实战演练,Ceph快速部署

    关键词: 美高梅开户

上一篇:Linux下批量替换文件中的字符

下一篇:没有了