TiDB安装部署

TiDB安装部署

1. 环境准备

软件版本

Centos7.8

TiDB v4.0.0社区版

TiUP 离线部署 TiDB 集群

文档地址:https://pingcap.com/docs-cn/stable/hardware-and-software-requirements/

主机列表

主机 IP 角色 说明
tidb-01 192.168.1.51 TiDB server,TiKV,中控机 2C4G/系统盘16G/数据盘32GB
tidb-02 192.168.1.52 TiDB server,TiKV,monitor,grafana,alertmanager 2C4G/系统盘16G/数据盘32GB
tidb-03 192.168.1.53 TiDB server,TiKV,tiflash 2C4G/系统盘16G/数据盘32GB
tidb-04 192.168.1.54 PD,cdc 2C4G/系统盘16G/数据盘32GB
tidb-05 192.168.1.55 PD,cdc 2C4G/系统盘16G/数据盘32GB
tidb-06 192.168.1.56 PD,cdc 2C4G/系统盘16G/数据盘32GB

注意：在这个配置下，几十万数据时，虚拟机的负载已经非常高了，建议使用更高配置的机器

2. 主机初始化

初始化每台机器(这里使用虚拟机，做好一台机器后复制)

  1. 关闭防火墙
    systemctl stop firewalld.service && systemctl disable firewalld.service

  2. 关闭SELINUX
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

  3. 设置时间同步

    1
    2
    3
    yum -y install ntpdate
    crontab -e
    */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

  4. 设置固定IP

    1
    2
    3
    4
    5
    6
    7
    vi /etc/sysconfig/network-scripts/ifcfg-ens192

    BOOTPROTO="static"
    DNS1=114.114.114.114
    IPADDR=192.168.1.51
    NETMASK=255.255.255.0
    GATEWAY=192.168.1.1

  5. 设置主机名

    1
    2
    3
    4
    5
    6
    hostnamectl set-hostname tidb-01
    hostnamectl set-hostname tidb-02
    hostnamectl set-hostname tidb-03
    hostnamectl set-hostname tidb-04
    hostnamectl set-hostname tidb-05
    hostnamectl set-hostname tidb-06

  6. 初始化数据盘

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    查看数据盘
    fdisk -l
    Disk /dev/sdb: 34.4 GB, 34359738368 bytes, 67108864 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes

    创建分区表
    parted -s -a optimal /dev/sdb mklabel gpt -- mkpart primary ext4 1 -1

    格式化文件系统
    mkfs.ext4 /dev/sdb

    查看数据盘分区 UUID
    lsblk -f
    sdb    ext4         d311ad89-13a6-4da9-8e38-20374a9bb65a

    ​

编辑 /etc/fstab 文件，添加 nodelalloc 挂载参数
vi /etc/fstab
新增
UUID=d311ad89-13a6-4da9-8e38-20374a9bb65a /data ext4 defaults,nodelalloc,noatime 0 2

挂载数据盘
mkdir /data
mount -a

执行以下命令，如果文件系统为 ext4，并且挂载参数中包含 nodelalloc，则表示已生效。
mount -t ext4
/dev/sdb on /data type ext4 (rw,noatime,seclabel,nodelalloc,data=ordered)

1
2
3
4

​       

7. 创建tidb用户

使用root
useradd tidb && echo “123456” | passwd –stdin tidb

将用户加入sudo
visudo
尾部新增
tidb ALL=(ALL) NOPASSWD: ALL

1
2
3
4
5
6
7
8

   

**注:**这里测试，我复制了6台虚拟机

## 3. 安装部署

1. 设置免密登录

所有机器执行
su - tidb
ssh-keygen

中控机中使用tidb执行
ssh-copy-id tidb@192.168.1.51
ssh-copy-id tidb@192.168.1.52
ssh-copy-id tidb@192.168.1.53
ssh-copy-id tidb@192.168.1.54
ssh-copy-id tidb@192.168.1.55
ssh-copy-id tidb@192.168.1.56

1
2
3
4

   

2. 安装 TiUP 组件

中控机中使用tidb用户

上传离线安装包
tidb-community-server-v4.0.0-linux-amd64.tar.gz

解压并安装TiUP组件
tar zxvf tidb-community-server-v4.0.0-linux-amd64.tar.gz
cd tidb-community-server-v4.0.0-linux-amd64

sh local_install.sh
source /home/tidb/.bash_profile

– 输出结果
Set mirror to /home/tidb/tidb-community-server-v4.0.0-linux-amd64 success
Detected shell: bash
Shell profile: /home/tidb/.bash_profile
/home/tidb/.bash_profile has been modified to to add tiup to PATH
open a new terminal or source /home/tidb/.bash_profile to use it

Installed path: /home/tidb/.tiup/bin/tiup

  1. source /home/tidb/.bash_profile

  2. Have a try: tiup playground

    1
    2
    3
    4

       

    3. 配置集群配置文件 topology.yaml

    global:
    user: “tidb”
    ssh_port: 22
    deploy_dir: “/tidb”
    data_dir: “/data”

    server_configs:
    pd:
    replication.enable-placement-rules: true

    pd_servers:

    • host: 192.168.1.54
    • host: 192.168.1.55
    • host: 192.168.1.56
      tidb_servers:
    • host: 192.168.1.51
    • host: 192.168.1.52
    • host: 192.168.1.53
      tikv_servers:
    • host: 192.168.1.51
    • host: 192.168.1.52
    • host: 192.168.1.53
      tiflash_servers:
    • host: 192.168.1.53
      data_dir: /data1/tiflash/data,/data2/tiflash/data
      cdc_servers:
    • host: 192.168.1.54
    • host: 192.168.1.55
    • host: 192.168.1.56
      monitoring_servers:
    • host: 192.168.1.52
      grafana_servers:
    • host: 192.168.1.52
      alertmanager_servers:
    • host: 192.168.1.52
      1
      2
      3
      4

         

      4. 部署 TiDB 集群

    export TIUP_MIRRORS=/home/tidb/tidb-community-server-v4.0.0-linux-amd64
    tiup cluster deploy tidb-test v4.0.0 topology.yaml

    tiup cluster start tidb-test

部署成功会输出
Deployed cluster tidb-test successfully, you can start the cluster via tiup cluster start tidb-test

Started cluster tidb-test successfully

参数说明
通过 TiUP cluster 部署的集群名称为 tidb-test
部署版本为 v4.0.0，其他版本可以执行 tiup list tidb 获取
初始化配置文件为 topology.yaml
–user tidb：通过 tidb 用户登录到目标主机完成集群部署，该用户需要有 ssh 到目标机器的权限，并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。
[-i] 及 [-p]：非必选项，如果已经配置免密登陆目标机，则不需填写。否则选择其一即可，[-i] 为可登录到部署机 root 用户（或 –user 指定的其他用户）的私钥，也可使用 [-p] 交互式输入该用户的密码

1
2
3
4
5
6



## 4. 使用

Web端

TiDB Dashboard
{pd-ip}:{pd-port}/dashboard
http://192.168.1.54:2379/dashboard/
初始密码root/密码空

集群监控平台Grafana
http://192.168.1.52:3000
初始密码admin/admin

1
2
3
4



MySQL客户端

mysql -u root -h 192.168.1.51 -P 4000

ip为部署tidb_server的节点,可在上一层做负载均衡

测试sql
create database pingcap;
use pingcap;
CREATE TABLE tab_tidb (
id int(11) NOT NULL AUTO_INCREMENT,
name varchar(20) NOT NULL DEFAULT ‘’,
age int(11) NOT NULL DEFAULT 0,
version varchar(20) NOT NULL DEFAULT ‘’,
PRIMARY KEY (id),
KEY idx_age (age));
insert into tab_tidb values (1,’TiDB’,5,’TiDB-v4.0.0’);

select * from tab_tidb;

1
2
3
4
5
6
7
8





## 5. 其它

### 1. 增加负载均衡

yum -y install gcc gcc-c++ make automake autoconf pcre pcre-devel zlib zlib-devel openssl openssl-devel libtool wget
cd /opt
wget -c https://nginx.org/download/nginx-1.14.1.tar.gz
tar zxvf nginx-1.14.1.tar.gz
cd nginx-1.14.1
./configure –prefix=/opt/nginx –with-http_stub_status_module –with-http_ssl_module –with-stream
make&&make install

cd /opt/nginx/conf/
vi nginx.conf

#user nobody;
worker_processes 1;

#error_log logs/error.log;

#error_log logs/error.log notice;

#error_log logs/error.log info;

#pid logs/nginx.pid;

events {
worker_connections 1024;
}

stream {
upstream rtmp {
server 192.168.1.51:4000;
server 192.168.1.52:4000;
server 192.168.1.53:4000;
}
server {
listen 3306;
proxy_timeout 2000s;
proxy_pass rtmp;
}

}

cd ../sbin/
./nginx

此时,mysql客户端连接
mysql -u root -h 192.168.1.41 -P 3306

`

展开全文 >>

Java连接使用Ceph的对象存储代码示例

注:代码示例带源于网络

添加依赖

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-bom</artifactId>
            <version>1.11.125</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>
<dependencies>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk-s3</artifactId>
    </dependency>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk-dynamodb</artifactId>
    </dependency>
</dependencies>

工具类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
package top.mtain;

import com.amazonaws.AmazonClientException;
import com.amazonaws.AmazonServiceException;
import com.amazonaws.ClientConfiguration;
import com.amazonaws.Protocol;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.regions.Region;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.model.*;
import com.amazonaws.services.s3.transfer.TransferManager;

import java.io.File;
import java.io.IOException;
import java.net.SocketTimeoutException;
import java.net.URL;
import java.util.List;

public class AwsClient {
        static AmazonS3 s3;
        static TransferManager tx;
        private static String AWS_ACCESS_KEY = "VKXDEEGPDL84DVTMQ4V9";
        private static String AWS_SECRET_KEY = "QoYjW1C0TJt6GwF5hz05L1A6LYF9YUAlA4DOJOuc ";
    private static String HOST = "192.168.1.21:7480";

    static final String bucketName = "test03";

        static {

            ClientConfiguration clientConfig = new ClientConfiguration();

            clientConfig.setProtocol(Protocol.HTTP);

            s3=new AmazonS3Client(new BasicAWSCredentials(AWS_ACCESS_KEY, AWS_SECRET_KEY),clientConfig);
            Region usWest2 = Region.getRegion(Regions.CN_NORTH_1);
            s3.setRegion(usWest2);
            s3.setEndpoint(HOST);
        }

    public static Bucket createBucket(String bucketname) throws SocketTimeoutException {
        System.out.println("开始创建桶"+bucketname);
        Bucket bucket=null;
        bucket=s3.createBucket(bucketname);
        System.out.println(s3.toString());
        return  bucket;

    }

        /**  
        * @Title: uploadToS3  
        * @Description: 将文件上传至S3上并且返回url 
        * @param @param tempFile 目标文件 
        * @param @param remoteFileName 文件名 
        * @param @return 
        * @param @throws IOException    设定文件  
        * @return String    返回类型  
        * @throws  
        */  
        public static String uploadToS3(File tempFile, String remoteFileName) throws IOException {
            try {  
                //上传文件  
                s3.putObject(new PutObjectRequest(bucketName, remoteFileName, tempFile).withCannedAcl(CannedAccessControlList.PublicRead));
                //获取一个request  
                GeneratePresignedUrlRequest urlRequest = new GeneratePresignedUrlRequest(
                        bucketName, remoteFileName);  
                //生成公用的url  
                URL url = s3.generatePresignedUrl(urlRequest);
                System.out.println("=========URL=================" + url + "============URL=============");  
                return url.toString();  
            } catch (AmazonServiceException ase) {
                ase.printStackTrace();  
            } catch (AmazonClientException ace) {
                ace.printStackTrace();  
            }  
            return null;  
        }  
      
         /**  
        * @Title: getContentFromS3  
        * @Description: 获取文件2进制流 
        * @param @param remoteFileName 
        * @param @throws IOException    设定文件  
        * @return S3ObjectInputStream    返回类型  数据流 
        * @throws  
        */  
        public static S3ObjectInputStream getContentFromS3(String remoteFileName) throws IOException {
            try {  
                GetObjectRequest request  = new GetObjectRequest(bucketName,remoteFileName);
                S3Object object = s3.getObject(request);  
                S3ObjectInputStream inputStream = object.getObjectContent();  
                return inputStream;  
            } catch (Exception e) {  
                e.printStackTrace();  
            }   
            return null;  
         }  
          
          
        /**  
        * @Title: downFromS3  
        * @Description: 将文件下载到本地路径 
        * @param @param remoteFileName 文件名 
        * @param @param path 下载的路径 
        * @param @throws IOException    设定文件  
        * @return void    返回类型  
        * @throws  
        */  
        public static void downFromS3(String remoteFileName,String path) throws IOException {  
            try {  
                GetObjectRequest request  = new GetObjectRequest(bucketName,remoteFileName);  
                s3.getObject(request,new File(path));  
            } catch (Exception e) {  
                e.printStackTrace();  
            }   
        }  
          
        /**  
        * @Title: getUrlFromS3  
        * @Description: 获取文件的url  
        * @param @param remoteFileName 文件名 
        * @param @return 
        * @param @throws IOException    设定文件  
        * @return String    返回类型  
        * @throws  
        */  
        public static String getUrlFromS3(String remoteFileName) throws IOException {  
            try {  
                GeneratePresignedUrlRequest httpRequest=new GeneratePresignedUrlRequest(bucketName, remoteFileName);  
                String url=s3.generatePresignedUrl(httpRequest).toString();//临时链接  
                return url;  
            } catch (Exception e) {  
                e.printStackTrace();  
            }   
            return null;  
        }  
        /** 
         * 验证s3上是否存在名称为bucketName的Bucket 
         * @param s3 
         * @param bucketName 
         * @return 
         */  
        public static boolean checkBucketExists(AmazonS3 s3, String bucketName) {  
            List<Bucket> buckets = s3.listBuckets();
            for (Bucket bucket : buckets) {  
                if (bucketName.equals(bucket.getName())) {
                    return true;  
                }  
            }  
            return false;  
        }  
          
        public static void delFromS3(String remoteFileName) throws IOException {  
            try {  
                s3.deleteObject(bucketName, remoteFileName);  
            } catch (AmazonServiceException ase) {  
                ase.printStackTrace();  
            } catch (AmazonClientException ace) {  
                ace.printStackTrace();  
            }  
        }  
          
        public static void main(String[] args) throws Exception {  
            String key = "redisinfo";  
            File tempFile = new File("C:\\Users\\guosen\\Desktop\\redis.txt");  
            uploadToS3(tempFile,key);//上传文件  
            String url  = getUrlFromS3(key);//获取文件的url  
            System.out.println(url);  
    //      delFromS3(key);//删除文件  
        }
}

使用示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
        // 创建bucket
//        AwsClient.createBucket("test03");


        String key = "1.exe";

        // 上传文件
//        File tempFile = new File("D:\\1.exe");
//        AwsClient.uploadToS3(tempFile,key);


        // 获取文件的访问url
        // 每次生成新的url-一段时间后url会自动失效
        String url  = AwsClient.getUrlFromS3(key);
        System.out.println(url);

        // 文件下载到本地
        AwsClient.downFromS3("1.exe", "E:\\02.html");

展开全文 >>

Ceph安装部署说明

Ceph安装部署说明

环境说明

操作系统

Centos7.2

Ceph版本

octopus-15.2.4

主机清单

主机名 角色 IP 磁盘
ceph-mon1 管理/mon/mgr/osd 内192.168.1.21/外192.168.1.31 OS-60G/数据1-16G/数据2-16G
ceph-mon2 mon/mgr/osd 内192.168.1.22/外192.168.1.32 OS-60G/数据1-16G/数据2-16G
ceph-mon3 mon/mgr/osd 内192.168.1.23/外192.168.1.33 OS-60G/数据1-16G/数据2-16G
ceph-osd4 osd 内192.168.1.24/外192.168.1.34 OS-60G/数据1-16G/数据2-16G
  • mon：提供Ceph集群存储拓扑、数据分布的Cluster Map以及认证，
  • mgr：提供集群数据的收集、检测等功能。
  • mds：CephFS文件系统接口的一个守护进程，
  • rgw：RGW对象存储接口的一个守护进程
  • osd：Object Stroage Device，用于管理Ceph存储数据所用的硬盘设备的一个守护进程。

Ceph的客户端是直接与OSD进行通信，客户端通过与Mon节点进行通信，获取完整的Cluster Map，然后在客户端本地，用CRUSH算法，根据Cluster Map，以及对应存储池的放置组规则，进行计算，获得所需数据存储于哪些OSD上面，然后直接与OSD建立通信进行读写。

主机初始化

1. 主机基本初始化

1
2
3
4
5
关闭firewall
systemctl stop firewalld.service && systemctl disable firewalld.service

关闭SELINUX
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2. 设置每台机器的主机名

1
2
3
4
hostnamectl set-hostname ceph-mon1
hostnamectl set-hostname ceph-mon2
hostnamectl set-hostname ceph-mon3
hostnamectl set-hostname ceph-osd4

3. 设置每台机器的固定IP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#vi /etc/sysconfig/network-scripts/ifcfg-eno16780032
BOOTPROTO="static"
ONBOOT="yes"
DNS1=114.114.114.114
IPADDR=192.168.1.21
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
 
#vi /etc/sysconfig/network-scripts/ifcfg-eno33559296
BOOTPROTO="static"
ONBOOT="yes"
DNS1=114.114.114.114
IPADDR=192.168.1.31
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

#systemctl restart network

4. 设置每台机器的ceph源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 阿里云源
yum install -y wget
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo



#vi /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-octopus/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-octopus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-octopus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md





yum clean all
yum makecache

5. 每台机器配置hosts

1
2
3
4
5
6
cat >> /etc/hosts<<EOF
192.168.1.21 ceph-mon1
192.168.1.22 ceph-mon2
192.168.1.23 ceph-mon3
192.168.1.24 ceph-osd4
EOF

6. 每台机器创建用户并设置免密登录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
useradd cephadm
echo 'pwd@nocadmin' | passwd --stdin cephadm 
echo "cephadm ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephadm
chmod 0440 /etc/sudoers.d/cephadm

注意设置密码


设置cephadm的免密
每台机器先执行
su - cephadm
ssh-keygen

再执行
ssh-copy-id cephadm@ceph-mon1
ssh-copy-id cephadm@ceph-mon2	
ssh-copy-id cephadm@ceph-mon3
ssh-copy-id cephadm@ceph-osd4

7. 每个节点设置时间同步

1
2
3
yum -y install ntpdate
crontab -e
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

Ceph安装

1. 在管理节点ceph-mon1使用root上安装

1
yum install ceph-deploy  python-setuptools python2-subprocess32 ceph-common -y

错误解决

1
2
3
4
5
6
7
8
9
10
11
12
报错:依赖找不到
--> Finished Dependency Resolution
Error: Package: 2:ceph-base-15.2.4-0.el7.x86_64 (Ceph)
           Requires: liblttng-ust.so.0()(64bit)
Error: Package: 2:ceph-mgr-modules-core-15.2.4-0.el7.noarch (Ceph-noarch)
           Requires: python36-pyOpenSSL
Error: Package: 2:librbd1-15.2.4-0.el7.x86_64 (Ceph)
           Requires: liblttng-ust.so.0()(64bit)
Error: Package: 2:ceph-mgr-modules-core-15.2.4-0.el7.noarch (Ceph-noarch)


yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm -f /etc/yum.repos.d/dl.fedoraproject.org*

注

1
2
3
4
5
6
如果安装过程有错误或者失败可以用以下命令从头再来

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

2. 部署Mon节点

  1. 在管理节点以cephadm用户运行(创建集群)
1
2
3
4
su - cephadm
mkdir /home/cephadm/ceph-cluster
cd /home/cephadm/ceph-cluster
ceph-deploy new ceph-mon1 ceph-mon2 ceph-mon3 --cluster-network 192.168.1.0/24  --public-network 192.168.1.0/24
  1. 所有节点执行
1
sudo yum install ceph ceph-radosgw -y
  1. 在管理节点以cephadm用户运行(安装ceph)
1
2
cd /home/cephadm/ceph-cluster
ceph-deploy install --no-adjust-repos ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd4

报错解决

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[ERROR ] RuntimeError: connecting to host: ceph-mon2 resulted in errors: IOError cannot send (already closed?)

设置ssh默认登陆用户
使用root用户在每台机器上设置
cat >> ~/.ssh/config<<EOF
Host ceph-mon1
Hostname ceph-mon1
User cephadm
EOF


cat >> ~/.ssh/config<<EOF
Host ceph-mon2
Hostname ceph-mon2
User cephadm
EOF


cat >> ~/.ssh/config<<EOF
Host ceph-mon3
Hostname ceph-mon3
User cephadm
EOF



cat >> ~/.ssh/config<<EOF
Host ceph-osd4
Hostname ceph-osd4
User cephadm
EOF


报错sudo: sorry, you must have a tty to run sudo
vi /etc/sudoers

注释掉
#Default requiretty

  1. 在管理节点以cephadm用户运行(部署mon生成密钥文件)

    1
    ceph-deploy mon create-initial

  1. 发送配置文件

    1
    ceph-deploy admin ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd4

  1. 在所有节点以root的身份运行

    1
    2
    3
    4
    setfacl -m u:cephadm:r /etc/ceph/ceph.client.admin.keyring 
    #ceph.client.admin.keyring文件是 ceph命令行 所需要使用的keyring文件
    #不管哪个节点，只要需要使用cephadm用户执行命令行工具，这个文件就必须要让cephadm用户拥有访问权限，就必须执行这一步
    #这一步如果不做，ceph命令是无法在非sudo环境执行的。

3. 创建mgr节点

mgr需要高可用所以创建三个节点

O版，需要先在mgr节点上安装两个Python3模块

1
2
pip3 install pecan
pip3 install werkzeug

在管理节点执行

1
2
3
su - cephadm
cd ceph-cluster
ceph-deploy mgr create ceph-mon1 ceph-mon2 ceph-mon3

执行完成之后，在管理节点查看集群的健康状态，不过，这一步同样需要/etc/ceph/ceph.client.admin.keyring文件

1
2
3
su - cephadm
sudo cp /home/cephadm/ceph-cluster/* /etc/ceph/
ceph -s

健康状况

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
cluster:
  id:     091e3ed4-a704-4b67-8f0d-bac9914250c0
  health: HEALTH_WARN
          clock skew detected on mon.ceph-mon2, mon.ceph-mon3
          Reduced data availability: 1 pg inactive
          OSD count 0 < osd_pool_default_size 3

services:
  mon: 3 daemons, quorum ceph-mon1,ceph-mon2,ceph-mon3 (age 62m)
  mgr: ceph-mon1(active, since 62s), standbys: ceph-mon2, ceph-mon3
  osd: 0 osds: 0 up, 0 in

data:
  pools:   1 pools, 1 pgs
  objects: 0 objects, 0 B
  usage:   0 B used, 0 B / 0 B avail
  pgs:     100.000% pgs unknown
           1 unknown

4. 创建OSD节点

在管理节点上以cephadm用户执行，列出osd节点上的所有可用磁盘

1
2
sudo ceph-deploy disk list ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd4
#要以cephadm用户在~/ceph-cluster/目录下执行

清空osd节点上用来作为osd设备的磁盘

1
2
3
4
ceph-deploy disk zap ceph-mon1 /dev/sdb /dev/sdc
ceph-deploy disk zap ceph-mon2 /dev/sdb /dev/sdc
ceph-deploy disk zap ceph-mon3 /dev/sdb /dev/sdc
ceph-deploy disk zap ceph-osd4 /dev/sdb /dev/sdc

创建OSD

1
2
3
4
5
6
7
8
ceph-deploy osd create ceph-mon1 --data /dev/sdb 
ceph-deploy osd create ceph-mon2 --data /dev/sdb
ceph-deploy osd create ceph-mon3 --data /dev/sdb
ceph-deploy osd create ceph-osd4 --data /dev/sdb
ceph-deploy osd create ceph-mon1 --data /dev/sdc
ceph-deploy osd create ceph-mon2 --data /dev/sdc
ceph-deploy osd create ceph-mon3 --data /dev/sdc
ceph-deploy osd create ceph-osd4 --data /dev/sdc

查看节点状态ceph -s

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
cluster:
    id:     091e3ed4-a704-4b67-8f0d-bac9914250c0
    health: HEALTH_WARN
            clock skew detected on mon.ceph-mon2, mon.ceph-mon3

  services:
    mon: 3 daemons, quorum ceph-mon1,ceph-mon2,ceph-mon3 (age 75m)
    mgr: ceph-mon1(active, since 14m), standbys: ceph-mon2, ceph-mon3
    osd: 8 osds: 8 up (since 43s), 8 in (since 43s)

  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   8.0 GiB used, 120 GiB / 128 GiB avail
    pgs:     1 active+clean

Ceph使用

1. 基本用法

创建一个存储池，要想使用ceph的存储功能，必须先创建存储池

1
2
# 64 指定的 pg 和 pgp 的数量
ceph osd pool create mypool 64 64

列出当前集群所有存储池

1
2
3
ceph osd pool ls
或
rados lspools

上传一个文件

1
2
echo 1 >test01.txt
rados put test01 ./test01.txt --pool=mypool

获取一个文件

1
2
3
# out_test01文件输出名字
rados get test01 out_test01 -p mypool
cat ./out_test01

删除一个文件

1
rados rm test01 -p mypool

列出指定存储池有哪些文件

1
rados ls --pool=mypool

查看指定文件在Ceph集群内是怎样做映射的

1
ceph osd map mypool test01

ceph map信息简要说明

1
2
3
4
5
#pg 2.1bd502b7 (2.37),表示第2号存储池的37号pg
#up  Ceph的存储池是三副本存储的，后面的三个数字是存储了此文件的三个osd的编号，p2表示2号osd是主osd
#acting 同理

osdmap e46 pool 'mypool' (2) object 'test01' -> pg 2.1bd502b7 (2.37) -> up ([2,5,7], p2) acting ([2,5,7], p2)

2. 挂载cephfs（文件系统挂载）

Ceph上启用cephfs

1
2
3
4
5
6
7
8
9
10
11
12
13
# 启用mds服务
ceph-deploy mds create ceph-mon1

# 创建数据pool
ceph osd pool create cephfs_data 128
# 创建Metadata池
ceph osd pool create cephfs_metadata 128

# 启用pool
ceph fs new cephfs cephfs_metadata cephfs_data

# 查看cephfs
ceph fs ls

客户端挂载

挂载cephfs有两种方式，kernel driver和fuse

  1. kernel driver（注意升级内核）

    关闭认证情况下

    1
    2
    sudo mkdir /mnt/wyl
    sudo mount -t ceph 192.168.1.21:6789:/ /data

    设置开机自动挂载/etc/fstab

    1
    192.168.1.21:6789:/     /mnt/ceph    ceph   noatime,_netdev    0       2

    启用认证

    1
    2
    3
    4
    5
    6
    # cat ceph.client.admin.keyring
    [client.admin]
    	key = xxxxxxxxxxxxxxxxx
    	
    	
    # mount -t ceph 192.168.1.21:6789:/ /wyl  -o name=admin,secret=xxxxxxxxxxxxxxxxx

    设置开机自动挂载/etc/fstab

    1
    192.168.1.21:6789:/     /mnt/ceph    ceph    name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2

    注意：检查是否启用cephx认证方法，如果值为none为禁用，cephx为启用

    1
    2
    3
    cat /etc/ceph/ceph.conf   | grep auth | grep required
    auth_cluster_required = cephx
    auth_service_required = cephx

  2. fuse
    安装

    1
    yum -y install ceph-fuse

    将存储节点的admin秘钥拷贝到本地

    ssh root@192.168.1.21 “ceph-authtool -p /etc/ceph/ceph.client.admin.keyring” > /etc/ceph/ceph.client.admin.keyring
    ssh root@192.168.1.21 “cat /etc/ceph/ceph.conf” > /etc/ceph/ceph.conf

挂载

1
ceph-fuse -m 192.168.1.21:6789 /data

3. 创建s3对象存储(Ceph 对象网关)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
创建网关实例
ceph-deploy install --rgw ceph-mon1

创建网关对象
ceph-deploy rgw create ceph-mon1


为S3访问创建 RADOSGW 用户
radosgw-admin user create --uid="testuser" --display-name="First User"
{
    "user_id": "testuser",
    "display_name": "First User",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "subusers": [],
    "keys": [
        {
            "user": "testuser",
            "access_key": "VKXDEEGPDL84DVTMQ4V9",
            "secret_key": "QoYjW1C0TJt6GwF5hz05L1A6LYF9YUAlA4DOJOuc"
        }
    ],
    "swift_keys": [],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}




测试连接
方式1：
yum install python-boto -y

cat s3test.py 
import boto
import boto.s3.connection

access_key = 'VKXDEEGPDL84DVTMQ4V9'
secret_key = 'QoYjW1C0TJt6GwF5hz05L1A6LYF9YUAlA4DOJOuc'
conn = boto.connect_s3(
        aws_access_key_id = access_key,
        aws_secret_access_key = secret_key,
        host = '192.168.1.21', port = 7480,
        is_secure=False, calling_format = boto.s3.connection.OrdinaryCallingFormat(),
        )

bucket = conn.create_bucket('test01-bucket')
for bucket in conn.get_all_buckets():
  print "{name}".format(name = bucket.name,created = bucket.creation_date,)
  
  
python s3test.py 


方式2：
使用亚马逊的s3cmd
yum install -y s3cmd

at ~/.s3cfg 
[default]
access_key = VKXDEEGPDL84DVTMQ4V9
secret_key = QoYjW1C0TJt6GwF5hz05L1A6LYF9YUAlA4DOJOuc
host_base = 192.168.1.21:7480
host_bucket = 192.168.1.21:7480/%(bucket)
cloudfront_host = 192.168.1.21:7480
use_https = False

s3cmd mb s3://test02

Ceph运维操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
ceph运维操作：

1.ceph -s  集群整体当前状态情况查看
2.ceph -w  实时状态查看
3.ceph df  ceph存储空间查看
4.ceph osd tree  查看osd状态
5.ceph osd dump  查看pool设置的信息和osd设置信息和各种状态
--------pool相关操作-------
6.ceph osd lspools  查看pools
7.ceph osd pool create images 100   创建一个image名称的pool，包涵100个pgnum  (pgsnum = (osd数量 * 100) / 副本数 向上对齐)
8.ceph  osd  pool  set  images  size  3    #设置pool:images的副本数为3
  ceph osd pool set rbd pg_num 2048
  ceph osd pool set rbd  pgp_num 2048  设置pool的pg数目
9.ceph  osd  pool  set-quota  images  max_objects  10000   #设置pool最大对象数
10.ceph  osd  pool  delete  images  images  --yes-i-really-really-mean-it  删除images pool
11.ceph osd pool set {rbdpool} min_size 1  修改ceph数据的最小副本数和副本数
12.ceph osd pool set {rbdpool} size 2
13.ceph osd pool set {rbdpool} target_max_bytes 100000000000000  设置池的最大的存储空间为100T
14.ceph osd pool set-quota {rbdpool} max_objects 10000  为集群pool设置配额，达到预警前集群会告警，达到上限之后就不在写入数据
15.ceph osd pool rename {current——pool-name} {new-pool-name} 重命名pool
16.rados df 展示pool统计
17.ceph osd pool get {pool-name} {key} 获取pool相关的参数值
18.ceph osd dump |grep '参数'
19.要设置一个存储池的选项值，执行命令：
ceph osd pool set {pool-name} {key} {value}
常用选项介绍：
size：设置存储池中的对象副本数，详情参见设置对象副本数。仅适用于副本存储池。
min_size：设置 I/O 需要的最小副本数，详情参见设置对象副本数。仅适用于副本存储池。
pg_num：计算数据分布时的有效 PG 数。只能大于当前 PG 数。
pgp_num：计算数据分布时使用的有效 PGP 数量。小于等于存储池的 PG 数。
crush_ruleset：
hashpspool：给指定存储池设置/取消 HASHPSPOOL 标志。
target_max_bytes：达到 max_bytes 阀值时会触发 Ceph 冲洗或驱逐对象。
target_max_objects：达到 max_objects 阀值时会触发 Ceph 冲洗或驱逐对象。
scrub_min_interval：在负载低时，洗刷存储池的最小间隔秒数。如果是 0 ，就按照配置文件里的 osd_scrub_min_interval 。
scrub_max_interval：不管集群负载如何，都要洗刷存储池的最大间隔秒数。如果是 0 ，就按照配置文件里的 osd_scrub_max_interval 。
deep_scrub_interval：“深度”洗刷存储池的间隔秒数。如果是 0 ，就按照配置文件里的 osd_deep_scrub_interval 。

9.10 可调选项
1、调整现有集群上的可调选项。注意，这可能会导致一些数据迁移（可能有 10% 之多）。这是推荐的办法，但是在生产集群上要注意此调整对性能带来的影响。此命令可启用较优可调选项：
ceph osd crush tunables optimal（调整集群参数到最优的状态）
如果切换得不太顺利（如负载太高）且切换才不久，或者有客户端兼容问题（较老的 cephfs 内核驱动或 rbd 客户端、或早于 bobtail 的 librados 客户端），你可以这样切回：
ceph osd crush tunables legacy（调整集群的参数到默认的状态）
2、不对 CRUSH 做任何更改也能消除报警，把下列配置加入 ceph.conf 的 [mon] 段下：
mon warn on legacy crush tunables = false
为使变更生效需重启所有监视器，或者执行下列命令：
ceph tell mon.\* injectargs --no-mon-warn-on-legacy-crush-tunables

--------对象存储-----------
11.rados  put  test-object-1  a.txt  --pool=data 创建对象
12.rados -p   data ls 查看pool中的对象
13.ceph osd map data  test-object-1 确定对象的存储的位置
14.rados rm test-object-1 --pool=data 删除对象
15.rados ls -p poolname  列出poolname中所有的objects


---------查看crushMap--------
16.ceph osd getcrushmap -o crush.out
17.crushtool -d crush.out -o crush.txt
18.ceph osd crush dump
19.ceph osd crush rule dump   //将rule结果调出来

ceph osd 维护模式
ceph osd set noout
/etc/init.d/ceph stop osd.{osd-num}
ceph osd crush rule rm {rule name}   从crush中删除一个rule

----------ceph injectargs 维护模式--------
#How often an Ceph OSD Daemon pings its peers (in seconds).
#默认为6
ceph tell osd.* injectargs '--osd-heartbeat-interval 10'

#The elapsed time when a Ceph OSD Daemon hasn’t shown a heartbeat that the Ceph Storage Cluster considers it down.
#默认为20
ceph tell osd.* injectargs '--osd-heartbeat-grace 30'
-----------维护完成------------------------
/etc/init.d/ceph start osd.{osd-num}
ceph osd unset noout

------------radosgw运维--------------------（ceph底层是没有权限控制的，权限控制在上层的radosgw进行提供，如果是s3cmd的话只能查看自己的相关信息）
创建用户
#sudo  radosgw-admin  user  create  --uid=newtouchstep  --display-name=newtouchstep --email=jingyi.liu@newtouch.cn
修改用户
#sudo  radosgw-admin user  modify  --uid=newtouchstep  --display-name=newtouchstep --email=jingyi.liu@newtouch.cn
查看用户信息
#sudo  radosgw-admin  user  info  --uid=newtouchone
删除用户
#sudo  radosgw-admin    user  rm  --uid=newtouchone  #没有数据才可以删除
#sudo  radosgw-admin   user  rm  --uid=newtouchone   --purge-data #删除用户删除数据
暂停用户使用
#sudo  radosgw-admin   user  suspend   --uid=newtouchone
用户生效
#sudo  radosgw-admin  user  enable   --uid=newtouchone
用户检查
#sudo  radosgw-admin    user  check   --uid=newtouchone
查询bucket
#sudo  radosgw-admin  bucket  list    查询所有的bucket 信息
查询指定bucket的对象
#sudo  radosgw-admin  bucket  list  --bucket=images
统计bucket信息
#sudo  radosgw-admin  bucket  stats     #查询所有bucket统计信息
#sudo  radosgw-admin  bucket  stats  --bucket=images  #查询指定bucket统计信息
删除bucket
删除pucket(但是不删除object,加上bucket后恢复)
#sudo  radosgw-admin  bucket  rm  --bucket=images
删除bucket后同时删除object
#sudo  radosgw-admin  bucket  rm  --bucket=images   --purge-objects
检查bucket
#sudo  radosgw-admin  bucket  check
删除object
#sudo  radosgw-admin  object  rm  --bucket=attach  --object=fanbingbing.jpg
为bucket设置配额
#sudo  radosgw-admin  quota  set  --max-objects=200   --max-size=10000000000 --quota-scope=bucket  --bucket=images
#sudo  radosgw-admin  quota  enable   --quota-scope=bucket   --bucket=images  
#sudo  radosgw-admin  quota  disable   --quota-scope=bucket  --bucket=images
为帐号设置配额
#sudo  radosgw-admin  quota  set  --max-objects=2  --max-size=100000  --quota-scope=user --uid=newtouchstep
#sudo  radosgw-admin  quota  enable   --quota-scope=user  --uid=newtouchstep
#sudo  radosgw-admin  quota  disable   --quota-scope=user  --uid=newtouchstep

radosgw-admin metadata get bucket:maoweitest02  查看bucket的详细信息 包括ID号，存储的位置，创建的时间，拥有者

#添加用户权限，允许其读写users权限
radosgw-admin caps add  --uid=admin --caps="users=*"
radosgw-admin caps add --uid=admin --caps="usage=read,write"

---------------/etc/init.d/ceph的使用（关闭这个集群上的所有的ceph相关进程，包括mon。mds.osd 等进程）-------------
/etc/init.d/ceph start 、stop、restart   单节点启动、关闭、重启ceph集群
/etc/init.d/ceph -a start 、stop、 restart  所有节点启动、关闭、重启ceph集群
service ceph start 、stop、restart   把ceph当做service服务
service ceph start -a start、stop、restart
/etc/init.d/ceph start osd.2
service ceph start osd.2

-----------查看monitor的状态-------------------------------
ceph mon stat   查看mon的状态信息
ceph mon dump   查看mon的映射信息
ceph quorum_status    检查mon的选举状态
ceph mon remove test-55  删除一个mon节点
ceph quorum_status -f json-pretty  产看monitor的选举情况

-----------osd相关操作-------------------------------------
ceph osd df  详细列出集群每块磁盘的使用情况，包括大小、权重多少空间率等 
ceph osd down 0  把osd.0给down掉，主要是标记为down
ceph osd  in 0   把osd.0标记为in
ceph osd rm 0 在集群中删除一个osd硬盘
ceph osd crush rm  osd.0 在集群中删除一个osd硬盘crush map
ceph osd crush set osd.1  0.5 host=node241 设置osd crush的权重为0.5
ceph osd out osd.3  此时osd.3的reweight变为0，此时不在此节点上分配数据，但是osd进程设备还在
ceph osd in osd.3   将逐出的osd加入到集群中
ceph osd pause      暂停整个集群的osd，此时集群不能接受数据
ceph osd unpause     再次开启接受数据
ceph osd set nodown  设置标志flags，不允许关闭osd，解决网络不稳定,osd状态不断切换的问题
ceph osd unset nodown 取消设置
ceph osd lost {id} [--yes-i-really-mean-it]  把OSD 标记为丢失，有可能导致永久性数据丢失，慎用！

------------rados命令相关操作--------------------------------
rados是和ceph的对象存储集群进行通信的方式
rados lspools <====>ceph osd pool ls 查看集群里面有多少个pool
rados mkpool test_pool 创建一个pool
rados create test_object -p test_pool 创建一个对象
rados -p test_pool ls 查看test_pool下所有的对象文件
rados rm test_object  -p test_pool 删除一个pool中指定的对象
rados rmpool test_pool test_pool -yes-i-really-really-mean-it 删除pool池和它中的数据
rados -p test_pool put test_object xx.txt上传一个对象到test_pool
rados bench 600 write  rand -t 100 -b 4096 -p test_pool  使用rados进行 性能测试
ceph --admin-daemon /var/run/ceph/ceph-client.radosgw.gateway.asok config set debug_rgw 20/20  修改radosgw的日志等级

------------pg相关操作---------------------------------------
ceph pg dump <===> ceph pg ls 查看pg组的映射关系
ceph pg map 2.06 查看一个pg的map映射
ceph pg stat  查看pg的状态
ceph pg 2.06 query 查看一个pg的详细信息
ceph pg scrub {pg-id} 洗刷一个pg组
ceph pg dump_stuck unclean  查看pg中的各种pg状态
ceph pg dump_stuck inactive
ceph pg dump_stuck stable 
ceph pg dump --format plain (纯文本)显示一个集群中所有的pg统计
             --format json  (json格式)
要查询某个 PG，用下列命令：
ceph pg {poolnum}.{pg-id} query
为找出卡住的归置组，执行：
ceph pg dump_stuck [unclean|inactive|stale|undersized|degraded]

ceph tell mon.FOO injectargs --debug_mon 10/10   设置mon的日志等级
查看mon的配置文件信息
ceph daemon mon.FOO config show
or:
ceph daemon mon.FOO config get 'OPTION_NAME'

参考文章

https://www.bilibili.com/video/BV1Vt411g7zV

http://www.bubuko.com/infodetail-2596641.html

https://blog.csdn.net/wuxianweizai/java/article/details/79689437

Ceph常见的几种异常状态——运维

https://blog.csdn.net/her_liketree/article/details/85779978

展开全文 >>

使用Docker运行oracle-12c

说明

Docker image with Oracle Database 12c on board

Github：https://github.com/MaksymBilenko/docker-oracle-12c

官方文档

Installation

docker pull quay.io/maksymbilenko/oracle-12c

Run with 8080 and 1521 ports opened:

docker run -d -p 8080:8080 -p 1521:1521 quay.io/maksymbilenko/oracle-12c

Run with data on host and reuse it:

docker run -d -p 8080:8080 -p 1521:1521 -v /my/oracle/data:/u01/app/oracle quay.io/maksymbilenko/oracle-12c

Run with Custom DBCA_TOTAL_MEMORY (in Mb):

docker run -d -p 8080:8080 -p 1521:1521 -v /my/oracle/data:/u01/app/oracle -e DBCA_TOTAL_MEMORY=1024 quay.io/maksymbilenko/oracle-12c

Connect database with following setting:

hostname: localhost
port: 1521
sid: xe
service name: xe
username: system
password: oracle

To connect using sqlplus:

sqlplus system/oracle@//localhost:1521/xe

Password for SYS & SYSTEM:

oracle

Connect to Oracle Application Express web management console with following settings:

http://localhost:8080/apex
workspace: INTERNAL
user: ADMIN
password: 0Racle$

Apex upgrade up to v 5.*

docker run -it --rm --volumes-from ${DB_CONTAINER_NAME} --link ${DB_CONTAINER_NAME}:oracle-database -e PASS=YourSYSPASS sath89/apex install

Details could be found here: https://github.com/MaksymBilenko/docker-oracle-apex

Connect to Oracle Enterprise Management console with following settings:

http://localhost:8080/em
user: sys
password: oracle
connect as sysdba: true

By Default web management console is enabled. To disable add env variable:

docker run -d -e WEB_CONSOLE=false -p 1521:1521 -v /my/oracle/data:/u01/app/oracle quay.io/maksymbilenko/oracle-12c
#You can Enable/Disable it on any time

Start with additional init scripts or dumps:

docker run -d -p 1521:1521 -v /my/oracle/data:/u01/app/oracle -v /my/oracle/init/SCRIPTSorSQL:/docker-entrypoint-initdb.d quay.io/maksymbilenko/oracle-12c

By default Import from docker-entrypoint-initdb.d is enabled only if you are initializing database (1st run).

To customize dump import use IMPDP_OPTIONS env variable like -e IMPDP_OPTIONS="REMAP_TABLESPACE=FOO:BAR"
To run import at any case add -e IMPORT_FROM_VOLUME=true

In case of using DMP imports dump file should be named like ${IMPORT_SCHEME_NAME}.dmp

User credentials for imports are ${IMPORT_SCHEME_NAME}/${IMPORT_SCHEME_NAME}

If you have an issue with database init like DBCA operation failed, please reffer to this issue

TODO LIST

  • Web management console HTTPS port
  • Add functionality to run custom scripts on startup, for example User creation
  • Add Parameter that would setup processes amount for database (Currently by default processes=300)
  • Spike with clustering support
  • Spike with DB migration from 11g

个人使用过程问题记录

1. sqlplus的使用

1
2
3
4
5
6
7
docker exec -it xxxx bash

进入容器后，使用root操作
sqlplus system/oracle

dba权限
sqlplus sys/oracle as sysdba

2. 创建导入导出目录

1
2
3
4
5
6
7
8
# 注意目录权限
mkdir /home/oracle/dpdata
chown -R oracle:dba /home/oracle/dpdata

drop directory dpdata;
create or replace directory dpdata as '/home/oracle/dpdata';
grant read,write on directory dpdata to public;
grant read,write on directory dpdata to xxxxUser;

3. 修改数据库的字符集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
sqlplus sys/oracle as sysdba

shutdown immediate

startup mount

alter system enable restricted session ;

alter system set JOB_QUEUE_PROCESSES=0;

alter system set AQ_TM_PROCESSES=0;

alter database open ;

ALTER DATABASE character set INTERNAL_USE AL32UTF8;
ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE UTF8;


shutdown immediate

startup

4 .web界面的使用

  • Oracle Enterprise Management console

    http://localhost:8080/em/

    sys

    oracle

    选择 as sysdba

    用途：创建用户，表空间，监控等

  • Oracle Application Express (APEX)

    http://localhost:8080/apex
    workspace: INTERNAL
    user: ADMIN
    password: 0Racle$

    Oracle Application Express (Oracle APEX) 是一个用于 Oracle 数据库的快速 Web 应用程序开发工具。仅凭借 Web 浏览器和有限的编程经验，就能快速开发和部署出安全的专业应用程序。

展开全文 >>

使用DenyHosts防御ssh密码暴力破解

简介

当Linux主机，被暴力破解时，会将日志记录到/var/log/secure中。

DenyHosts这个工具，可以将日志中恶意IP添加到系统的/etc/hosts.deny（系统IP黑名单），从而起到自动防御的作用。

登录系统时，如果显示There were 24 failed login attempts since the last successful login.，说明有人在暴力破解ssh的密码，如下图所示

20200512212244

Centos7安装过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
wget https://soft.itbulu.com/tools/DenyHosts-2.6.tar.gz
tar -zxvf DenyHosts-2.6.tar.gz
 
 
cd DenyHosts-2.6/
python setup.py install

# 先清空ssh日志
echo "" > /var/log/secure

cd /usr/share/denyhosts/
cp denyhosts.cfg-dist denyhosts.cfg
cp daemon-control-dist daemon-control
chown root daemon-control
chmod 700 daemon-control
vim /etc/denyhosts.conf
------------------------------------------------------------------------------------
SECURE_LOG = /var/log/secure   #ssh日志文件
# format is: i[dhwmy]
# Where i is an integer (eg. 7)
# m = minutes
# h = hours
# d = days
# w = weeks
# y = years
#
# never purge:
PURGE_DENY = 50m               #过多久后清除已阻止IP
HOSTS_DENY = /etc/hosts.deny   #将阻止IP写入到hosts.deny
BLOCK_SERVICE = sshd           #阻止服务名
PURGE_THRESHOLD =              #定义了某一IP最多被解封多少次。某IP暴力破解SSH密码被阻止/解封达到了PURGE_THRESHOLD次，则会被永久禁止；
DENY_THRESHOLD_INVALID = 1     #允许无效用户登录失败的次数
DENY_THRESHOLD_VALID = 10      #允许普通用户登录失败的次数
DENY_THRESHOLD_ROOT = 5        #允许root登录失败的次数
WORK_DIR = /usr/local/share/denyhosts/data #将deny的host或ip纪录到Work_dir中
DENY_THRESHOLD_RESTRICTED = 1 #设定 deny host 写入到该资料夹
LOCK_FILE = /var/lock/subsys/denyhosts #将DenyHOts启动的pid纪录到LOCK_FILE中，已确保服务正确启动，防止同时启动多个服务。
HOSTNAME_LOOKUP=NO            #是否做域名反解
ADMIN_EMAIL =                 #设置管理员邮件地址
DAEMON_LOG = /var/log/denyhosts #DenyHosts日志位置
------------------------------------------------------------------------------------


# 启动
./daemon-control start
ln -s /usr/share/denyhosts/daemon-control /etc/init.d

# 加入开机启动
chkconfig daemon-control on

# 查看DenyHosts日志
tail -f /var/log/denyhosts

展开全文 >>

kubectl和helm3命令笔记

kubectl

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 刷新着看所有空间中的所有pod
watch kubectl get pods --all-namespaces
watch kubectl get pods,svc --all-namespaces

# 根据yaml中的定义创建/删除应用
kubectl create -f whoami.yml
kubectl delete -f whoami.yml

# 查看各类资源
kubectl get node
kubectl get pod
kubectl get svc
kubectl get ingress

# 创建/删除空间
kubectl create namespace app
kubectl delete namespace app

# 指定空间查看资源
kubectl -n app get pod
kubectl --namespace app get pod

# 查看pod详情 错误信息等
kubectl describe pod chart-1586941688-whoami-758845657f-kjk7s

# yaml形式编辑资源
kubectl edit ingress chart-1586937737-whoami

helm

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 添加仓库
helm repo add stable https://kubernetes-charts.storage.googleapis.com/

# 查看所有仓库
helm repo list

# 仓库中查找
helm search repo stable

# 安装仓库中的应用
helm install stable/lamp --generate-name

# 安装插件
helm plugin install https://github.com/chartmuseum/helm-push

# 安装文件夹中定义的应用
helm install . --debug -n harbor --namespace harbor --generate-name

# 列出所有应用
helm list

# 卸载应用
helm uninstall chart-1586853720

展开全文 >>

使用MicroK8s快速创建轻量级k8s

简介

MicroK8s是通过snap快速部署的Kubernetes，适用于搭建开发环境的k8s

官网:https://microk8s.io/

安装

https://microk8s.io/docs/

常用操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# microk8s信息
snap info microk8s

# 启动/关闭/状态
microk8s.start/microk8s.stop
# 插件信息
microk8s.status
# 启用插件
microk8s.enable dashboard dns ingress registry storage

# 查看镜像
microk8s.ctr images ls

# 查看 cluster
microk8s.kubectl cluster-info

# 查看 nodes
microk8s.kubectl get nodes

# 查看 pods
microk8s.kubectl get pods

# 以yaml方式查看ingress
microk8s.kubectl get ingress --all-namespaces -o yaml

# 生成yaml
kubectl create deployment httpd --image=httpd -o yaml --dry-run > httpd.yaml

故障排除

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 查看错误日志
microk8s.kubectl get pods --namespace=kube-system -o json |grep message

# 无法下载镜像
使用squid

https://microk8s.io/docs/install-proxy

vim /var/snap/microk8s/current/args/containerd-env
HTTPS_PROXY=http://squid.internal:3128

注意是http

配置完成后
microk8s.stop
microk8s.start

访问k8s-dashboard

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 查看dashboard-token 登陆时使用Token登录
microk8s.kubectl get secrets --all-namespaces | grep dashboard-token
kubectl describe --namespace kube-system secrets kubernetes-dashboard-token-jzpb7
microk8s.kubectl describe --namespace kube-system secrets kubernetes-dashboard-token-jzpb7


### 方式1
# 查找dashboard的pod名称
microk8s.kubectl get pods --all-namespaces | grep dashboard

# 查看使用的端口
microk8s.kubectl describe --namespace kube-system pod/kubernetes-dashboard-5c848cc544-tv2bk

# 端口转发(绕过了service，直接访问pod)
microk8s.kubectl port-forward --namespace=kube-system --address=0.0.0.0 pod/kubernetes-dashboard-5c848cc544-tv2bk 9443:8443

浏览器访问
https://ip:9443

### 方式2
# 通过代理，访问server->pod
kubectl proxy --accept-hosts=.* --address=0.0.0.0 &

http://ip:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/


参考文章:https://www.jianshu.com/p/77e40a917248

配置私有镜像仓库

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
# Registry开放NodePort为32000
# 可查看仓库镜像列表
http://192.168.xxx.xxx:32000/v2/_catalog

# 在制作镜像的机器上配置docker私库
vim /etc/docker/daemon.json
{ "insecure-registries":["192.168.xxx.xxx:32000"] }
sudo systemctl restart docker

# 在机器上
vim /var/snap/microk8s/current/args/containerd-template.toml
[plugins.cri.registry.mirrors."192.168.xxx.xxx:32000"]
          endpoint = ["http://192.168.xxx.xxx:32000"]
microk8s.stop&&microk8s.start



apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: 192.168.xxx.xxx:32000/mynginx:registry
        ports:
        - containerPort: 80



文档地址: https://microk8s.io/docs/registry-private

注意:

  1. 新版k8s默认使用containerd，而不是docker
  2. 本地安装的k8s版本为1.17/stable

内置插件

dashboard：部署kubernetes仪表板以及grafana和Influxdb

dns：部署kube dns

storage：创建默认存储类，此存储类使用指向主机上目录的hostpath-provisioner，持久卷在${SNAP_COMMON}/default-storage下创建

ingress：创建入口控制器（网关，统一入口，类似于zuul）

istio：部署核心Istio服务，使用microk8s.istioctl命令管理部署

registry：部署映像私有注册表并在localhost:32000上公开它

metrics-server：部署度量服务器

prometheus：部署Prometheus Operator v0.25

fluentd：部署Elasticsearch-Kibana-Fluentd日志和监控解决方案

jaeger：在“最简单”的配置中部署Jaeger Operator v1.8.2

展开全文 >>

安卓手机搭建Web服务几种方式

安卓手机搭建Web服务几种方式

1. KSWEB

官网： http://www.kslabs.ru/

KSWEB is

  • Lighttpd server v1.4.35
  • Nginx v1.13.1
  • Apache v2.4.28
  • PHP v7.3.3
  • MySQL v5.6.38
  • Msmtp v1.6.1
  • Web Interface v3.0
  • KSWEBFTP v1.0
  • Editor v1.1
  • Scheduler

手机可不Root(默认开启8080,开80端口需要获取root权限)

此软件建议购买正版，标准版约为2.99美元，贝宝付款，貌似也支持支持支付宝和微信

20200227230116

2. Termux

官网：https://termux.com

Github: https://github.com/termux/termux-app

Android下一个高级的终端模拟器,开源且不需要root,支持软件包管理,可以当作一台Linux机器来操作

软件包非常的小，安装即可使用，非常方便

软件安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
设置root密码
passwd root

pkg install curl wget git unzip unrar vim openssh nginx


启动ssh-默认端口8020
sshd


启动nginx-默认端口8080
nginx

nginx配置文件位置: /data/data/com.termux/files/usr/etc/nginx
nginx默认html位置:/data/data/com.termux/files/usr/share/nginx/html


安装oh-my-zsh
sh -c "$(curl -fsSL https://github.com/Cabbagec/termux-ohmyzsh/raw/master/install.sh)"



----------------------------Python环境-----------------------------
安装python2.7
pkg install python2
使用python2命令启动python2环境.

 
安装python3
pkg instll python
使用python命令启动python3环境.


升级pip版本
python2 -m pip install --upgrade pip 
python -m pip install --upgrade pip
-------------------------------------------------------------------


也可使用apt安装软件
apt install nmap

----------------------------Root权限-----------------------------
非root状态手机
pkg install proot
终端输入termux-chroot即可模拟root环境

手机已经root
pkg install tsu
终端下输入tsu即可切换root用户



arm架构的内网穿透程序可直接运行在上面

Termux API

该插件可以让终端访问手机的一些硬件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
先安装Termux-API的应用包，再在终端上执行pkg install termux-api

获取电池信息
termux-battery-status
获取相机信息
termux-camera-info
获取与设置剪贴板
termux-clipboard-get
设置新的剪贴板内容
termux-clipboard-set 12345
获取通讯录列表
termux-contact-list
查看短信内容列表
termux-sms-list
发送短信
termux-sms-send
拨打电话
termux-telephony-call NUMBER
获取当前WiFi连接信息
termux-wifi-connectioninfo
获取最近一次WiFi扫描信息
termux-wifi-scaninfo
打开百度
termux-open-url http://www.baidu.com

20200227184415

3. Linux Deploy

Linux deploy是一个可以快速在Android设备上安装运行Linux操作系统的App，可以安装Centos,Ubuntu,Debian等操作系统

手机需要Root

20200227230116

展开全文 >>

局域网办公通信工具-内网通

说明

官网: http://www.51nwt.com

内网通是专为中小企业打造的局域网办公沟通软件,高效局域网聊天工具,帮助企业无外网下的内部沟通更加高效安全。

软件特点及功能

  • 无需注册，无需服务端，自动检索添加用户
  • 单用户，群聊都支持
  • 文件传输，文件共享，内网传输，速度快，降低公司外网压力
  • 远程桌面协助
  • 换肤、表情包、消息回执、消息撤回、邮件提醒
  • 内网应用，文件都在内网，安全相对于外网，更放心

个人觉得此局域网聊天工具功能齐全，且能避免公司信息、文件通过外网传输，降低安全风险，值得中小企业使用，如果再有安卓版就更好了。

软件截图

见官网： http://www.51nwt.com/products.htm

同类软件

  1. 飞鸽
  2. 飞秋

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家