1 MongoDB相关概念

1.1 业务应用场景

mongodb满足三高需求

High performance - 对数据库高并发读写的需求
Huge Storage - 对海量数据的高效率存储和访问的需求
High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求

应用场景：

社交场景：用户信息，朋友圈信息，通过地理位置实现附近的人
游戏场景：游戏用户信息、用户装备、积分
物流场景
物联网场景
视频直播

数据操作的特点：

数据量大
写入操作频繁
价值较低的数据，对事物性要求不高

1.2 简述

mongodb是一个开源、高性能、无模式的文档型数据库。
他支持的数据结构非常松散，类似于json的格式叫bson
monddb的记录是一个文档，由字段和值对组成的数据结构

1.3 体系结构

1.4 数据模型

mongob的最小存储单位就是文档对象。文档对相对应关系型数据库得行。数据在mongodb中以bson文档的格式存储在磁盘上，bson具有轻量级、可便利性、高效性特点。

数据类型	描述
String	字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。
Integer	整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。
Boolean	布尔值。用于存储布尔值（真/假）。
Double	双精度浮点值。用于存储浮点值。
Array	用于将数组或列表或多个值存储为一个键。
Timestamp	时间戳。记录文档修改或添加的具体时间。
Object	用于内嵌文档。
Null	用于创建空值。
Date	日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。
Object ID	对象 ID。用于创建文档的 ID。
Binary Data	二进制数据。用于存储二进制数据。
Code	代码类型。用于在文档中存储 JavaScript 代码。
Regular expression	正则表达式类型。用于存储正则表达式。

objectid：

前四字节表示创建unix时间戳
接下来三个字节是机器识别码
紧接着两个字节有进程id组成的pid
最后三字节是随机数
mongodb中存储文档必须有一个_id键，默认是objectid

1.5 mongodb特点

高性能
高可用性：提供自动故障转移和数据冗余
高扩展性
丰富的查询支持

2 单机部署

2.1 windows

MongoDB的版本命名规范如：x.y.z；
y为奇数时表示当前版本为开发版，如：1.5.2、4.1.13；
y为偶数时表示当前版本为稳定版，如：1.6.3、4.0.10；
z是修正版本号，数字越大越好。

命令行参数方式启动模式

解压压缩包
手动创建一个目录存放数据文件：data/db

在bin目录中打开命令行提示符，输入

mongod --dbpath=..\data\db

mongoDB的默认端口是27017，如果我们想改变默认的启动端口，可以通过—port来指定端口

配置文件方式启动服务

在解压目录中新建config文件，在该文件夹下新建配置文件mongod.conf

storage:
    #The directory where the mongod instance stores its data.Default Value is "\data\db" on Windows.
    dbPath: D:\02_Server\DBServer\mongodb-win32-x86_64-2008plus-ssl-4.0.1\data

启动方式

mongod -f ../config/mongod.conf
或
mongod --config ../config/mongod.conf

更多参数设置

systemLog:
    destination: file
    #The path of the log file to which mongod or mongos should send all diagnostic logging information
    path: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/log/mongod.log"
    logAppend: true
storage:
    journal:
        enabled: true
  #The directory where the mongod instance stores its data.Default Value is "/data/db".
  dbPath: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/data"
net:
  #bindIp: 127.0.0.1
  port: 27017
setParameter:
    enableLocalhostAuthBypass: false

2.2 shell连接

mongo mongo —host=127.0.0.1 —port=27017

查看已有数据库

show databases

退出mongodb

exit

2.3 compass图形化界面客户

GUI客户端 https://downloads.mongodb.com/compass/mongodb-compass-1.21.2-win32-x64.zip

2.4 linux

（1）先到官网下载压缩包
（2）上传压缩包到Linux中，解压到当前目录：

tar -xvf mongodb-linux-x86_64-4.0.10.tgz

（3）移动解压后的文件夹到指定的目录中：

mv mongodb-linux-x86_64-4.0.10 /usr/local/mongodb

（4）新建几个目录，分别用来存储数据和日志：

#数据存储目录
mkdir -p /mongodb/single/data/db
#日志存储目录
mkdir -p /mongodb/single/log

（5）新建并修改配置文件

vi /mongodb/single/mongod.conf

配置文件的内容如下：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  # #The path of the log file to which mongod or mongos should send all diagnostic logging information
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/single/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  ##The directory where the mongod instance stores its data.Default Value is "/data/db".
  dbPath: "/mongodb/single/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
net:
  #服务实例绑定的IP，默认是localhost
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口，默认是27017
  port: 27017

（6）启动服务

/usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf

查看进程

 ps -ef |grep mongod

连接compass工具：如果连接不上，需要配置防火请放行，或直接关闭linux防火墙

#查看防火墙状态
systemctl status firewalld
#临时关闭防火墙
systemctl stop firewalld
#开机禁止启动防火墙
systemctl disable firewalld

（7）关闭服务
快速关闭方法（快速，简单，数据可能会出错）

kill -2 54410

如果数据损坏，则需要进行如下操作

删除lock文件： rm -f /mongodb/single/data/db/*.lock
修复数据：/usr/local/mongdb/bin/mongod --repair --dbpath=/mongodb/single/data/db

标准的关闭方法（数据不容易出错，但麻烦）
通过mongo客户端中的shutdownServer命令关闭服务

//客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先登录认证才行。
mongo --port 27017

//#切换到admin库
use admin

//关闭服务
db.shutdownServer()

3 常用命令

3.1 数据库操作

选择和创建数据库

use 数据库名称

查看数据库

show 数据库

查看当前正在使用的数据库

db

mongodb中默认的数据库为test

删除数据库

db.dropDatabase()

3.2 数据库规则

命名规范需要满足以下条件的utf-8字符串

不能是空字符串
不得含有’ ‘（空格)、.、$、/、\和\0 (空字符)
全部小写
最多64字节

有一些数据库名是保留的

admin：从权限的角度来看，这是”root”数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
config: 当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信息。

3.3 集合操作

集合类似关系数据库中的表

注意：集合只有在内容插入后才会创建，就是说，创建集合（数据表）后要再插入一个文档（记录）

3.3.1 集合的显示创建

db.createCollection(name)

查看当前库中的表

show collections
或
show tables

3.3.2 集合的命名规范

集合名不能是空字符串
集合中不能含有\0字符，这个字符表示集合名的结尾
集合名不能以”System.”开头，这是为系统集合保留的前缀
用户创建的集合名字不能能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合包含该字符，除非你要访问这种系统创建的集合，否则千万不要在名字里出现$

3.3.2 集合的隐式创建

当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。
详见文档的插入章节。
提示：通常我们使用隐式创建文档即可

3.3.3 集合的删除

db.collection.drop()
或
db.集合.drop()

3.4 文档基本CRUD

文档（document）的数据结构和 JSON 基本一样。
所有存储在集合中的数据都是 BSON 格式。

3.4.1 文档的插入

（1）单个文档插入

insert() save()

db.collection.insert(
  <document or array of documents>,
  {
    writeConcern: <document>,
    ordered: <boolean>
  }
)

db.comment.insert(
    {"articleid":"100000",
  "content":"今天天气真好，阳光明媚",
  "userid":"1001",
  "nickname":"Rose",
  "createdatetime":new Date(),
  "likenum":NumberInt(10),
  "state":null}
)

如果comment集合不存在，则会隐式创建
mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)
插入当前日期使用new Date()
插入的数据没有指定_id，会自动生成主键值
如果某字段没值，可以赋值null，或不写该字段

注意：

文档中的键值对是有序的
文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型
mongodb区分类型和大小写
mongodb的文档不能有重复的键
文档的键是字符串，除了少数例外情况，键可以使用任意utf-8字符

文档键命名规范：

键不能有空字符（/0），这个字符用来表示键的结尾
.和$有特别的意义，只有在特定环境下才能使用
以下划线”_”开头的键是要保留的

（2）批量插入

db.collection.insertMany(
  [ <document 1> , <document 2>, ... ],
  {
    writeConcern: <document>,
    ordered: <boolean>
  }
)

db.comment.insertMany([
  {"_id":"1",
  "articleid":"100001",
  "content":"我们不应该把清晨浪费在手机上，健康很重要，一杯温水幸福你我他。",
  "userid":"1002",
  "nickname":"相忘于江湖",
  "createdatetime":new Date("2019-08-05T22:08:15.522Z"),
  "likenum":NumberInt(1000),
  "state":"1"},
  {"_id":"2",
  "articleid":"100001",
  "content":"我夏天空腹喝凉开水，冬天喝温开水",
  "userid":"1005",
  "nickname":"伊人憔悴",
  "createdatetime":new Date("2019-08-05T23:58:51.485Z"),
  "likenum":NumberInt(888),
  "state":"1"}
]);

插入时制定了_id，则主键就是该值
如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉
可以使用try catch进行异常捕捉处理

3.4.2 文档的查询

db.collection.find(<query>, [projection])

（1）查询所有

db.comment.find()
或
db.comment.find({})

查询某记录：参数是json格式

db.comment.find({userid:'1003'})

查询某记录，返回符合要求的第一条记录

db.comment.findOne({userid:'1003'})

（2）投影查询

如果要查询的结果返回部分字段，则需要使用投影查询

db.comment.find({userid:"1003"},{userid:1,nickname:1})

默认_Id会显示

db.comment.find({userid:"1003"},{userid:1,nickname:1,_id:0})

查询所有数据，只显示某两个字段

db.comment.find({},{userid:1,nickname:1})

3.4.3 文档的更新

db.collection.update(query, update, options)

//或

db.collection.update(
  <query>,
  <update>,
  {
    upsert: <boolean>,
    multi: <boolean>,
    writeConcern: <document>,
    collation: <document>,
    arrayFilters: [ <filterdocument1>, ... ],
    hint: <document|string> // Available starting in MongoDB 4.2
  }
)

（1）覆盖的修改

修改低id为1，点赞量为1001

db.comment.update({_id:"1"},{likenum:NumberInt(1001)})

除了likenum字段，其他字段都不见了

（2）局部修改

使用修改器$set实现

db.comment.update({_id:"2"},{$set:{likenum:NumberInt(889)}})

（3）批量修改

不加{multi:true}，则只更新符合条件的第一条记录

//默认只修改第一条数据
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒2"}})

//修改所有符合条件的数据
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒大帝"}},{multi:true})

（4）列值增长的修改

使用$inc运算符

db.comment.update({_id:"3"},{$inc:{likenum:NumberInt(1)}})

3.4.4 删除文档

删除文档的语法结构

db.集合名称.remove(条件)

e.g. 删除id为1的信息
db.comment.remove({id:"1"})

全部删除

db.comment.remove({})

3.5 文档的分页查询

3.5.1 统计查询

使用count()

db.collection.count(query, options)

query：查询选择条件
options：可选，用于修改计数的额外选项

统计所有记录数：db.comment.count() 按条件统计记录数：db.comment.count({userid:”1003”})

3.5.2 分页列表查询

使用limit()方法读取指定数量的数据
使用skip()方法跳过指定数量的数据

db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)

返回指定条数的记录：db.comment.find().limit(3) 默认返回20 跳过记录条数：db.comment.find().skip(3)

3.5.3 排序查询

使用sort()对数据进行排序
-1代表降序，1代表升序

db.集合名称。find().sort(排序方式)

skip()，limilt()，sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关

3.6 文档的更多查询

3.6.1 正则的复杂条件查询

mongodb的模糊查询是通过正则表达式的方式实现的

db.集合.find({字段:/正则表达式/})

正则表达式是js的语法，直接量的写法

查询内容包含“开水”的文档：db.comment.find({content:/开水/}) 查询内容包以“专家”的文档：db.comment.find({content:/^专家/})

3.6.2 比较查询

<、<=、>、>=

db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value
db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value
db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value
db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value
db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value

3.6.3 包含查询

包含使用$in操作符
不包含使用$nin操作符

db.comment.find({userid:{$in:["1003","1004"]}})

3.6.4 条件连接查询

查询同时满足两个以上条件，使用$and操作符将条件进行关联
两个以上条件之间是或者的关系，我们使用 $or操作符进行关联

$or:[ { },{ },{ } ]

$and:[ { },{ },{ } ]

3.7 小结

选择切换数据库：use articledb
插入数据：db.comment.insert({bson数据})
查询所有数据：db.comment.find();
条件查询数据：db.comment.find({条件})
查询符合条件的第一条记录：db.comment.findOne({条件})
查询符合条件的前几条记录：db.comment.find({条件}).limit(条数)
查询符合条件的跳过的记录：db.comment.find({条件}).skip(条数)
修改数据：db.comment.update({条件},{修改后的数据}) 或db.comment.update({条件},{$set:{要修改部分的字段:数据})
修改数据并自增某字段值：db.comment.update({条件},{$inc:{自增的字段:步进值}})
删除数据：db.comment.remove({条件})
统计查询：db.comment.count({条件})
模糊查询：db.comment.find({字段名:/正则表达式/})
条件比较运算：db.comment.find({字段名:{$gt:值}})
包含查询：db.comment.find({字段名:{$in:[值1，值2]}})或db.comment.find({字段名:{$nin:[值1，值2]}})
条件连接查询：db.comment.find({$and:[{条件1},{条件2}]})或db.comment.find({$or:[{条件1},{条件2}]})

4 索引

4.1 概述

索引支持在mongdb中高效的执行查询，如果没有索引，mongodb必须执行全集合扫描，即扫描集合中的每个文档，已选择与查询语句匹配的文档

如果查询存在释放的索引，mongodb可以使用索引显示必须检查的文档数

索引是特殊的数据结构，它以易于便利的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。

索引项的排序支持有效的相等匹配和基于范围的查询操作。

MongoDB还可以使用索引中的排序返回排序结果。

MongoDB索引使用B树数据结构（确切的说是B-Tree，MySQL是B+Tree）

4.2 索引的类型

4.2.1 单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）。
对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引

4.2.2 复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。
复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。

4.2.3 其他索引

地理空间索引（Geospatial Index）
为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引。
文本索引（Text Indexes）
MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”），而将集合中的词作为词干，只存储根词。
哈希索引（Hashed Indexes）
为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询。

4.3 索引的管理操作

4.3.1 索引的查看

索引的查看：db.collection.getIndexes()        结果显示默认_id索引

注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键。

4.3.2 索引的创建

索引的创建：db.collection.createIndex(keys, options)

4.3.3 索引的移除

指定索引的移除

db.collection.dropIndex(index)

删除 comment 集合中 userid 字段上的升序索引：db.comment.dropIndex({userid:1})

所有索引的移除

db.collection.dropIndexes()

提示： _id 的字段的索引是无法删除的，只能删除非 _id 字段的索引。

4.4 索引的使用

4.4.1 执行计划

分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等。
那么，通常，我们想知道，建立的索引是否有效，效果如何，都需要通过执行计划查看。

db.collection.find(query,options).explain(options)

关键点： “stage” : “COLLSCAN”, 表示全集合扫描

4.4.2 涵盖的查询

Covered Queries
当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。这些覆盖的查询可以非常有效。

5 副本集

5.1 简介

mongodb中的副本集是一组维护相同数据集的mongodb服务。副本集可提供冗余和高可用性，是所有生产不熟的基础。副本集类似有自动故障恢复功能的主从集群。通俗讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时不需要用户干预的情况下自动切换其他设备服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载

（1）冗余和数据可用性
复制提供冗余并提高数据可用性。通过在不同数据库服务器上提供多个数据副本，复制可提供一定级别的容错功能，以防止丢失单个数据库服务器。

在某些情况下，复制可以提供增加的读取性能，因为客户端可以将读取操作发送到不同的服务上，在不同数据中心维护数据副本可以增加分布式应用程序的数据位置和可用性。您还可以为专用目的维护其他副本，例如灾难恢复，报告或备份。

（2）MongoDB中的复制
副本集是一组维护相同数据集的mongod实例。副本集包含多个数据承载节点和可选的一个仲裁节点。在承载数据的节点中，一个且仅一个成员被视为主节点，而其他节点被视为次要（从）节点。

主节点接收所有写操作。副本集只能有一个主要能够确认具有{w：“most”}写入关注的写入; 虽然在某些情况下，另一个mongod实例可能暂时认为自己也是主要的。主要记录其操作日志中的数据集的所有更改，即oplog。

辅助(副本)节点复制主节点的oplog并将操作应用于其数据集，以使辅助节点的数据集反映主节点的数据集。如果主要人员不在，则符合条件的中学将举行选举以选出新的主要人员。

5.2 副本集的三个角色

副本集有两种类型三种角色

两种类型：
主节点（Primary）类型：数据操作的主要连接点，可读写。
次要（辅助、从）节点（Secondaries）类型：数据冗余备份节点，可以读或选举。

三种角色：
主要成员（Primary）：主要接收所有写操作。就是主节点。
副本成员（Replicate）：从主节点通过复制操作以维护相同的数据集，即备份数据，不可写操作，但可以读操作（但需要配置）。是默认的一种从节点类型。
仲裁者（Arbiter）：不保留任何数据的副本，只具有投票选举作用。当然也可以将仲裁服务器维护为副本集的一部分，即副本成员同时也可以是仲裁者。也是一种从节点类型。

如果你的副本+主节点的个数是偶数，建议加一个仲裁者，形成奇数，容易满足大多数的投票。
如果你的副本+主节点的个数是奇数，可以不加仲裁者。
仲裁者的目的是通过响应其他副本集成员的心跳和选举请求来维护副本集中的仲裁。

5.3 副本集的创建

5.3.1 创建主节点

创建存放日志和数据的目录

mkdir -p /mongodb/replica_sets/myrs_27017/log \ &
mkdir -p /mongodb/replica_sets/myrs_27017/data/db

新建或修改配置文件

vim /mongodb/replica_sets/myrs_27017/mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27017/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27017/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
  enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27017
replication:
  #副本集的名称
  replSetName: myrs

启动节点服务

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27017/mongod.conf

5.3.2 创建副本节点

新建存放数据和日志的目录

mkdir -p /mongodb/replica_sets/myrs_27018/log \ &
mkdir -p /mongodb/replica_sets/myrs_27018/data/db

新建或修改配置文件

vim /mongodb/replica_sets/myrs_27018/mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27018/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27018/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
  enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myrs

启动节点

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27018/mongod.conf

5.3.3 创建仲裁节点

新建存放数据和日志的目录

mkdir -p /mongodb/replica_sets/myrs_27019/log \ &
mkdir -p /mongodb/replica_sets/myrs_27019/data/db

新建或修改配置文件

vim /mongodb/replica_sets/myrs_27019/mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27019/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27019/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
  enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27019/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myrs

启动节点

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27019/mongod.conf

5.3.4 初始化配置副本集和主节点

使用客户端命令连接任意一个节点，尽量连接主节点

/usr/local/mongodb/bin/mongo --host=180.76.159.126 --port=27017

初始化副本集

rs.initiate(configuration)

注意：

“ok”的值为1，说明创建成功
命令行提示符发生变化，变成了一个从节点角色，此时默认不能读写。稍等片刻，回车，变成主节点。

5.3.5 查看副本集的配置内容

rs.conf(configuration) 返回包含当前副本集配置的文档

注意：

“_id” : “myrs” ：副本集的配置数据存储的主键值，默认就是副本集的名字
“members” ：副本集成员数组，此时只有一个： “host” : “180.76.159.126:27017” ，该成员不是仲裁节点： “arbiterOnly” : false ，优先级（权重值）： “priority” : 1,
“settings” ：副本集的参数配置。

副本集配置的查看命令：db.system.replset.find()

5.3.5 查看副本集状态

rs.status()

返回包含状态信息的文档。此输出使用从副本集的其他成员发送的心跳包中获得的数据反映副本集的当前状态

注意：

“set” : “myrs” ：副本集的名字
“myState” : 1：说明状态正常
“members” ：副本集成员数组，此时只有一个： “name” : “180.76.159.126:27017” ，该成员的角色是 “stateStr” : “PRIMARY”, 该节点是健康的： “health” : 1 。
5.3.6 添加副本集从节点
在主节点添加从节点，将其他成员加入到副本集
```
rs.add(host, arbiterOnly)
```
5.3.8 添加仲裁从节点
```
rs.addArb(host)
```

5.4 副本集的数据读写操作

默认情况下，从节点是没有读写权限的，可以增加读的权限，但需要进行设置。

设置读操作权限

rs.slaveOk()
#或
rs.slaveOk(true)

该命令是 db.getMongo().setSlaveOk() 的简化命令。

仲裁者节点，不存放任何业务数据的，可以登录查看。只存放副本集配置等数据

5.5 主节点的选举原则

5.5.1 主节点选举的触发条件

MongoDB在副本集中，会自动进行主节点的选举，主节点选举的触发条件：
1）主节点故障
2）主节点网络不可达（默认心跳信息为10秒）
3）人工干预（rs.stepDown(600)）

5.5.2 选举规则是根据票数来决定谁获胜：

票数最高，且获得了“大多数”成员的投票支持的节点获胜。
- “大多数”的定义为：假设复制集内投票成员数量为N，则大多数为 N/2 + 1。例如：3个投票成员，则大多数的值是2。
- 当复制集内存活成员数量不足大多数时，整个复制集将无法选举出Primary，复制集将无法提供写服务，处于只读状态。
若票数相同，且都获得了“大多数”成员的投票支持的，数据新的节点获胜。
- 数据的新旧是通过操作日志oplog来对比的。

5.5.3 修改优先级

在获得票数的时候，优先级（priority）参数影响重大。
可以通过设置优先级（priority）来设置额外票数。优先级即权重，取值为0-1000，相当于可额外增加0-1000的票数，优先级的值越大，就越可能获得多数成员的投票（votes）数。指定较高的值可使成员更有资格成为主要成员，更低的值可使成员更不符合条件。默认情况下，优先级的值是1

修改从节点的优先级

先将配置导入cfg变量：cfg=rs.conf()

修改值（ID号默认从0开始）：cfg.members[1].priority=2

重新加载配置：rs.reconfig(cfg)

5.6 故障测试

5.6.1 副本节点的故障测试

关闭27018副本节点：主节点和仲裁节点对27018的心跳失败。因为主节点还在，因此，没有触发投票选举。
此时，在主节点写入数据。再启动从节点，会发现，主节点写入的数据，会自动同步给从节点。

5.6.2 主节点故障测试

关闭27017节点。从节点和仲裁节点对27017的心跳失败，当失败超过10秒，此时因为没有主节点了，会自动发起
投票。而副本节点只有27018，因此，候选人只有一个就是27018，开始投票。27019向27018投了一票，27018本身自带一票，因此共两票，超过了“大多数”。27019是仲裁节点，没有选举权，27018不向其投票，其票数是0.
最终结果，27018成为主节点。具备读写功能。在27018写入数据查看。再启动27017节点，发现27017变成了从节点，27018仍保持主节点。登录27017节点，发现是从节点了，数据自动从27018同步。从而实现了高可用。

5.6.3 仲裁节点和主故障节点

先关掉仲裁节点27019，关掉现在的主节点27018
登录27017后，发现，27017仍然是从节点，副本集中没有主节点了，导致此时，副本集是只读状态，无法写入。
为啥不选举了？因为27017的票数，没有获得大多数，即没有大于等于2，它只有默认的一票（优先级是1）
如果要触发选举，随便加入一个成员即可。

如果只加入27019仲裁节点成员，则主节点一定是27017，仲裁节点不参与选举，但参与投票。
如果只加入27018节点，会发起选举。因为27017和27018都是两票，则按照谁数据新，谁当主节点。

5.6.4 仲裁节点和从节点故障

先关掉仲裁节点27019，关掉副本节点27018
10秒后，27017主节点自动降级为副本节点。（服务降级）
副本集不可写数据了，已经故障

5.7 compass连接副本集

如果使用云服务需要修改配置中的主节点ip

var config = rs.config();
config.members[0].host="180.76.159.126:27017";
rs.reconfig(config)

5.8 SpringDataMongoDB连接副本集

在application.yml中配置

spring:
    data:
  mongodb:
      uri:mongodb://host1,host2,host3/articledb?connect=replicaSet&slaveOk=true&replicaSet=副本集名字

slaveOk=true：开启副本节点读的功能，可实现读写分离。
connect=replicaSet：自动到副本集中选择读写的主机。如果slaveOK是打开的，则实现了读写分离

SpringDataMongoDB自动实现了读写分离：

写操作时，只打开主节点连接
读操作时，同时打开主节点和从节点连接，但是用从节点获取数据

mongodb客户端连接语法：

mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]] [/[database][?options]]

mongodb:// 这是固定的格式，必须要指定。
username:password@ 可选项，如果设置，在连接数据库服务器之后，驱动都会尝试登陆这个数据库
host1 必须的指定至少一个host, host1 是这个URI唯一要填写的。它指定了要连接服务器的地址。如果要连接复制集，请指定多个主机地址。
portX 可选的指定端口，如果不填，默认为27017
/database 如果指定username:password@，连接并验证登陆指定数据库。若不指定，默认打开test 数据库。
?options 是连接选项。如果不使用/database，则前面需要加上/。所有连接选项都是键值对name=value，键值对之间通过&或;（分号）隔开

6 分片集群-sharded cluster

6.1 分片概念

分片是一种跨多台机器分布数据的方法，mongodb使用分片来支持具有非常大的数据集和高吞吐量操作的部署

分片即数据的拆分，将其分散存在不同的机器上的过程。有时也用分区来表示这个概念。将数据分散存在不同的机器上，不需要功能强大的大型计算机就可以存储更多的数据，处理更多的负载。

具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量

有两种解决系统增长的方法：垂直扩展和水平扩展
垂直扩展意味着增加单个服务器的容量。
水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量
mongodb支持通过分片进行水平扩展

6.2 分片集群包含的组件

分片（存储）：每个分片包含分片数据的子集。每个分片都可以部署为副本集
mongos（路由）：mongos充当查询路由，在客户端应用程序和分片集群之间提供接口
config servers（调度的路由）：配置服务器存储集群的元数据和配置设置。

mongodb在集合级别对数据进行分片，将集合数据分布在集群中的分片上

6.3 分片集群架构目标

两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2）=十一个服务节点

6.4 分片（存储）节点副本集的创建

所有的的配置文件都直接放到 sharded_cluster 的相应的子目录下面，默认配置文件名字mongod.conf

6.4.1 第一套副本集

创建存放数据和日志的记录：

mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/data/db

新建或修改配置文件

vim /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf

vim /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf

vim /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27018/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
#启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

启动第一套副本集：一主一副本一仲裁

 /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf

  /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf

   /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

ps -ef |grep mongod

创建主节点：/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27018

初始化副本集命令：rs.initiate()

查看副本集情况：rs.status()

主节点配置查看：rs.conf()

添加副本节点：rs.add("180.76.159.126:27118")

添加仲裁节点：rs.addArb("180.76.159.126:27218")

6.4.2 第二套副本集

准备存放数据和日志的目录

mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/data/db

新建或修改配置文件

启动第二套副本集：一主一副本一仲裁

创建主节点：/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27318

初始化副本集命令：rs.initiate()

查看副本集情况：rs.status()

主节点配置查看：rs.conf()

添加副本节点：rs.add("180.76.159.126:27418")

添加仲裁节点：rs.addArb("180.76.159.126:27518")

6.5 配置节点副本集的创建

准备存放数据和日志的目录

mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/data/db \ &

mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/data/db \ &

mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/data/db

新建或修改配置文件：

启动服务

创建主节点：/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27019

初始化副本集命令：rs.initiate()

查看副本集情况：rs.status()

主节点配置查看：rs.conf()

添加副本节点：rs.add("180.76.159.126:27119")
                          rs.add("180.76.159.126:27219")

6.6 路由节点的创建和操作

6.6.1 第一个路由节点的创建和链接

创建存放数据和日志的目录：mkdir -p /mongodb/sharded_cluster/mymongos_27017/log

配置文件：vi /mongodb/sharded_cluster/mymongos_27017/mongos.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/mymongos_27017/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: /mongodb/sharded_cluster/mymongos_27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27017
sharding:
  #指定配置节点副本集
  configDB:
  myconfigrs/180.76.159.126:27019,180.76.159.126:27119,180.76.159.126:27219

启动：/usr/local/mongodb/bin/mongos -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf

客户端登录mongos：/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27017

此时，不能写数据
原因：通过路由节点操作，现在只是连接了配置节点，还没有连接分片数据节点，因此无法写入业务数据

properties配置文件参考

logpath=/mongodb/sharded_cluster/mymongos_27017/log/mongos.log
logappend=true
bind_ip_all=true
port=27017
fork=true
configdb=myconfigrs/180.76.159.126:27019,180.76.159.126:27119,180.76.159.126:27219

6.6.2 在路由节点上进行分片配置操作

添加分片：sh.addShard("IP:Port")
查看分片状态：sh.status()
移除分片：use admin
                 db.runCommand( { removeShard: "myshardrs02" } )

如果添加分片失败，需要先手动移除分片，检查添加分片的信息的正确性后，再次添加分片

注意：如果只剩下最后一个shard，是无法删除的
移除时会自动转移分片数据，需要一个时间过程。
完成后，再次执行删除分片命令才能真正删除。

添加第一套副本：sh.addShard(“myshardrs01/192.168.0.2:27018,180.76.159.126:27118,180.76.159.126:27218”) 添加第二套副本：sh.addShard(“myshardrs02/192.168.0.2:27318,180.76.159.126:27418,180.76.159.126:27518”)

开启分片功能：
sh.enableSharding("库名")
sh.shardCollection("库名.集合名",{"key":1})

集合分片：
sh.shardCollection(namespace, key, unique)

对集合进行分片时,你需要选择一个 片键（Shard Key） , shard key 是每条记录都必须包含的,且建立索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的数据块中,并将数据块均衡地分布到所有分片中.为了按照片键划分数据块,MongoDB使用基于哈希的分片方式（随机平均分配）或者基
于范围的分片方式（数值大小分配）。

分片规则一：哈希策略

对于基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块.在使用基于哈希分片的系统中,拥有”相近”片键的文档很可能不会存储在同一个数据块中,因此数据的分离性更好一些.
使用nickname作为片键，根据其值的哈希值进行数据分片

sh.shardCollection("articledb.comment",{"nickname":"hashed"})

sh.status()

分片规则二：范围策略

对于基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为数据块 ,每个数据块包含了片键在一定范围内的数据.
在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同
一个分片中.如使用作者年龄字段作为片键，按照点赞数的值进行分片：

sh.shardCollection("articledb.author",{"age":1})

注意的是：
1）一个集合只能指定一个片键，否则报错。
2）一旦对一个集合分片，分片键和分片值就不可改变。如：不能给集合选择不同的分片键、不能更新分片键的值。
3）根据age索引进行分配数据。

基于范围的分片方式与基于哈希的分片方式性能对比：

基于范围的分片方式提供了更高效的范围查询,给定一个片键的范围,分发路由可以很简单地确定哪个数据块存储了请求需要的数据,并将请求转发到相应的分片中.
不过,基于范围的分片会导致数据在不同分片上的不均衡,有时候,带来的消极作用会大于查询性能的积极作用.比如,如果片键所在的字段是线性增长的,一定时间内的所有请求都会落到某个固定的数据块中,最终导致分布在同一个分片中.在这种情况下,一小部分分片承载了集群大部分的数据,系统并不能很好地进行扩展.
与此相比,基于哈希的分片方式以范围查询性能的损失为代价,保证了集群中数据的均衡.哈希值的随机性使数据随机分布在每个数据块中,因此也随机分布在不同分片中.但是也正由于随机性,一个范围查询很难确定应该请求哪些分片,通常为了返回需要的结果,需要请求所有分片.
如无特殊情况，一般推荐使用 Hash Sharding。
而使用 _id 作为片键是一个不错的选择，因为它是必有的，你可以使用数据文档 _id 的哈希作为片键。

查看集群的详细信息：db.printShardingStatus()

查看均衡器是否工作： sh.isBalancerRunning()

查看当前balancer状态：sh.getBalancerState()

6.6.3 分片后插入数据测试

哈希规则：

mongodb的shell是一个JavaScript的shell
从路由上插入的数据，必须包含片键，否则无法插入。
这种分配方式非常易于水平扩展：一旦数据存储需要更大空间，可以直接再增加分片即可，同时提升了性能。

使用db.comment.stats()查看单个集合的完整情况
使用sh.status()查看本库内所有集合的分片信息

范围规则

如果查看状态发现没有分片，则可能是由于以下原因造成了：
1）系统繁忙，正在分片中。
2）数据块（chunk）没有填满，默认的数据块尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试，可以将其改小，这里改为1M，操作如下：

use config
db.settings.save( { _id:"chunksize", value: 1 } )

测试完改回来

db.settings.save( { _id:"chunksize", value: 64 } )

6.6.4 再增加一个路由节点

创建文件夹，修改配置文件，启动
发现：第二个路由无需配置，因为分片配置都保存到了配置服务器中了。

6.7 SpringDataMongDB连接分片集群

spring:
#数据源配置
  data:
    mongodb:
      # 主机地址
      # host: 180.76.159.126
      # 数据库
      # database: articledb
      # 默认端口是27017
      # port: 27017
      #也可以使用uri连接
      # uri: mongodb://192.168.40.134:28017/articledb
      # 连接副本集字符串
      # uri:
      mongodb://180.76.159.126:27017,180.76.159.126:27018,180.76.159.126:27019/article
      db?connect=replicaSet&slaveOk=true&replicaSet=myrs
      #连接路由字符串
      uri: mongodb://180.76.159.126:27017,180.76.159.126:27117/articledb

通过日志发现，写入数据的时候，会选择一个路由写入：、

6.8 清除所有节点的数据

第一步：查询出所有的测试服务节点的进程并中断进程

查询出所有的测试服务节点的进程：ps -ef |grep mongo

中断进程：kill -2 进程编号

第二步：清除所有的节点的数据：

清除所有的节点的数据：
rm -rf /mongodb/sharded_cluster/myconfigrs_27019/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27119/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27219/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27018/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27118/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27218/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27318/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27418/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27518/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27017/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27117/data/db/*.*

第三步：查看或修改有问题的配置

第四步：依次启动所有节点，不包括路由节点

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

第五步：对两个数据分片副本集和一个配置副本集进行初始化和相关配置

第六步：检查路由mongos的配置，并启动mongos

第七步：mongo登录mongos，在其上进行相关操作。

7 安全认证

7.1 mongodb的用户和角色权限简介

默认情况下，mongodb实例启动运行是是没有启用用户权限控制的。即在实例本机服务器上都可以随意连接到实例进行各种操作。mongodb不会对连接客户端进行用户验证，这是非常危险的。

保障mongodb安全

使用新的端口，默认27017端口如果一旦知道了ip就能连接，不安全
设置mongodb的网络环境，最好部署到公司内网。这样外网访问不到。
开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客户端连接到集群的账号密码认证方式

概念

启用访问控制：

mongodb使用的是基于角色的访问控制来管理用户对实例的访问。
通过对用户授予一个或多个角色来控制用户访问数据库资源的权限和数据库操作的权限，在对用户分配角色之前，用户无法访问实例
为了强制开启用户访问控制(用户验证)，则需要在MongoDB实例启动时使用选项 —auth 或在指定启动配置文件中添加选项 auth=true 。

角色：
在mongodb中通过角色对用户授予相应数据库西苑的操作权限，每个角色当中的权限可以显式制定，也可以通过继承其他角色的权限，或者两者都存在的权限

权限：
权限由指定的数据库资源以及允许在指定资源上进行操作组成

资源
- 数据库
- 集合
- 部分集合
- 集群
操作
- 增
- 删
- 改
- 查

在角色定义时可以包含一个或多个已存在的角色，新创建的角色会继承包含的角色所有权限。

语句

查看所有角色权限（仅用户自定义角色）： db.runCommand({ rolesInfo: 1 })

查看所有角色权限（包含内置角色）： db.runCommand({ rolesInfo: 1, showBuiltinRoles: true })

查看当前数据库中的某个角色的权限：db.runCommand({ rolesInfo: "<rolename>" })

查询其他数据库中指定的角色权限： db.runCommand({ rolesInfo: { role: "<rolename>", db: "<database>" } }

常用的内置角色

数据库用户角色：read、readWrite
所有数据库用户角色：readAnyDatabase、readWriteAnyDatabase、userAdminAnyDatabase、dbAdminAnyDatabase
数据库管理角色：：dbAdmin、dbOwner、userAdmin
集群管理角色：clusterAdmin、clusterManager、clusterMonitor、hostManager
备份恢复角色：backup、restore
超级用户角色：root
内部角色：system

7.2 单实例环境

目标：对单实例的mongodb服务开启安全认证，这里的单实例指的是未开启副本集或分片的mongodb的实例

在已有的服务上操作

7.2.1 添加用户和权限

关闭已经启动的服务
配置mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/single/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/single/data/db"
  journal:
      #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
      enabled: true
processManagement:
#启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/single/log/mongod.pid"
net:
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #绑定的端口
  port: 27017

启动

/usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf

操作用户时，启动mongod服务时尽量不要开启授权

使用mongodb客户端登录

/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27017

创建两个管理员用户
一个是系统的超级管理员myroot
一个是admin库的管理用户

切换到admin库：use admin

创建：
db.createUser({user:"myroot",pwd:"123456",roles:["root"]})
db.createUser({user:"myadmin",pwd:"123456",roles:[{role:"userAdminAnyDatabase",db:"admin"}]})


查看创建用户情况： db.system.users.find()

删除用户： db.dropUser("myadmin")

修改密码： db.changeUserPassword("myroot", "123456")

注意：

如果对安全要求不是很高，防止超管泄露，则不要创建超管用户
Mongodb存储所有的用户信息在admin 数据库的集合system.users中，保存用户名、密码和数据库信息
如果不指定数据库，则创建的制定的权限的用户在所有的数据库上有效

认证测试

use admin
db,auth("myroot","123456")

创建普通用户
创建普通用户可以在没有开启认证的时候添加，也可以在开启认证之后添加，但开启认证之后，必须使用有操作admin库的用户登录认证后才能操作，底层都是讲用户信息保存在了admin数据库的集合system.users中

use articledb

db.createUser({user: "bobo", pwd: "123456", roles: [{ role: "readWrite", db:"articledb" }]})

db.auth("bobo","123456")

7.2.2 服务端开启认证和客户端连接登录

关闭已经启动的服务

启动认证服务

参数方式
配置文件方式

参数方式：/usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf --auth

配置文件方式：

在mongod.conf中添加
security:
  #开启授权认证
  authorization: enabled

启动：/usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf

客户端登陆

先登录，在mongo shell中认证
登陆时直接认证 ``` 先连接再认证

/usr/local/mongodb/bin/mongo —host 180.76.159.126 —port 27017

提示：开启认证后在登陆，发现打印的日志比较少。相关操作需要认证才可以

查询admin库中的system.users集合的用户 use admin db.system.users.find() db.auth(“myroot”,”123456”) db.system.users.find()

查询articledb中的comment集合的内容： use articledb db.comment.find() db.auth(“bobo”,”123456”) db.comment.find() 如果还不能认证，说明是太多的用户正在认证。解决方案：推出shell 重新进来登录认证 exit ./mongo —host 180.76.159.126 —port 27017 use articledb db.auth(“bobo”,”123456”) db.comment.find()

```
连接时直接认证

对admin数据库进行登录认证和相关操作
/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27017 --authenticationDatabase admin -u myroot -p 123456

对articledb数据库进行登录认证和相关操作
/usr/local/mongodb/bin/mongo --host 180.76.159.126 --port 27017 --authenticationDatabase articledb -u bobo -p 123456

-u：用户名
-p：密码
--authenticationDatabase：指定连接到哪个库

7.2.3 springdatamongodb连接认证

使用用户名和密码连接到mongodb服务器，必须使用username:password@hostname/dbname格式

application.yml

spring：
    data:
      mongodb:
        uri: mongodb://bobo:123456@180.76.159.126:27017/articledb

7.3 副本集环境

对副本集执行访问控制需要配置两个方面：

副本集和共享群集和各个节点成员之间使用内部身份验证，可以使用密钥或x.509证书
使用客户端连接到mongodb集群时，开启访问授权。对于集群外部的访问，如通过可视化客户端，或者通过代码连接的时候，需要开启授权

在keyfile身份验证中，副本集中的每个mongod实例都可以使用keyfile的内容作为共享密码。密钥文件内容必须在6到1024个字符之间，并且在UNIX/Linux文件所有者必须对文件至少有可读的权限

7.3.1 通过主节点添加一个管理员账号

只要在主节点上添加用户，副本集会自动同步

关闭已开启的副本集服务
开启认证前，添加用户和权限

7.3.2 创建副本集认证的key文件

生成一个key文件到当前文件夹中

openssl rand -base64 90 -out ./mongo.keyfile

chmod 400 ./mongo.keyfile

ll mongo.keyfile

拷贝
cp mongo.keyfile /mongodb/replica_sets/myrs_27017

cp mongo.keyfile /mongodb/replica_sets/myrs_27018

cp mongo.keyfile /mongodb/replica_sets/myrs_27019

7.3.3 修改配置文件指定keyfile

修改myrs_27017，myrs_27018，myrs_27019的mongod.conf

security:
  #KeyFile鉴权文件
  keyFile: /mongodb/replica_sets/myrs_27017/mongo.keyfile
  #开启认证方式运行
  authorization: enabled

7.3.4 重启副本集

如果副本集是开启状态，则分别关闭副本集中的每个mongod，从此节点开始，知道副本直到所有成员离线，包括仲裁者。主节点必须是最后一个成员关闭以避免潜在的回滚。

kill -2 54410 54361 54257

启动

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27017/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27018/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27019/mongod.conf

ps -ef | grep mongod

7.3.5 在主节点上添加普通账号

use  admin 
db.auth("myroot","123456")

#切换到要认证的库
use articledb
db.createUser({user: "bobo", pwd: "123456", roles: ["readWrite"]})

重新连接，使用bobo重新登录，查看数据

7.3.6 springdatamongodb连接副本集

使用username:password@hostname/dbname格式

application.yml

spring:
  #数据源配置
  data:
    mongodb:
      #副本集有认证的情况下，字符串连接
      uri:
      mongodb://bobo:123456@180.76.159.126:27017,180.76.159.126:27018,180.76.159.126:27019/articledb?connect=replicaSet&slaveOk=true&replicaSet=myrs

7.4 分片集群环境

分片集群的服务器环境和架构较为复杂，建议在搭建分片集群的时候，直接加入安全认证和服务器间的鉴权，如果之前有数据，可先将之前的数据备份出来，再还原回去。

7.4.1 停止集群服务

kill停服务

依次杀死mongos路由、配置副本集服务，分片副本集服务，从次节点开始。直到所有成员都离线。副本集杀的时候，建议先杀仲裁者，再杀副本节点，最后是主节点，以避免潜在的回滚。杀完要检查一下，避免有的没有杀掉

kill -2 54410

数据损坏

删除lock文件
rm -f /mongodb/sharded_cluster/myshardrs01_27018/data/db/*.lock \
/mongodb/sharded_cluster/myshardrs01_27118/data/db/*.lock \
/mongodb/sharded_cluster/myshardrs01_27218/data/db/mongod.lock \
/mongodb/sharded_cluster/myshardrs02_27318/data/db/mongod.lock \
/mongodb/sharded_cluster/myshardrs02_27418/data/db/mongod.lock \
/mongodb/sharded_cluster/myshardrs02_27518/data/db/mongod.lock \
/mongodb/sharded_cluster/myconfigrs_27019/data/db/mongod.lock \
/mongodb/sharded_cluster/myconfigrs_27119/data/db/mongod.lock \
/mongodb/sharded_cluster/myconfigrs_27219/data/db/mongod.lock

修复数据
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs01_27018/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs01_27118/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs01_27218/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs02_27318/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs02_27418/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myshardrs02_27518/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myconfigrs_27019/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myconfigrs_27119/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/myconfigrs_27219/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/mymongos_27017/data/db
/usr/local/mongodb/bin/mongod --repair --dbpath=/mongodb/sharded_cluster/mymongos_27117/data/db

标准停服务

通过mongo客户端中的shutdownServer命令来依次关闭各个服务
建议依次关闭仲裁节点、副本节点、主节点

//客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先登录认证才行。
mongo --port 27018

//告知副本集说本机要下线
rs.stepDown()

//#切换到admin库
use admin

//关闭服务
db.shutdownServer()

关闭顺序27018、27019、27017

7.4.2 创建副本集认证的key文件

openssl rand -base64 90 -out ./mongo.keyfile

chmod 400 ./mongo.keyfile

ll mongo.keyfile

拷贝
echo '/mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
/mongodb/sharded_cluster/myshardrs01_27118/mongo.keyfile
/mongodb/sharded_cluster/myshardrs01_27218/mongo.keyfile
/mongodb/sharded_cluster/myshardrs02_27318/mongo.keyfile
/mongodb/sharded_cluster/myshardrs02_27418/mongo.keyfile
/mongodb/sharded_cluster/myshardrs02_27518/mongo.keyfile
/mongodb/sharded_cluster/myconfigrs_27019/mongo.keyfile
/mongodb/sharded_cluster/myconfigrs_27119/mongo.keyfile
/mongodb/sharded_cluster/myconfigrs_27219/mongo.keyfile
/mongodb/sharded_cluster/mymongos_27017/mongo.keyfile
/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile' | xargs -n 1 cp -v
/root/mongo.keyfile

7.4.3 修改配置文件的keyfile
依次修改：myshardrs01_27018、myshardrs01_27118、myshardrs01_27218、myshardrs02_27318、myshardrs02_27418、myshardrs02_27518、myconfigrs_27019、myconfigrs_27119、myconfigrs_27219、

security:
  #KeyFile鉴权文件
  keyFile: /mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
  #开启认证方式运行
  authorization: enabled

mymongos_27017、mymongos_27117

security:
  #KeyFile鉴权文件
  keyFile: /mongodb/sharded_cluster/mymongos_27117/mongo.keyfile

mongos比mongod少了authorization：enabled的配置。原因是，副本集加分片的安全认证需要配置两方面的，副本集各个节点之间使用内部身份验证，用于内部各个mongo实例的通信，只有相同keyfile才能相互访问。
对于所有的mongod，才是真正的保存数据的分布。mongos只做路由，不保存数据。所以所有的mongod开启访问数据的授权authorization:enabled。这样用户只有账号密码正确才能访问到数据

7.4.3 启动

依次启动配置节点、分片节点、路由节点

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf

/usr/local/mongodb/bin/mongos -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf
/usr/local/mongodb/bin/mongos -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf

7.4.4 创建账号和认证

登录：/usr/local/mongodb/bin/mongo --port 27017

use admin
db.createUser({user:"myroot",pwd:"123456",roles:["root"]})
db.auth("myroot","123456")
use articledb
db.createUser({user: "bobo", pwd: "123456", roles: [{ role: "readWrite",db: "articledb" }]})
db.auth("bobo","123456")

通过mongos添加账号信息，只会保存到配置节点的服务中，具体的数据节点不保存账号信息，依次，分片中的账号信息不涉及到同步问题

7.4.5 springdatamongodb连接认证

application.yml

spring:
    data:
      mongodb:
        uri:mongodb://bobo:123456@180.76.159.126:27017,180.76.159.126:27117/articledb

mongodb

1 MongoDB相关概念

1.1 业务应用场景

1.2 简述

1.3 体系结构

1.4 数据模型

1.5 mongodb特点

2 单机部署

2.1 windows

命令行参数方式启动模式

配置文件方式启动服务

2.2 shell连接

2.3 compass图形化界面客户

2.4 linux

3 常用命令

3.1 数据库操作

3.2 数据库规则

3.3 集合操作

3.3.1 集合的显示创建

3.3.2 集合的命名规范

3.3.2 集合的隐式创建

3.3.3 集合的删除

3.4 文档基本CRUD

3.4.1 文档的插入

（1）单个文档插入

（2）批量插入

3.4.2 文档的查询

（1）查询所有

（2）投影查询

3.4.3 文档的更新

（1）覆盖的修改

（2）局部修改

（3）批量修改

3.4.4 删除文档

3.5 文档的分页查询

3.5.1 统计查询

3.5.2 分页列表查询

3.5.3 排序查询

3.6 文档的更多查询

3.6.1 正则的复杂条件查询

3.6.2 比较查询

3.6.3 包含查询

3.6.4 条件连接查询

3.7 小结

4 索引

4.1 概述

4.2 索引的类型

4.2.1 单字段索引

4.2.2 复合索引

4.2.3 其他索引

4.3 索引的管理操作

4.3.1 索引的查看

4.3.2 索引的创建

4.3.3 索引的移除

指定索引的移除

所有索引的移除

4.4 索引的使用

4.4.1 执行计划

4.4.2 涵盖的查询

5 副本集

5.1 简介

5.2 副本集的三个角色

5.3 副本集的创建

5.3.1 创建主节点

5.3.2 创建副本节点

5.3.3 创建仲裁节点

5.3.4 初始化配置副本集和主节点

5.3.5 查看副本集的配置内容

5.3.5 查看副本集状态

5.3.6 添加副本集从节点

5.3.8 添加仲裁从节点

5.4 副本集的数据读写操作

5.5 主节点的选举原则

5.5.1 主节点选举的触发条件

5.5.2 选举规则是根据票数来决定谁获胜：

5.5.3 修改优先级

5.6 故障测试

5.6.1 副本节点的故障测试

5.6.2 主节点故障测试

5.6.3 仲裁节点和主故障节点