mongodb_base.pdf

mongodb_advance.pdf

MongoDB概述

MongoDB是一个开源、高性能、无模式的文档型数据库,当初的设计就是用于简化开发和方便扩展,是NoSQL数据库产品中的一种。是最像关系型数据库(MySQL)的非关系型数据库。
它支持的数据结构非常松散,是一种类似于 JSON 的 格式叫BSON,所以它既可以存储比较复杂的数据类型,又相当的灵活。
MongoDB中的记录是一个文档,它是一个由字段和值对(fifield:value)组成的数据结构。MongoDB文档类似于JSON对象,即一个文档认 为就是一个对象。字段的数据类型是字符型,它的值除了使用基本的一些类型外,还可以包括其他文档、普通数组和文档数组

体系结构

MySQL和MongoDB对比
MongoDB - 图1

术语

相关术语对比
MongoDB - 图2

数据模型

MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以 BSON(Binary-JSON)文档的格式存储在磁盘上。
BSON(Binary Serialized Document Format)是一种类json的一种二进制形式的存储格式,简称Binary JSON。BSON和JSON一样,支持 内嵌的文档对象和数组对象,但是BSON有JSON没有的一些数据类型,如Date和BinData类型。
BSON采用了类似于 C 语言结构体的名称、对表示方法,支持内嵌的文档对象和数组对象,具有轻量性、可遍历性、高效性的三个特点,可 以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高,但它的缺点是空间利用率不是很理想。
Bson中,除了基本的JSON类型:string,integer,boolean,double,null,array和object,mongo还使用了特殊的数据类型。这些类型包括 date,object id,binary data,regular expression 和code。每一个驱动都以特定语言的方式实现了这些类型,查看你的驱动的文档来获取详 细信息。
BSON数据类型参考列表:
MongoDB - 图3

安装

上传压缩包到Linux中,解压
cd /usr/local/mongodb
tar -xvf mongodb-linux-x86_64-4.0.10.tgz
新建几个目录,分别用来存储数据和日志、配置
mkdir -p /usr/local/mongodb/data
mkdir -p /usr/local/mongodb/log
mkdir -p /usr/local/mongodb/conf
新建并修改配置文件
vim /usr/local/mongodb/conf/mongod.conf
内容如下:

  1. systemLog:
  2. #MongoDB发送所有日志输出的目标指定为文件
  3. destination: file
  4. path: "/usr/local/mongodb/log/mongod.log"
  5. logAppend: true
  6. storage:
  7. #mongod实例存储其数据的目录
  8. dbPath: "/usr/local/mongodb/data"
  9. journal:
  10. #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
  11. enabled: true
  12. processManagement:
  13. #启用在后台运行mongos或mongod进程的守护进程模式。
  14. fork: true
  15. net:
  16. #服务实例绑定的IP,默认是localhost
  17. bindIp: 0.0.0.0
  18. port: 27017

启动MongoDB服务

  1. /usr/local/mongodb/mongodb-linux-x86_64-4.0.10/bin/mongod -f /usr/local/mongodb/conf/mongod.conf

如果启动后不是 successfully ,则是启动失败了。原因基本上就是配置文件有问题

关闭服务

通过mongo客户端中的shutdownServer命令来关闭服务

  1. //客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
  2. mongo --port 27017
  3. //#切换到admin库
  4. use admin
  5. //关闭服务
  6. db.shutdownServer()

数据修复

果一旦是因为数据损坏,则需要进行如下操作

删除lock文件

rm -f /usr/local/mongodb/data/*.lock

修复数据

/usr/local/mongdb/bin/mongod —repair —dbpath=/usr/local/mongodb/data

mongodb的基本使用

案列需求

存放文章评论的数据存放到MongoDB中,数据结构参考如下:
数据库:articledb
MongoDB - 图4

选择和创建数据库

如果数据库不存在则自动创建
use articledb

查看数据库

查看有权限查看的所有的数据库命令
show dbs
查看正在使用的数据库
db

删除数据库

MongoDB 删除数据库的语法格式如下:
db.dropDatabase()
提示:主要用来删除已经持久化的数据库

集合

集合,类似关系型数据库中的表。 可以显示的创建,也可以隐式的创建

显式创建

db.createCollection(name)
集合的命名规范:

  • 集合名不能是空字符串””。
  • 集合名不能含有\0字符3(空字符),这个字符表示集合名的结尾。
  • 集合名不能以”system.”开头,这是为系统集合保留的前缀。
  • 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含,这是因为某些系统生成的集合中包含该字符。除 非你要访问这种系统创建的集合,否则千万不要在名字里出现$。

    隐式创建

    当向一个集合中插入一个文档的时候,如果集合不存在,则会自动创建集合,通常我们使用隐式创建文档即可

    查看集合

    show collections

    show tables

    删除集合

    db.collection.drop()

    db.集合.drop()
    如果成功删除选定集合,则 drop() 方法返回 true,否则返回 false。
    例如:要删除mycollection集合
    db.mycollection.drop()

    文档

    文档(document)的数据结构和 JSON 基本一样。 所有存储在集合中的数据都是 BSON 格式

    插入文档

    跟mysql一样既可以单条插入,也可以多条执行

    id生成策略

    MongoDB中存储的文档必须有一个”_id” 。这个键值可以是任何类型,默认是ObjectID对象。在一个集合里,每个文档都有一个唯一的“_id”,确保集合里的每个文档都能被唯一标示。

    ObjectID使用12字节的存储空间,是一个由24个16进制数字组成的字符串。
    ObjectId的12个字节按照如下方式生成
    MongoDB - 图5
    时间戳:
      时间戳,前四个字节是从标准纪元开始的时间戳,单位是秒。可提供秒级别的唯一性。
      由于时间戳在前,这意味着ObjectId大致按照插入的顺序排列。
      这四个字节也隐含了文档的创建时间。
    机器:
      主机的唯一标识符。通常是机器主机的散列值(hash)。这样可以确保不同的机器生成不同的ObjectId  
    PID:
      为了确保在同一台机器上并发的多个进程产生的ObjectID是唯一的,接下来者两个字节产生来自于进程的标识符
    计数器:
      最后三个字节是一个自动增加的计数器,确保相同的进程同一秒产生的ObjectId也是不一样的一秒钟最多允许每个进程拥有2563个不同的ObjectId

    单条插入

    使用insert() 或 save() 方法向集合中插入文档,语法如下:

    1. db.collection.insert(
    2. <document or array of documents>,
    3. {
    4. writeConcern: <document>,
    5. ordered: <boolean>
    6. }
    7. )

    参数:
    MongoDB - 图6
    【示例】
    要向comment的集合(表)中插入一条测试数据:

    1. db.comment.insert({
    2. "articleid": "100000",
    3. "content": "今天天气真好,阳光明 媚",
    4. "userid": "1001",
    5. "nickname": "Rose",
    6. "createdatetime": new Date(),
    7. "likenum": NumberInt(10),
    8. "state": null
    9. })

    提示:

  • comment集合如果不存在,则会隐式创建

  • mongo中的数字,默认double类型,如要存整型,必须使用函数NumberInt,否则取出来就有问题了。
  • 插入当前日期使用 new Date()
  • 插入的数据没有指定 _id ,会自动生成主键值
  • 如果某字段没值,可以赋值为null,或不写该字段。

执行后,如下,说明插入一个数据成功了
WriteResult({ “nInserted” : 1 })
注意:

  1. 文档中的键/值对是有序的。
  2. 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
  3. MongoDB区分类型和大小写。
  4. MongoDB的文档不能有重复的键。
  5. 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

文档键命名规范:

  • 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
  • .和$有特别的意义,只有在特定环境下才能使用。
  • 以下划线”_”开头的键是保留的(不是严格要求的)

    批量插入

    语法:
    1. db.collection.insertMany(
    2. [ <document 1> , <document 2>, ... ],
    3. { writeConcern: <document>, ordered: <boolean> }
    4. )

【示例】
批量插入多条文章评论:

  1. db.comment.insertMany([{
  2. "_id": "1",
  3. "articleid": "100001",
  4. "content": "我们不应该把清晨浪费在手机上,健康很重要,一杯温水幸福你我 他。",
  5. "userid": "1002",
  6. "nickname": "相忘于江湖",
  7. "createdatetime": new Date("2019-08- 05T22:08:15.522Z"),
  8. "likenum": NumberInt(1000),
  9. "state": "1"
  10. },
  11. {
  12. "_id": "2",
  13. "articleid": "100001",
  14. "content": "我夏天空腹喝凉开水,冬天喝温开水",
  15. "userid": "1005",
  16. "nickname": "伊人憔 悴",
  17. "createdatetime": new Date("2019-08-05T23:58:51.485Z"),
  18. "likenum": NumberInt(888),
  19. "state": "1"
  20. },
  21. {
  22. "_id": "3",
  23. "articleid": "100001",
  24. "content": "我一直喝凉开水,冬天夏天都喝。",
  25. "userid": "1004",
  26. "nickname": "杰克船 长",
  27. "createdatetime": new Date("2019-08-06T01:05:06.321Z"),
  28. "likenum": NumberInt(666),
  29. "state": "1"
  30. },
  31. {
  32. "_id": "4",
  33. "articleid": "100001",
  34. "content": "专家说不能空腹吃饭,影响健康。",
  35. "userid": "1003",
  36. "nickname": "凯 撒",
  37. "createdatetime": new Date("2019-08-06T08:18:35.288Z"),
  38. "likenum": NumberInt(2000),
  39. "state": "1"
  40. },
  41. {
  42. "_id": "5",
  43. "articleid": "100001",
  44. "content": "研究表明,刚烧开的水千万不能喝,因为烫 嘴。",
  45. "userid": "1003",
  46. "nickname": "凯撒",
  47. "createdatetime": new Date("2019-08- 06T11:01:02.521Z"),
  48. "likenum": NumberInt(3000),
  49. "state": "1"
  50. }]);

提示:
插入时指定了 _id ,则主键就是该值。
如果某条数据插入失败,将会终止插入,但已经插入成功的数据不会回滚掉。
因为批量插入由于数据较多容易出现失败,因此,可以使用try catch进行异常捕捉处理,测试的时候可以不处理。
try {
db.comment.insertMany([{
“_id”: “1”,
“articleid”: “100001”,
“content”: “我们不应该把清晨浪费在手机上,健康很重要”,
“userid”: “1002”,
“nickname”: “相忘于江湖”,
“createdatetime”: new Date(“2019-08- 05T22:08:15.522Z”),
“likenum”: NumberInt(1000),
“state”: “1”
},
{
“_id”: “2”,
“articleid”: “100001”,
“content”: “我夏天空腹喝凉开水,冬天喝温开水”,
“userid”: “1005”,
“nickname”: “伊人憔 悴”,
“createdatetime”: new Date(“2019-08-05T23:58:51.485Z”),
“likenum”: NumberInt(888),
“state”: “1”
},
{
“_id”: “3”,
“articleid”: “100001”,
“content”: “我一直喝凉开水,冬天夏天都喝。”,
“userid”: “1004”,
“nickname”: “杰克船 长”,
“createdatetime”: new Date(“2019-08-06T01:05:06.321Z”),
“likenum”: NumberInt(666),
“state”: “1”
},
{
“_id”: “4”,
“articleid”: “100001”,
“content”: “专家说不能空腹吃饭,影响健康。”,
“userid”: “1003”,
“nickname”: “凯 撒”,
“createdatetime”: new Date(“2019-08-06T08:18:35.288Z”),
“likenum”: NumberInt(2000),
“state”: “1”
},
{
“_id”: “5”,
“articleid”: “100001”,
“content”: “研究表明,刚烧开的水千万不能喝,因为烫 嘴。”,
“userid”: “1003”,
“nickname”: “凯撒”,
“createdatetime”: new Date(“2019-08- 06T11:01:02.521Z”),
“likenum”: NumberInt(3000),
“state”: “1”
}]);
} catch (e) {
print (e);
}

查询文档

查询数据的语法格式如下:
db.collection.find(, [projection])
参数:

Parameter Type Description
query document 可选。使用查询运算符指定选择筛选器。若要返回集合中的所有文档,请省略此参数或传递空文档 ({})
projection document 可选。指定要在与查询筛选器匹配的文档中返回的字段(投影)。若要返回匹配文档中的所有字段,

【示例】

查询所有

如果我们要查询集合的所有文档,我们输入以下命令
db.comment.find()

db.comment.find({})
这里你会发现每条文档会有一个叫_id的字段,这个相当于我们原来关系数据库中表的主键,当你在插入文档记录时没有指定该字段, MongoDB会自动创建,其类型是ObjectID类型。 如果我们在插入文档记录时指定该字段也可以,其类型可以是ObjectID类型,也可以是MongoDB支持的任意类型.
如果我想按一定条件来查询,比如我想查询userid为1003的记录,怎么办?很简单!只 要在fifind()中添加参数即可,参数也是json格式,如 下:
db.comment.find({userid:’1003’})
如果你只需要返回符合条件的第一条数据,我们可以使用fifindOne命令来实现,语法和fifind一样。
如:查询用户编号是1003的记录,但只最多返回符合条件的第一条记录:
db.comment.findOne({userid:’1003’})

投影查询(Projection Query)

如果要查询结果返回部分字段,则需要使用投影查询(不显示所有字段,只显示指定的字段)。
如:查询结果只显示 _id、userid、nickname :
db.comment.find({userid:”1003”},{userid:1,nickname:1})
如:查询结果只显示 、userid、nickname ,不显示 _id :
db.comment.find({userid:”1003”},{userid:1,nickname:1,_id:0})
再例如:查询所有数据,但只显示 _id、userid、nickname :
db.comment.find({},{userid:1,nickname:1})

统计查询

db.collection.count(query, options)
参数:

Parameter Type Description
query document 查询选择条件。
options document 可选。用于修改计数的额外选项。

【示例】
统计comment集合的所有的记录数:
db.comment.count()
统计userid为1003的记录条数
db.comment.count({userid:”1003”})

分页查询

可以使用limit()方法来读取指定数量的数据,使用skip()方法来跳过指定数量的数据
基本语法如下所示:
db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)
如果你想返回指定条数的记录,可以在fifind方法后调用limit来返回结果(TopN),默认值20,例如
db.comment.find().limit(3)
skip方法同样接受一个数字参数作为跳过的记录条数。(前N个不要),默认值是0
db.comment.find().skip(3)
分页查询:需求:每页2个,第二页开始:跳过前两条数据,接着值显示3和4条数据
//第一页
db.comment.find().skip(0).limit(2)
//第二页
db.comment.find().skip(2).limit(2)
//第三页
db.comment.find().skip(4).limit(2)

排序查询

sort() 方法对数据进行排序,sort() 方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 -1 是用 于降序排列
db.COLLECTION_NAME.find().sort({KEY:1})

db.集合名称.find().sort(排序方式)
例如:
对userid降序排列,并对访问量进行升序排列
db.comment.find().sort({userid:-1,likenum:1})
提示:
skip(), limilt(), sort()三个放在一起执行的时候,执行的顺序是先 sort(), 然后是 skip(),最后是显示的 limit(),和命令编写顺序无关。

正则查询

MongoDB的模糊查询是通过正则表达式的方式实现的。格式为:
db.collection.find({field:/正则表达式/})

db.集合.find({字段:/正则表达式/})
提示:正则表达式是js的语法,直接量的写法。
例如,我要查询评论内容包含“开水”的所有文档,代码如下:
db.comment.find({content:/开水/})
如果要查询评论的内容中以“专家”开头的,代码如下:
db.comment.find({content:/^专家/})

比较查询

<, <=, >, >= 这个操作符也是很常用的,格式如下:
db.集合名称.find({ “field” : { $gt: value }}) // 大于: field > value
db.集合名称.find({ “field” : { $lt: value }}) // 小于: field < value
db.集合名称.find({ “field” : { $gte: value }}) // 大于等于: field >= value
db.集合名称.find({ “field” : { $lte: value }}) // 小于等于: field <= value
db.集合名称.find({ “field” : { $ne: value }}) // 不等于: field != value
示例:查询评论点赞数量大于700的记录
db.comment.find({likenum:{$gt:NumberInt(700)}})

包含查询

包含使用$in操作符。 示例:查询评论的集合中userid字段包含1003或1004的文档
db.comment.find({userid:{$in:[“1003”,”1004”]}})
不包含使用$nin操作符。 示例:查询评论集合中userid字段不包含1003和1004的文档
db.comment.find({userid:{$nin:[“1003”,”1004”]}})

条件连接查询

我们如果需要查询同时满足两个以上条件,需要使用$and操作符将条件进行关联。 格式为:
$and:[ { },{ },{ } ]
示例:查询评论集合中likenum大于等于700 并且小于2000的文档:
db.comment.find({$and:[{likenum:{$gte:NumberInt(700)}},{likenum:{$lt:NumberInt(2000)}}]})
如果两个以上条件之间是或者的关系,我们使用 操作符进行关联,与前面 and的使用方式相同 格式为:
$or:[ { },{ },{ } ]
示例:查询评论集合中userid为1003,或者点赞数小于1000的文档记录
db.comment.find({$or:[ {userid:”1003”} ,{likenum:{$lt:1000} }]})

修改文档

更新文档的语法:
db.collection.update(query, update, options)

db.collection.update(
,
<update>,
{
upsert: ,
multi: ,
writeConcern: ,
collation: ,
arrayFilters: [ , … ],
hint: // Available starting in MongoDB 4.2
}
)
【示例】

覆盖的修改

如果我们想修改_id为1的记录,点赞量为1001,输入以下语句:
db.comment.update({_id:”1”},{likenum:NumberInt(1001)})
执行后,我们会发现,这条文档除了likenum字段其它字段都不见了

局部修改

为了解决这个问题,我们需要使用修改器$set来实现,命令如下:
我们想修改_id为2的记录,浏览量为889,输入以下语句:
db.comment.update({_id:”2”},{$set:{likenum:NumberInt(889)}})
这样就OK啦。

批量修改

更新所有用户为 1003 的用户的昵称为 凯撒大帝 。
//默认只修改第一条数据
db.comment.update({userid:”1003”},{$set:{nickname:”凯撒2”}})
//修改所有符合条件的数据
db.comment.update({userid:”1003”},{$set:{nickname:”凯撒大帝”}},{multi:true})
提示:如果不加后面的参数,则只更新符合条件的第一条记录

列值增长的修改

如果我们想实现对某列值在原有值的基础上进行增加或减少,可以使用 $inc 运算符来实现。
需求:对3号数据的点赞数,每次递增1
db.comment.update({_id:”3”},{$inc:{likenum:NumberInt(1)}})

删除文档

删除文档的语法结构:
db.集合名称.remove(条件)
以下语句可以将数据全部删除,请慎用
db.comment.remove({})
如果删除_id=1的记录,输入以下语句
db.comment.remove({_id:”1”})

常用命令

选择切换数据库:
use articledb
插入数据:
db.comment.insert({bson数据})
查询所有数据:
db.comment.find()
条件查询数据:
db.comment.find({条件})
查询符合条件的第一条记录:
db.comment.findOne({条件})
查询符合条件的前几条记录:
db.comment.find({条件}).limit(条数)
查询符合条件的跳过的记录:
db.comment.find({条件}).skip(条数)
修改数据:
db.comment.update({条件},{修改后的数据})

db.comment.update({条件},{$set:{要修改部分的字段:数据})
修改数据并自增某字段值:
db.comment.update({条件},{$inc:{自增的字段:步进值}})
删除数据:
db.comment.remove({条件})
统计查询:
db.comment.count({条件})
模糊查询:
db.comment.find({字段名:/正则表达式/})
条件比较运算:
db.comment.find({字段名:{$gt:值}})
包含查询:
db.comment.find({字段名:{$in:[值1,值2]}})

db.comment.find({字段名:{$nin:[值1,值2]}})
条件连接查询:
db.comment.find({$and:[{条件1},{条件2}]})

db.comment.find({$or:[{条件1},{条件2}]})