首页  思维导图  详情

mongoDB

2019-02-27 14:47:42   0  举报





AI智能生成

mongodb学习使用

mongodb

作者其他创作

大纲/内容

mongodb入门

基本介绍

MongoDB：是一个数据库 ,高性能、无模式、文档性，目前nosql中最热门的数据库，开源产品，基于c++开发。是nosql数据库中功能最丰富，最像关系数据库的。

为什么mongodb很耗内存？读和写都是基于内存的

特性

1.面向集合文档的存储：适合存储Bson（json的扩展）形式的数据

2.格式自由，数据格式不固定，生产环境下修改结构都可以不影响程序运行；

3.强大的查询语句，面向对象的查询语言，基本覆盖sql语言所有能力

4.完整的索引支持，支持查询计划

5.支持复制和自动故障转移

6.支持二进制数据及大型对象（文件）的高效存储

7.使用分片集群提升系统扩展性

8.使用内存映射存储引擎，把磁盘的IO操作转换成为内存的操作

相对关系型数据库结构

mongo实例->库->集合->文档

基础概念

数据库

集合

文档：最大16M

索引

数据类型

null

{"key":null}

null表示空值或者不存在该字段

布尔   

{"key","true"}

布尔类型表示真或者假

32位整数

{"key":8}

存储32位整数，但再shell界面显示会被自动转成64位浮点数

64位整数

{"key":{"floatApprox":8}}

存储64位整数，floatApprox意思是使用64位浮点数近似表示一个64位整数

对象ID

{"key":ObjectId()}

12字节的唯一ID

日期

{"key":new Date()}

代码

{"key":function(){}}

二进制数据

未定义

{"key":undefined}

数组

{"key":[16,15,17]}

内嵌文档

{"user":{"name":"lison"}}

Decimal128

{"price":NumberDecimal("2.099")}

mongodb进阶

启动配置文件

常用命令

show dbs ：显示数据库列表

show collections ：显示集合列表

db : 显示当前数据库

db.stats() ：显示数据库信息

db.serverStatus() ：查看服务器状态

db.dropDatabase()：删除数据库

db.help()，db.collection.help()：内置帮助，显示各种方法的说明；

db.users.find().size(),db.users.count()：获取查询集合的数量；

db.users.drop()：删除集合包括索引；

db.users.remove()；仅删除集合的数据

db.shutdownServer()   优雅关机

nohup ./mongod -f mongodb.conf &   ：配置文件方式启动mongo

./mongo localhost:27022   指定ip端口连接mongo

./mongod --shutdown -f mongodb.conf  优雅关机

./mongodump -h localhost:27022 -d dbname -o dataPath    备份数据

./mongorestore -h localhost:27022 -d  dbname dataPath --drop  恢复数据

./mongoexport -h localhost:27022 -d dbname -c collection -f id,username,age,salary --type=csv -o dataPath   数据导出

./mongoexport -h localhost:27022 -d dbname -c collection dataPath --upsert   数据导入

spring集成配置

xml

连接池配置

writeConcern

codecRegistry

编解码类，实现Codec接口：MongoClient.getDefaultCodecRegistry()

minConnectionsPerHost

最小连接数，connections-per-host

connectionsPerHost

最大连接数：100

threadsAllowedToBlockForConnectionMultiplier

此参数跟connectionsPerHost的乘机为一个线程变为可用的最大阻塞数，超过此乘机数之后的所有线程将及时获取一个异常：5

maxWaitTime

一个线程等待链接可用的最大等待毫秒数，0表示不等待：1000 * 60 * 2

maxConnectionIdleTime

设置池连接的最大空闲时间，0表示没有限制：0

maxConnectionLifeTime

设置池连接的最大使用时间，0表示没有限制：0

connectTimeout

连接超时时间：1000*10

alwaysUseMBeans

是否打开JMX监控：false

heartbeatFrequency

设置心跳频率。这是驱动程序尝试确定群集中每个服务器的当前状态的频率。：10000

minHeartbeatFrequenc

设置最低心跳频率。如果驱动程序必须经常重新检查服务器的可用性，那么至少要等上一次检查以避免浪费：500

heartbeatConnectTimeout

心跳检测连接超时时间：20000

heartbeatSocketTimeout

心跳检测Socket超时时间：20000

mongodb客户端驱动

compass

robo 3t

studio 3t

增删改查与聚合

新增

insert

insertOne

insertMany

更新

替换更新

db.users.update({"username":"lison"},{"country":"USA"})

操作符更新

query 查询条件，类似sql update查询内where后面的；

update update的对象和一些更新的操作符（如$,$inc...）等，也可以理解为sql update查询内set后面的

$inc 指定值自增

$set更新指定字段

$unset 将指定字段删除

$rename 更新字段名称

$ 定位到某一个元素

$push 添加值到数组中,默认放在数组最后

$addToSet 添加值到数组中，有重复则不处理

$pop 删除数组第一个或者最后一个

$pull从数组中删除匹配查询条件的值

$pullAll 从数组中删除多个值

$each 与$push和$addToSet等一起使用来操作多个值

$slice 与$push和$each一起使用来操作用来缩小更新后数组的大小

$sort 与$push、$each和$slice一起使用来对数组进行排序

upsert  可选，这个参数的意思是，如果不存在update的记录，是否插入,true为插入，默认是false，不插入 

multi 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新

writeConcern  可选，写策略配置。

注意

删除（不会删除索引）

deleteOne

deleteMany

查询

常用查询选择器

范围

$eq  等于

$lt 小于

$gt 大于

$lte 小于等于

$gte 大于等于

$in 判断元素是否在指定的集合范围里

$all 判断数组中是否包含某几个元素,无关顺序

$nin 判断元素是否不在指定的集合范围里

布尔运算

$ne 不等于，不匹配参数条件

$not 不匹配结果

$or有一个条件成立则匹配

$nor 所有条件都不匹配

$and 所有条件都必须匹配

$exists 判断元素是否存在

其他

. 子文档匹配

$regex 正则表达式匹配

普通查询

映射

排序

跳过和限制

查询唯一值

示例

db.collection.find(query, projection)

db.collection.findOne(query, projection)

数组查询

字符串数组

数组单元素查询

数组精确查找

数组多元素查询

索引查询

返回数组子集

对象数组

单元素查询

查找lison1 或者 lison12评论过的user （$in查找符）

查找lison1 和 lison12都评论过的user

.查找lison5评语为包含"苍老师"关键字的user（$elemMatch查找符）

聚合查询

db.collection.aggregate()

$project：投影，指定输出文档中的字段；

$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作

$limit：用来限制MongoDB聚合管道返回的文档数。

$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。

$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。

$group：将集合中的文档分组，可用于统计结果。

$sort：将输入文档排序后输出。

角色安全控制

角色分类

数据库一般角色（Database User Roles）

read

readWrite

数据库管理角色（Database Administration Roles）

dbAdmin

userAdmin

dbOwner

集群管理角色（Cluster Administration Roles）

clusterManager

clusterMonitor

hostManager

clusterAdmin

备份和恢复角色（Backup and Restoration Roles）

backup

restore

全数据库角色（All-Database Roles）

readAnyDatabase

readWriteAnyDatabase

userAdminAnyDatabase

dbAdminAnyDatabase

超级角色（Superuser Roles）

root

mogno服务开启安全认证方式

1.服务器启动加上auth参数，开启安全验证

2.数据库增加安全模式后，初始化一个“userAdminAnyDatabase“，通过客户端连接，使用admin数据库，执行脚本

3.使用刚创建成功的用户登录：db.auth("boss","boss");

4.切换到lison数据库，创建读写权限用户

5.使用读写权限用户lison登录，db.auth("lison","lison")，登录后测试;

代码安全模式连接方式

spring

java代码

mongodb高级知识

存储引擎

MMAPV1

wiredTiger

写入数据原理

Journaling

写策略配置

写配置说明

Java代码实现写策略

配置文件配置引擎

索引

索引管理

新增

单键唯一索引:db.users.createIndex({username :1},{unique:true});

单键唯一稀疏索引:db.users. createIndex({username :1},{unique:true,sparse:true});

复合唯一稀疏索引:db.users. createIndex({username:1,age:-1},{unique:true,sparse:true});

创建哈希索引并后台运行:db.users. createIndex({username :'hashed'},{background:true});

删除

根据索引名字删除某一个指定索引:db.users.dropIndex("username_1");

删除某集合上所有索引:db.users.dropIndexs();

重建某集合上所有索引:db.users.reIndex();

查询集合上所有索引:db.users.getIndexes();

索引分类

单键索引

复合索引

多键索引

哈希索引

查询优化

1.开启慢查询

2.查询监控结果

3.分析慢速查询

explain结果

索引的注意事项

高可用

部署模型

可复制集

概念

优点

原理

oplog(操作日志)

数据同步

阻塞复制

心跳机制

选举制度

搭建

1.安装好3个以上节点的mongoDB

2.配置mongodb.conf,增加跟复制相关的配置

3.在primary节点切换到admin库上运行可复制集的初始化命令,初始化可复制集

4.在每个节点运行rs.status()或isMaster()命令查看复制集状态.

5.测试数据复制集效果

6.测试故障失效转移效果

代码连接复制集

java原生驱动

Spring配置

tips

分片

概念

分片迁移

请求分流：通过路由节点将请求分发到对应的分片和块中；

数据分流：内部提供平衡器保证数据的均匀分布，数据平均分布式请求平均分布的前提

块的拆分：3.4版本块的最大容量为64M或者10w的数据，当到达这个阈值，触发块的拆分，一分为二

块的迁移：为保证数据在分片节点服务器分片节点服务器均匀分布，块会在节点之间迁移。一般相差8个分块的时候触发；

分片模型

优点

1.数据海量增长,需要更大的读写吞吐量 → 存储分布式

2.单台服务器内存、cpu等资源是有瓶颈的 → 负载分布式

tips:分片集群是个双刃剑,在提高系统可扩展性和性能的同时,增大了系统的复杂性,所以在实施之前请确定是必须的。

分片搭建

结构图

步骤

1.分片服务器配置：给27020、27021以及复制集（27017、27018、27019）的配置文件增加

2.config服务器配置：给复制集（27022、27023、27024）的配置文件增加

3.配置存储数据的分片复制集

4.配置config的数据集

5.修改mongos路由节点的配置文件。mongos的配置文件（mongodb.conf），没有“storage”“http.RESTInterfaceEnabled”这些配置，但增加如下配置

6.使用 ./mongos -f mongodb.conf 启动路由节点；

7.配置分片sharding

tips

分片注意点

建议

 收藏

立即使用

elasticsearch

 收藏

立即使用

并发编程

 收藏

立即使用

MyBatis源码结构

 收藏

立即使用

Spring专题

StuPid1t

职业：本科

去主页





0 条评论

下一页

为你推荐

查看更多



高可用微服务架构图-基于Nginx与MongoDB集群

Mongodb

mongodb集群