技术栈
2022-01-05 17:59:51 0 举报
个人技术栈
作者其他创作
大纲/内容
计算机基础
Maven
Git
Docker
工具
设计模式
源码分析
Linux
数据结构与算法
网络安全
书籍
Java是一门计算机编程语言,具有简单易学、面向对象(封装继承多态)、高级、健壮、与平台无关性、支持多线程及网络编程、编译与解释并存的特性,并且非常安全。它由Sun公司在1995年开发,主力工程师James Gosling,被称为Java之父。Java名由咖啡得灵感而来。
JDK 和 JRE 有什么区别
JDK(Java Development Kit),它是功能齐全的Java SDK,包含JRE还有编译器(Javac)和工具。JRE(Java Runtime Environment),它是运行已编译Java程序所需所有内容的集合,包含JVM、Java类库、Java命令和一些基础构件。
概述
图示
boolean
布尔
byte
short
int
long
整型
float
double
浮点型
数值
char
字符
基本类型
类
数组
接口
Object
String
引用类型
基本数据类型变量名称指向具体的值,存储在栈上
引用类型变量名指向存储在栈上的引用(内存地址),内存地址指向堆中的对象
堆是程序在运行期间在内存中开辟的一块空间(注意:不是在编译期间);栈(先进后出),Java把对象的引用存储在栈上是因为,Java必须要知道栈中存储东西的生命周期,用于释放内存
对比
数据类型
加法(+)、减法(-)、乘法(*)、除法(/)、取余(%)、自增运算符(++)、自减运算符(--)
算数运算符
==、!=、>、<、>=、<=
关系运算符
&&(只要有一个条件为false结果就是false)、||(只要有一个条件为true结果就是true)、!(取反)
逻辑运算符
=、+=(隐式类型转换)
赋值运算符
如果 ? 前面的条件为 true,则结果为 : 前的值,否则为 : 后的值
三元运算符
&、|、^、~、>>、<<、>>>
位运算符
()->算数->关系->逻辑->赋值
运算符优先级
运算符
if-else
if-else if-else
swich(注意case穿透)
条件
for(循环次数固定)
while(循环次数不固定)
do-while(循环次数不固定,至少执行一次)
循环
break(跳出当前循环)
continue(终止本次循环继续下次循环)
跳出循环关键字
流程控制
行注释(//)
块注释(/**/)
注释
基本语法
类是对象的类型,对象是类的实例
类是构造对象的模板或者蓝图,由类创建对象的过程称为创建类的实例。类包含属性、方法。(类是抽象的概念,将对象相同的属性和方法抽离出组成类)
对象是一个实体,真实存在的。对象具有类中所有的属性和方法
比如:动物是类,那么狗、猫、企鹅就是对象
什么是对象?什么是类?
类的内部方法体外部定义,全局有效,有默认值
成员变量(全局对象)
方法内定义,方法内有效(作用域),无默认值
局部变量
static关键字声明,类名.变量名访问,类初始化时静态变量赋值
静态变量
final关键字声明,常量名大写,值一旦给定无法更改
常量
变量
实现某些特定功能的代码块的集合
什么是方法?
访问权限
声明方法
如何声明方法?
没有使用 static 关键字修饰,但在类中声明的方法被称为实例方法,在调用实例方法之前,必须创建类的对象
什么是实例方法?
abstract关键字声明,没有方法体的方法。抽象类(abstract声明的类)不一定有抽象方法,抽象方法必须在抽象类中
补充:抽象类不能实例化,抽象类有0-多个抽象方法,非抽象子类必须重新父类所有的抽象方法
什么是抽象方法?
方法
在创建对象时调用,为对象的字段提供默认值
无参构造
为对象的不同字段提供不同的值
有参构造
构造方法可以重载,不可以重写
构造方法能否重写、重载?
构造方法和方法的区别
构造方法
对象的值
实现Cloneable类,通过object的clone方法克隆(浅拷贝/深拷贝)
如何复制对象
可变参数
代码初始化块
把类的某些信息隐藏在类的内部,只能通过该类提供的get/set方法进行访问
概念
类的属性访问修饰符设为私有,提供get/set方法
实现
隐藏类的实现细节,调用无需关心实现
只能通过类提供的方法访问,提高安全性
好处
封装
is-a关系(extend关键字)。子类继承父类,在原有类(父类)的基础上新建类(子类),拥有父类的方法同时也有自己的新功能
父类私有的、父类的构造方法、子类和父类不在同包使用默认访问修饰符(friendly)的成员
补充(不能继承父类的成员)
继承
同一个引用对象指向不同的实例执行不同的方法
子类继承父类,重写父类的方法,父类的引用指向子类的对象。使用父类作为方法形参或者方法返回值实现多态
减少代码量
提高代码的维护性和可扩展性
多态
封装、继承、多态
abstract关键字
抽象类不能实例化,抽象类有0-多个抽象方法,非抽象子类必须实现抽象父类的所有抽象方法
补充:关于抽象类的命名,《阿里的 Java 开发手册》上有强调,“抽象类命名要使用 Abstract 或 Base 开头”
抽象类
interface关键字
一个类只能继承一个父类但可以实现多个接口
接口不能实例化
接口中的属性都是静态常量
实现类必须实现接口的所有方法
Java8后接口有了默认实现和静态方法
特性
一个类可以实现多个接口但只能实现一个抽象类
接口的修饰符只能为public,抽象类则不一定
接口只有静态常量,抽象类则不一定
语法层面
接口是对行为的抽象,是一种行为规范
抽象是对类的抽象,是一种模板设计
设计层面
抽象类和接口区别
在不创建对象的情况下,通过类名调用属性或者方法(静态属性、静态方法)
常用于初始化一些静态变量,优于main方法执行
静态代码块
静态内部类不能访问外部类的成员变量,静态内部类可以访问外部类的静态变量/常量(包括私有的),外部类不能是static
静态内部类
static关键字
static 关键字
指向当前对象
调用当前类的方法
调用当前类的构造方法(必须放在构造方法的第一行)
作为参数在方法中传递
作为参数在构造方法中传递
作为方法返回值
this
指向父类的对象
调用父类的方法
调用父类的构造方法
super
this和super关键字
this 和 super 关键字
final修饰的变量变为常量,只能初始化时进行赋值,一旦初始化值就不可更改
final修饰的方法不能被子类重写
final修饰的类不可被继承
为什么Java字符串不可变?
补充:为什么Java字符串不可变?
final关键字
final 关键字
(object) instanceof (type)
判断对象是否符合指定类型,符合返回true,不符合返回false
instanceof关键字
instanceof 关键字
发生在一个类中,方法名必须相同,参数、返回值、访问修饰符可以不同(重载就是同一个类中多个同名方法根据不同的传参来执行不同的逻辑处理。)
方法重载
发生在多个类中(子类重写父类的方法),方法名、参数、返回值必须相同,访问修饰符大于等于父类,抛出的异常小于等于父类(重写就是子类对父类方法的重新改造,外部样子不能改变,内部逻辑可以改变)
方法重写
方法重载/重写
方法重载和方法重写
Java中的参数传递是按值传递的
基本数据类型传递的的值(字面量值)的拷贝
引用类型传递的是引用对象在栈中地址的拷贝
Java 到底是值传递还是引用传递
Java 到底是值传递还是引用传递
Java的不可变对象
成员内部类对象依赖外部类对象而存在
成员内部类
声明在一个方法体 / 一段代码块的内部,而且不在定义类的定义域(当前方法)之内便无法使用
局部内部类
在方法参数中新建一个接口对象 / 类对象,并且实现这个接口声明 / 类中原有的方法
匿名内部类
如上
内部类
面向对象
源码
String 类是 final 的,意味着它不能被子类继承
String 类实现了 Serializable 接口,意味着它可以序列化
String 类实现了 Comparable 接口,意味着最好不要用‘==’来比较两个字符串是否相等,而应该用 compareTo() 方法去比较
StringBuffer、StringBuilder 和 String 一样,都实现了 CharSequence 接口,所以它们仨属于近亲。由于 String 是不可变的,所以遇到字符串拼接的时候就可以考虑一下 String 的另外两个好兄弟,StringBuffer 和 StringBuilder,它俩是可变的
Java 9 以前,String 是用 char 型数组实现的,之后改成了 byte 型数组实现,并增加了 coder 来表示编码。在 Latin1 字符为主的程序里,可以把 String 占用的内存减少一半。当然,天下没有免费的午餐,这个改进在节省内存的同时引入了编码检测的开销
每一个字符串都会有一个 hash 值,这个哈希值在很大概率是不会重复的,因此 String 很适合来作为 HashMap 的键值
可以保证 String 对象的安全性,避免被篡改,例如密码这种隐私信息一般就是用字符串存储的
保证哈希值不会频繁变更。毕竟要经常作为哈希表的键值,经常变更的话,哈希表的性能就会很差劲
实现字符串常量池
优势
String 为什么是不可变的
由于字符串使用率太高了,Java虚拟机为了提高性能和减少内存开销,所以才创建的时做了优化,为字符串开辟了一块空间
常量池类似一个Java系统级别提供的缓存
重复利用字符串常量池中已存在的字符串(不会创建新的对象)
双引号声明的字符串对象会保存在字符串常量池中
new关键字创建字符串对象,会先在字符串常量池中找,存在不创建,不存在则创建,然后在堆中创建对象
注意
字符串常量池
String.intern
深入浅出 String.intern
“==”等号对于基本数据类型比较的是值是否相等,对于引用类型比较的是引用地址是否相等
equals不能比较基本数据类型,引用类型没有重写hashcode方法相当于等号比较,重写hashcode方法则比较的是两个对象的内容是否相等
==和equals区别
如何比较两个字符串是否相等
append、concat、join
字符串拼接
拼接
split
拆分
如何拼接、拆分字符串
String是final修饰的字符数组(不可变)
StringBuilder和StringBuffer继承AbstractStringBuilder(可变)
可变性
StringBuilder
非线程安全
StringBuffer
String
线程安全
线程安全性
StringBuilder>StringBuffer>String
性能
1. 操作少量的数据: 适用 String2. 单线程操作字符串缓冲区下操作大量数据: 适用 StringBuilder3. 多线程操作字符串缓冲区下操作大量数据: 适用 StringBuffer
总结
StringBuilder和StringBuffer
字符串
数组是一个对象,它包含了一组固定数量的元素,并且这些元素的类型是相同的。数组会按照索引的方式将元素放在指定的位置上,意味着我们可以通过索引来访问这些元素
int[] anArray = new int[10];
初始化方式
遍历数组
Arrays 类的 asList() 方法
Stream流
数组转集合方式
Arrays 类提供的 sort() 方法
排序
Java基础
结构图
List 的特点是存取有序,可以存放重复的元素,可以用下标对元素进行操作
概述
ArrayList 是由数组实现的,支持随机存取,也就是可以通过下标直接存取元素;从尾部插入和删除元素会比较快捷,从中间插入和删除元素会比较低效,因为涉及到数组元素的复制和移动;如果内部数组的容易不足时会自动扩容,因此当元素非常庞大的时候,效率会比较低。
ArrayList
LinkedList 是由双向链表实现的,不支持随机存取,只能从一端开始遍历,直到找到需要的元素后返回;任意位置插入和删除元素都很方便,因为只需要改变前一个节点和后一个节点的引用即可,不像 ArrayList 那样需要复制和移动数组元素;因为每个元素都存储了前一个和后一个节点的引用,所以相对来说,占用的内存空间会比 ArrayList 多一些。
LinkedList
List 的实现类还有一个 Vector,是一个元老级的类,比 ArrayList 出现得更早。ArrayList 和 Vector 非常相似,只不过 Vector 是线程安全的,像 get、set、add 这些方法都加了 synchronized 关键字,就导致执行执行效率会比较低,所以现在已经很少用了。(更好的选择是并发包下的 CopyOnWriteArrayList)
Vector
Stack是Vector的一个子类,本质上也是由动态数组实现的,只不过还实现了先进后出的功能(在 get、set、add 方法的基础上追加了 pop、peek 等方法),所以叫栈。不过,由于 Stack 执行效率比较低(方法上同样加了 synchronized 关键字),就被双端队列 ArrayDeque 取代了。
Stack
List
Set 的特点是存取无序,不可以存放重复的元素,不可以用下标对元素进行操作,和 List 有很多不同
Set的底层是Map实现的,因为 Map 的键不允许重复且无序
HashSet 其实是由 HashMap 实现的,只不过值由一个固定的 Object 对象填充,而键用于操作。
HashSet
LinkedHashSet 继承自 HashSet,其实是由 LinkedHashMap 实现的,LinkedHashSet 的构造方法调用了 HashSet 的一个特殊的构造方法
LinkedHashSet
TreeSet 是由 TreeMap 实现的,只不过同样操作的键位,值由一个固定的 Object 对象填充
TreeSet
Set
Queue,也就是队列,通常遵循先进先出(FIFO)的原则,新元素插入到队列的尾部,访问元素返回队列的头部。
ArrayDeque 是一个基于数组实现的双端队列,为了满足可以同时在数组两端插入或删除元素的需求,数组必须是循环的,也就是说数组的任何一点都可以被看作是起点或者终点。
ArrayDeque(双端队列)
LinkedList 同时实现了 Stack、Queue、PriorityQueue 的所有功能
PriorityQueue 是一种优先级队列,它的出队顺序与元素的优先级有关,执行 remove 或者 poll 方法,返回的总是优先级最高的元素。要想有优先级,元素就需要实现 Comparable 接口或者 Comparator 接口。
PriorityQueue(优先级队列)
Queue
Map 保存的是键值对,键要求保持唯一性,值可以重复。
JDK1.8HashMap是由数组、链表、红黑树组成,当数组容量大于64且链表长度大于8就会转为红黑树,当数组容量小于64且链表长度大于8就会进行数组扩容
初始容量16,加载因子是0.75,当使用容量/总容量>0.75就会扩容(扩容2倍)
HashMap
LinkedHashMap(有序Map) 是 HashMap 的子类,内部使用链表来记录插入/访问元素的顺序。LinkedHashMap 可以看作是 HashMap + LinkedList 的合体,它使用了 哈希表来存储数据,又用了双向链表来维持顺序
LinkedHashMap
TreeMap 是有序的,它在内部会对键进行排序,所以遍历的时候就可以得到预期的顺序
TreeMap
Map
集合框架
初识集合框架
不关心代码具体的执行时间是多少,它关心的是代码执行时间的变化趋势
时间复杂度
在添加元素时会判断需不需要扩容,需要扩容则调用grow()方法(初始容量10,扩容为原来的1.5倍)
add()
修改指定下标元素时,会先判断下标是否越界,然后新值替换旧值
set()
删除指定下标位置上的元素
先判断下标是否越界,调用System.arraycopy()对数组进行复制移动,然后把要删除的元素位置清空elementData[--size] = null
remove(int index)
删除指定值的元素
该方法通过遍历找到要删除的元素,对于null用==判断,其他的用equals判断,然后调用fastRemove()方法(和删除元素差不多-->数组的复制移动后清空)
子主题
remove(Object o)
遍历的方式查找元素(null用==判断,其他的用equals判断),找到返回下标(返回指定元素第一次出现的索引),找不到返回-1
indexOf(Object o)
判断ArrayList是否包含改元素,内部调用indexOf(Object o)方法
contains(Object o)
Collections.sort()
泛型
“单向链表”,我只有一个后指针,指向下一个数据;“双向链表”,我有两个指针,后指针指向下一个数据,前指针指向上一个数据。“二叉树”,把后指针去掉,换成左右指针。
链表
对于第一个节点来说,prev 为 null;对于最后一个节点来说,next 为 null;其余的节点呢,prev 指向前一个,next 指向后一个
LinkList
ArrayList与LinkList的区别
Iterator与Iterable有什么区别?
Iterator与Iterable的区别
为什么阿里巴巴强制不要在 foreach 里执行删除操作
为什么阿里巴巴强制不要在 foreach 里执行删除操作
增加随机性,数据元素分布更加均衡,减少碰撞
hash
hash 方法原理
resize方法实现扩容
JDK1.8HashMap是由数组、链表、红黑树组成,当数组容量大于64且链表长度大于8就会转为红黑树,当数组容量小于64且链表长度大于8就会进行数组扩容(初始容量16,加载因子0.75,当时用容量/总容量>0.75就会扩容,扩容为原来的2倍)
JDK8扩容后索引看新增bit是0还是1,0原索引,1原索引+原容量
扩容机制
减少hash碰撞
加载因子为什么是0.75
多线程下扩容会死循环
多线程下 put 会导致元素丢失
put 和 get 并发时会导致 get 到 null
为什么线程不安全
Vector
比HashMap多了个线程安全
HashTable
适合用在“读多,写少”的“并发”应用中。所有可变操作(add、set等等)都是通过对底层数组进行一次新的复制来实现的
CopyOnWriteArrayListCopyOnWriteSet
线程安全集合
集合框架
error错误
exception异常
异常处理机制
try-catch-finally
throw 和 throws
try-with-resouces
1.不要在 finally 块中使用 return2.不要记录了异常又抛出了异常3.不要省略异常信息的记录4.不要捕获 Throwable5.尽量使用 try-with-resource 来关闭资源6.尽量不要捕获 RuntimeException
异常最佳实践
异常处理
字节:计算机中表示存储容量的单位,1字节=8位
FileInputStream
FileOutputStrem
字节流
字符:计算机中的数字、字母、符号等
FileReader
FileWriter
字符流
IO流
IO 流的分类和概述
对象转换为字节流,便于网络传输和保存本地文件
序列化
IO
Math.abs() 绝对值
Math.ceil() 向上取整
Math.floor() 向下取整
Math.round() 四舍五入
Math.max() 最大值
Math.min() 最小值
Math.random() 0.0到1.0之间随机数
math类
equals
compare
isNull与nonNull
Objects类
bigdecimal类
copyOf,复制指定的数组,截取或用 null 填充copyOfRange,复制指定范围内的数组到一个新的数组fill,对数组进行填充
Arrays.equals()
Arrays.sort()
Arrays.binarySearch() 数组检索
Arrays.stream() 数组转流
注意:Arrays.asList() 返回的是 java.util.Arrays.ArrayList,并不是 java.util.ArrayList,它的长度是固定的,无法进行元素的删除或者添加要想操作元素的话,需要多一步转化,转成真正的 java.util.ArrayList:List<String> rets1 = new ArrayList<>(Arrays.asList(intro));
Arrays.asList() 数组转List
Arrays类
查找
synchronizedXxx 方法
a href=\"https://gitee.com/itwanger/toBeBetterJavaer/blob/master/docs/common-tool/collections.md#03%E5%90%8C%E6%AD%A5%E6%8E%A7%E5%88%B6\" class=\"anchor\" title=\"03、同步控制\" style=\
emptyXxx():制造一个空的不可变集合singletonXxx():制造一个只有一个元素的不可变集合unmodifiableXxx():为指定集合制作一个不可变集合
不可变集合
其他
集合工具类:Collections
Collections类
日期处理
简化每一行代码工具类:Hutool
Hutool
Guava
常用工具类
Java 中常用的 48 个关键字
Java 中常用的 48 个关键字
Java 命名的注意事项
Java 命名约定
Java 默认的编码方式 Unicode
new Integer(18)与Integer.valueOf(18)有什么区别?
new Integer(18) 与 Integer.valueOf(18) 有什么区别
聊聊自动拆箱与自动装箱
自动拆箱与自动装箱
浅拷贝与深拷贝究竟有什么不一样?
浅拷贝与深拷贝
为什么重写 equals 时必须重写 hashCode 方法
Comparable和Comparator有什么区别?
注解
枚举
深入理解 Java 中的反射
Java 不能实现真正泛型的原因是什么?
Java程序在编译期发生了什么
加餐
Java基本功
Lambda表达式
函数式接口
Java8
1.程序是指令和数据的有序集合\t 2.进程是程序的一次执行过程\t 3.一个进程包含若干个线程(至少一个线程),线程是cpu调度和执行单位
举例:播放视频可以同时听到声音、看图像、看弹幕。播放视频是进程,声音、图像、弹幕是线程。
进程和线程
1.实现Runable接口\t\t2.继承Thread类(实现Runable接口)\t\t3.实现callable接口\t\t4.线程池
JVM执行start()方法会先创建一个线程,由创建出来的新线程调用run()方法,这样会产生多线程;如果直接调用run()方法,那么还在主线程中顺序执行,起不到多线程的作用。
补充:为什么调用start()方法时会执行run()方法,那怎么不直接调用run()方法?
实现多线程的四种方式
CPU调度和执行的单位
名称
sleep(long millis),每个对象都有一个锁,sleep不会释放锁
休眠
yield(),终止当前线程,执行其他线程(让CPU重新调度,但不一定能成功)
礼让
setPriority(int priority),线程优先级范围0-10,主线程默认优先级为5,优先级高的CPU会先调度
优先级
interrupt(),终止线程,不推荐(一般不用);使用标志位flag控制线程
中断
线程基本知识点
创建、就绪、运行、堵塞、死亡
线程状态
线程安全问题
synchronized
1.new ReentrantLock();\t\t\t\t2.lock.lock();加锁\t\t\t\t3.执行的逻辑(放到try-catch)\t\t\t\t4.lock.unlock();解锁
lock锁
1.synchronized是内置的Java关键字,lock是一个Java类\t\t\t2.synchronized无法判断获取锁的状态,lock可以获取锁的状态\t\t\t3.synchronized会自动释放锁,lock不会自动释放锁得手动释放,不释放则造成死锁\t\t\t4.synchronized 线程1(获得锁,堵塞),线程2(等待,一直等);lock不会一直等待(lock.tryLock)\t\t\t5.synchronized可重入锁,非公平;lock可重入锁,非公平(可修改)\t\t\t6.synchronized适合少量同步代码块;lock适合大量同步代码块
synchronized和lock对比
锁对象或者类Class
什么是锁,锁的是谁?
八锁问题
锁
ReadWriteLock(一写多读)---独占锁(写锁)、共享锁(读锁)
ReadWriteLock维护一对关联的locks ,一个用于只读操作,一个用于写入。 read lock可以由多个阅读器线程同时进行,只要没有作者。 write lock是独家的。
读写锁
堵塞队列-BlockingQueue
一进一出(容量为一);进去一个元素,必须等待这个元素出来后,下一个元素才能进去
同步队列-SynchronousQueue
堵塞/同步队列
程序运行本身就会占用一定资源,线程池、连接池、内存池、对象池。。。创建和销毁十分占用资源;
池化技术(优化资源的使用)
1.降低资源的消耗\t\t\t2.提高响应速度\t\t\t3.方便管理\t\t\t总结:线程复用、可以控制最大并发数、管理线程
线程池的好处
1.单个线程\t\t\tExecutorService ThreadPool01 = Executors.newSingleThreadExecutor();2.创建一个固定的线程池大小(此处5个线程)\t\t\tExecutorService ThreadPool02 = Executors.newFixedThreadPool(5);3.具有弹性,遇强则强、遇弱则弱\t\t\tExecutorService ThreadPool03 = Executors.newCachedThreadPool();
ThreadPool01.execute(()->{});(不推荐)\t\t线程池不允许Executors创建,而是通过ThreadPoolExecutor去创建。
补充-线程池创建线程
三大方法
举例
实例
最大线程改如何定义(调优) 1.CPU密集型-->获取CPU最大核数 2.IO密集型-->一般为IO线程两倍
补充--调优
七大参数四种拒绝策略
线程池(三大方法,七大参数,四种拒绝策略)
线程解锁前:必须把共享变量立即同步回主存线程解锁后:必须读取主内存中最新变量值到工作内存中注意:加锁和解锁为同一把锁
JMM一致同步约定
lock(锁定):作用于主内存的变量,把一个变量标识为一条线程独占的状态。\t\t\t\tunclock(解锁):作用于主内存的变量,把一个处于锁定的状态释放出来。\t\t\t\tread(读取):作用于主内存的变量,把一个变量的值从主内存传输到线程的工作内存中\t\t\t\tload(载入):作用于工作内存的变量,把read操作从主内存 得到的变量值放入工作内存的变量副本中。\t\t\t\tuse(使用):作用于工作内存的变量,把工作内存中一个变量的值传递给执行引擎,每当虚拟机遇到一个需要使用到变量的 值的字节码指令时将会执行这个操作。\t\t\t\tassign(赋值):作用于工作内存的变量,把一个从执行引擎接收到的值 赋值给工作内存的变量,每当虚拟机遇到一个给变 量赋值的字节码指令时执行这个操作。\t\t\t\tstore(存储):作用于工作内存的变量,把工作内存中的一个变量的值传递到主内存,以便write操作使用。\t\t\t\twrite(写入):作用于主内存的变量,把store操作从工作内存中得到的变量的值放入主内存的变量中。
线程 工作内存 主存【八大操作(八大原子性操作)】
JMM内存模型--不存在的东西,或者说是概念、约定
保证可见性
不保证原子性
写的程序,计算机并不会顺序执行-->优化\t\t\t源代码-->编译器优化重排-->指令并行也可能会重排-->内存系统重排-->执行
举例:DCL懒汉式单例
禁止指令重排-->处理器在进行指令重排时会考虑数据间的依赖性
volatile--轻量级同步锁
概念:compareAndSet缩写,比较并交换-->达到期望值就修改,反之不修改
1.循环会耗时\t\t\t2.一次性只能保证一个共享变量的原子性\t\t\t3.ABA问题
缺点
两个线程操作同一对象,线程A当这个对象等于1时输出2,在这之前线程B把这个对象值1变成3又变成1。线程A没接到通知,操作的对象已经发生了变化。
ABA问题
CAS(CPU并发原语)
公平锁:先来后到,不能插队
非公平锁:最优化(默认此锁),可以插队
公平锁/非公平锁
某个线程已经获取锁,再次获取锁不会出现死锁现象
可重入锁(递归锁)
不会放弃CPU时间片,通过自旋的方式等待锁的释放;也就是说,它会不停的尝试获取锁,失败再次尝试,直到获取成功。
自旋锁(旋转--循环)
概念:多个并发线程因争夺系统资源而产生相互等待现象
原理:当一组线程当中的每个线程都在等待某个事件的发生,而只有这组线程中的其他线程才能触发该事件,这组线程就发生死锁。
1.系统资源有限。\t\t\t\t2.进程推进顺序不合理
本质原因
1.互斥条件:进程要求对所分配的资源进行排它性控制,即在一段时间内某资源仅为一进程所占用。2.请求和保持条件:当进程因请求资源而阻塞时,对已获得的资源保持不放。3.不剥夺条件:进程已获得的资源在未使用完之前,不能剥夺,只能在使用完时由自己释放。4.环路等待条件:在发生死锁时,必然存在一个进程--资源的环形链。
注意:当以上四个条件均满足,必然会造成死锁,发生死锁的进程无法进行下去,它们所持有的资源也无法释放。这样会导致CPU的吞吐量下降。所以死锁情况是会浪费系统资源和影响计算机的使用性能的。那么,解决死锁问题就是相当有必要的了
死锁产生的四个必要条件
1.资源一次性分配:一次性分配所有资源,这样就不会再有请求了:(破坏请求条件)2.只要有一个资源得不到分配,也不给这个进程分配其他的资源:(破坏请保持条件)3.可剥夺资源:即当某进程获得了部分资源,但得不到其它资源,则释放已占有的资源(破坏不可剥夺条件)4.资源有序分配法:系统给每类资源赋予一个编号,每一个进程按编号递增的顺序请求资源,释放则相反(破坏环路等待条件)
预防死锁
死锁
各种锁
JUC
Java8之前
Java8之后
类,静态变量,静态方法,常量,普通方法
方法区
基本数据类型,引用对象的地址(引用结束栈弹出),方法形参(方法调用结束被栈弹出)
栈
对象,数组
堆
数据存放
图
主要代表当前线程所执行的字节码行号指示器。字节码解释器工作时,通过改变这个计数器的值来选取需要执行的下一条字节码指令,分支、循环、跳转、异常处理、线程恢复等基础功都需要依赖这个计数器来完成。
程序计数器
线程私有数据区域,与线程同时创建,总数与线程关联,代表Java方法执行的内存模型。每个方法执行时都会创建一个栈帧来存储方法的变量表、操作数栈、动态链接方法、返回值、返回地址等信息。每个方法从调用到结束对应虚拟机栈中一个栈帧出栈和入栈的过程。
虚拟机栈
线程私有数据区域,与Native方法相关(调用其他语言),一般情况无需关心
本地方法栈
1.加载--->将Class文件从磁盘加载到内存中
验证:验证字节码文件的正确性准备:给类的静态变量分配内存并赋初始值解析:类装载器装入类所引用的其他所有类
2.连接
3.初始化--->给类的静态变量赋上整(上面的静态变量赋值是虚拟机默认的初始值,此处才是真正的值),执行静态代码块
4.使用
5.卸载
类的生命周期
用户自定义加载器userClassLoader-->负责加载用户自定义路径下的类包应用程序加载器AppClassLoader-->主要加载应用程序的主函数扩展类加载器ExtClassLoader-->主要加载jre/lib/ext目录下得扩展jar启动类(根)加载器bootstrap-->主要加载核心的类库虚拟机自带的加载器
类加载器
1.类加载器收到加载请求
2.将这个请求向上委托给父类加载器去完成,一直向上委托,直到启动类加载器
3.启动类加载器检查是否能否加载当前类,能加载就结束;不能加载则抛异常,通知子类加载器去加载。
双亲委派机制-->向上委托,向下加载
类的加载及双亲委派机制
Java安全模型的核心就是Java沙箱,沙箱是一个限制程序运行的环境,沙箱机制就是将Java代码限定在JVM给定的范围内,并严格限制Java代码对本地资源的访问,通过这样的措施对代码隔离,防止对本地资源的破坏。
沙箱安全机制
方法区:静态变量,常量,类信息(构造方法,接口定义),运行时的常量池存在方法区中;实例变量存在堆内存中,和方法区无关
栈:先进后出\t队列:先进先出\t栈又称栈内存-->主管程序运行,生命周期与线程同步,线程结束栈内存释放(意味着程序结束)【栈不存在垃圾回收】。\t栈内存储:八大基本类型,对象引用地址,实例方法\t栈运行原理-->栈帧
栈(数据结构)
一个JVM只有一个堆内存,堆内存大小可设置
伊甸园区-->所有的对象都是在伊甸园区new出来的\t\t\t幸存者区-->幸存者0区、幸存者1区
新生区 Young/New -->类诞生、成长的地方,甚至死亡 (轻GC、重GC、99%的对象都是临时对象)
养老区 Old
这区域常驻内存,主要存储JDK自带的class对象、interface元数据(存储一些Java运行时一些环境和类信息);这个区不存在垃圾回收机制,关闭JVM虚拟机就会释放内存
注意:JDK1.6之前\t永久代,常量池在方法区JDK1.7\t\t永久代,慢慢退化出现了去永久代的概念,常量池在堆中JKD1.8之后\t元空间,常量池在元空间
永久区 Perm(JDK1.8去掉了永久代增加元空间) -->逻辑上存在,物理上不存在
堆内存细分三个区域
1.尝试扩大堆内存大小
作用1.分析Dump内存文件,快速定位内存泄漏\t\t\t\t\t2.获得堆中的数据\t\t\t\t\t3.获得大对象
2.分析内存(专业工具)-->MAT、Jprofiler
解决
OOM-->内存溢出
方法区、栈、堆
对象被引用计数器+1,引用结束-1,计数器为0被回收
引用计数法(较少使用)
1.每次GC都会将伊甸园区活的对象移动到幸存区,一旦伊甸园区被GC就会是空的。\t\t2.幸存区from、幸存区to交换移动,谁空谁是to(如果幸存区from、幸存区to都不为空,就会随机选个幸存区复制到另一个幸存区,此时这个幸存区就是空的)。\t\t3.当一个对象经历15次GC没死就会进入养老区(默认15次,-XX:+MaxTenuringThreshold=13\t设置次数)
好处:没有内存碎片\t\t坏处:浪费空间
优缺点
复制算法(使用场景:对象存活度较低时)
两次扫描,第一次扫描存活对象标记,第二次扫描未标记对象清除
好处:不需要额外的空间\t\t坏处:两次扫描浪费时间,会产生内存碎片
标记清除法
在标记清除的基础上再增加一次扫描,第三次扫描压缩(移动活的对象聚集一起,总之就是整理内存碎片)
优化:第三次扫描可以设定阈值,达到一定次数再进行扫描压缩整理(节省时间)
标记整理法
内存效率: 复制算法>标记清除法>标记整理法
内存整齐度:复制算法=标记整理法>标记清除法
内存利用率:标记清除法=标记整理法>复制算法
新生区:复制算法\t\t养老区:标记清除+标记整理算法
分代收集算法
GC常用算法
JVM
计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接(有线性、无线)起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
1.传播交流信息
目的
计算机网络概念
定位一台网络上的计算机
IPV4:127.0.0.1,4个字节组成,0-255 42亿个 30亿都在北美,亚洲4亿。2011年就用尽
IPV6:128位。8个无符号整数!
补充:公网(互联网)/私网(局域网)
IP地址分类
IP
1.一栋楼表示一个ip ,这栋楼里面的 门牌号 就是端口号。\t2.不同的进程有不同的端口号!用来区分软件的。\t3.端口被规定为:0-65535\t4.TCP ,UDP: 每个都有 0-65535 * 2 ,单个协议下,端口号不能冲突。
概念:计算机上一个程序的进程
HTTP : 80 HTTPS :443 FTP : 21 Telet : 23
端口分类--->共有端口0-1023
端口
概念:类似于一种约定
1.速率2.传输码率3.代码结构4.传输控制
网络通讯协议
补充:TCP/IP协议簇:实际上是一组协议
通信协议
类似于:打电话(连接稳定)
A:你愁啥?B:瞅你咋地?A:干一次!
第一次握手:建立连接时,客户端发送syn包(syn=j)到服务器,并进入SYN_SENT状态,等待服务器确认;SYN:同步序列编号(Synchronize Sequence Numbers)
第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态
第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED(TCP连接成功)状态,完成三次握手
三次握手
A:我要断开了 (我要走了)B:我知道你要断开了(你真的要走了吗?)B:你真的断开了吗?(你真的真的要走了吗?)A:我真的断开了 (我真的要走了)
四次挥手
TCP(用户传输协议)
类似于:发短信(易丢失数据)
1.不连接,不稳定2.客户端、服务端:没有明确的界限3.不管有没有准备好,都可以发给你…4.导弹5.DDOS:洪水攻击!(饱和攻击)
UDP(用户数据报协议)
TCP和UDP
网络编程
Java进阶
MySql
Orcale
SQL
Redis
MongoDB
NOSQL
数据库
1 不用 和 是否有“动感”混为一谈2 是否 随着 时间、地点、用户操作 的 改变而改变3 动态网页 需要使用到 服务端脚本语言(JSP)
动态网页基础
静态元素(html)
指令
脚本:小脚本(scriptlet)、表达式(expression)、声明(declaration)统称为JSP脚本元素
JSP页面组成
动态网页开发基础
out:输出对象 ,向客户端输出内容
get方式在地址栏显示 请求信息 (但是地址栏能够容纳的 信息有限,4-5KB;如果请求数据存在大文件,图片等 会出现地址栏无法容纳全部的数据而出错) ;post不会显示
文件上传操作,必须是post
get与post请求方式的区别
request:请求对象,用于处理客户端请求的数据信息
void sendRedirect(String location ) throws IOException; :页面跳转的一种方式(重定向)
请求转发与重定向区别
response:响应对象,用于响应客户端请求并向客户端输出信息
session:会话对象,用于记录会话状态的相关信息
page
pagecontext
config
exception
cookie与session区别
cookie:客户端,不是内置对象
JSP内置对象:在JSP页面不用声明就可以直接使用的对象
pageContext JSP页面容器 (page对象); 当前页面有效,页面跳转后无效
request 请求对象 同一次请求有效,其他请求无效 (请求转发后有效;重定向后无效)
session 会话对象 同一次会话有效,无论怎么跳转都有效;关闭/切换浏览器后无效 ; 从 登陆->退出 之间 全部有效
appliation 全局对象 全局有效(整个项目有效)(在一个服务器请求范围有效);关闭服务、其他项目 无效
对象作用域
JavaBean是Java中开发的可以跨平台的重要组件。在JSP程序中常用于封装业务逻辑、数据库操作等。JavaBean本质是就是一个Java类,只是这个类需要遵循一些编码约定。
JSP中使用JavaBean
JSP数据交互
M:Model,模型 :一个功能。用JavaBean实现。V: View,视图: 用于展示、以及与用户交互。使用html js css jsp jquery等前端技术实现C: Controller,控制器 :接受请求,将请求跳转到模型进行处理;模型处理完毕后,再将处理的结果返回给请求处 。可以用jsp实现, 但是一般建议使用 Servlet实现控制器
软件设计分层模式(MVC)
概念:与MVC设计模式的目标一致:都是为了 解耦合、提高代码复用
区别:二者对项目理解的角度不同
概念与区别
后台:对应于MVC中Controller,用于 控制跳转、调用业务逻辑层
表示层(视图层)
接收表示层的请求调用,组装数据访问层,逻辑性的操作(增删改查, 删:查+删)
业务逻辑层
直接访问数据库的操作,原子性的操作(增删改查)
数据访问层
三层组成
上层将请求传递给下层,下层处理后返回给上层,上层依赖于下层
三层间的关系
三层架构
分层实现业务处理
servlet是一个符合特定规范的Java程序,是一个基于Java技术的Web组件。servlet运行在服务器端,由servlet容器所管理,用于处理客户端请求并作出响应。
必须继承 javax.servlet.http.HttpServlet,重写其中的 doGet()或doPost()方法
doGet(): 接受 并处 所有get提交方式的请求;doPost():接受 并处 所有post提交方式的请求
规范
请求 -> <url-pattern> ->,根据<servlet-mapping>中的<servlet-name>去匹配 <servlet> 中的<servlet-name>,然后寻找到<servlet-class>,将请求交由该<servlet-class>执行。
流程
1.加载2.初始化: init() ,该方法会在 Servlet被加载并实例化的以后 执行3.服务 :service() ->doGet() doPost4.销毁 :destroy(), Servlet被系统回收时执行5.卸载
Servlet生命周期
Servlet基础
${范围.对象.属性.属性的属性 }
EL
需要引入2个jar :jstl.jar standard.jar。引入tablib :<%@ taglib uri=“http://java.sun.com/jsp/jstl/core” prefix=“c” %> 其中prefix=“c” :前缀
核心标签库:<c:set>:赋值,<c:out> :显示,<c:remove >:删除属性,<c:if >:选择,<c:choose><c:when test=\"…\"> </c:when><c:when test=\"…\"> </c:when><c:when test=\"…\"> </c:when><c:otherwise> </c:otherwise></c:choose>,<c:forEach>:循环
JSTL
JSTL和EL
1.实现一个Filter接口。init()、destroy() 原理、执行时机 同Servlet
过滤器链:可以配置多个过滤器,过滤器的先后顺序 是由 的位置决定
过滤器
1.编写监听器,实现接口
2.配置web.xml
监听器
过滤器、监听器
异步刷新:如果网页中某一个地方需要修改,异步刷新可以使: 只刷新需要修改的地方,页面中其他地方保持不变例如:百度搜索框、网页视频下方的点赞区
Ajax概念
状态码
Ajax与jQuery
Javaweb
JavaWeb
Spring
Mybatis
SpringMVC
SpringBoot
Mybatis-Plus
Authentication:身份认证/登录,验证用户是否具有相对应的身份,例如账号密码登录
Authorization:授权(权限验证),验证某个已认证的用户是否拥有某个权限,即判断用户是否能够进行该操作;例如:验证用户是否拥有该角色,或者细粒度的验证某个用户是否拥有操作有个资源的权限
Session Manager:会话管理,用户登录后就是一次会话,在没有退出前,他的所有信息都在会话中;会话可以是普通的JavaSE环境也可以是WEB环境
Cryptography:加密,保护数据的安全性;例如密码是加密后存储到数据库,而不是明文存储
Web Support:Web支持,很容易的集成Web环境
Caching:缓存,例如用户登录后,用户信息可以从缓存中获取,而不一定每次查询数据库
Concurrency:shiro支持多线程应用的并发验证,即如在一个线程中开启另一个线程,能把权限自动传播过去
Testing:提供测试支持
Run As:允许一个用户假装为另一个用户(如果他们允许)的身份去访问
Remember Me:记住我
功能:认证、授权、加密、会话管理、WEB集成、缓存等
1.Subject:主体,可以看到主体可以是任何可以与应用交互的“用户”; 2.SecurityManager:相当于SpringMVC中的DispatcherServlet或者Struts2中的FilterDispatcher;是Shiro的心脏;所有 具体的交互都通过SecurityManager进行控制;它管理着所有Subject、且负责进行认证和授权、及会话、缓存的管理 3.Authenticator:认证器,负责主体认证的,这是一个扩展点,如果用户觉得Shiro默认的不好,可以自定义实现;其需要认证策略(Authentication Strategy),即什么情况下算用户认证通过了; 4.Authrizer:授权器,或者访问控制器,用来决定主体是否有权限进行相应的操作;即控制着用户能访问应用中的哪些功能; 5.Realm:可以有1个或多个Realm,可以认为是安全实体数据源,即用于获取安全实体的;可以是JDBC实现,也可以是LDAP实现,或者内存实现等等;由用户提供;注意:Shiro不知道你的用户/权限存储在哪及以何种格式存储;所以我们一般在应用中都需要实现自己的Realm; 6.SessionManager:如果写过Servlet就应该知道Session的概念,Session呢需要有人去管理它的生命周期,这个组件就是SessionManager;而Shiro并不仅仅可以用在Web环境,也可以用在如普通的JavaSE环境、EJB等环境;所有呢,Shiro就抽象了一个自己的Session来管理主体与应用之间交互的数据;这样的话,比如我们在Web环境用,刚开始是一台Web服务器;接着又上了台EJB服务器;这时想把两台服务器的会话数据放到一个地方,这个时候就可以实现自己的分布式会话(如把数据放到Memcached服务器); 7.SessionDAO:DAO大家都用过,数据访问对象,用于会话的CRUD,比如我们想把Session保存到数据库,那么可以实现自己的SessionDAO,通过如JDBC写到数据库;比如想把Session放到Memcached中,可以实现自己的Memcached SessionDAO;另外SessionDAO中可以使用Cache进行缓存,以提高性能; 8.CacheManager:缓存控制器,来管理如用户、角色、权限等的缓存的;因为这些数据基本上很少去改变,放到缓存中后可以提高访问的性能 9.Cryptography:密码模块,Shiro提高了一些常见的加密组件用于如密码加密/解密的。
架构
Shiro
官方文档:https://docs.spring.io/spring-security/site/docs/5.2.0.RELEASE/reference/htmlsingle/
认证:authentication/授权:authorization
WebSecurityConfigurerAdapter:自定义Security策略
关键类
SpringSecurity
框架
HTML
CSS
JavaScript
前端三大件
变量:var、let
常量:const
补充:1.let解决var穿透问题2.const解决常量修改问题
var、let、const的区别
模板字符串(字符串的动态拼接)
默认参数
1)去掉funcation2)括号后面加箭头3)如果逻辑代码(一行)仅有return可以直接省去return和{}4)如果参数只有一个括号也可省去,多个参数不行
箭头函数
1)如果key和变量名称一致,那么只定义一次即可2)如果value是一个函数,可以吧`:funcation`去掉,保留()即可
对象初始化简写
对象解构
<script> console.log(\"传播操作符\") var person = { name: \"Anson\
传播操作符【...】
<script> console.log(\"数组map和reduce方法\
map
<script> console.log(\"数组reduce方法\
reduce
数组map、reduce方法
ES6
VUE
Element-ui
Layui
常用框架
前端
RPC是一种进程间通信方式,他是一种技术的思想,而不是规范。它允许程序调用另一个地址空间(通常是共享网络的另一台机器上)的过程或函数,而不用程序员显式编码这个远程调用的细节。即程序员无论是调用本地的还是远程的函数,本质上编写的调用代码基本相同
RPC(RemoteProcedureCall):远程过程调用
1.Provider: 暴露服务的服务提供方,服务提供者在启动时,向注册中心注册自己提供的服务。2.Consumer: 调用远程服务的服务消费方,服务消费者在启动时,向注册中心订阅自己所需的服务,服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。3.Registry: 服务注册与发现的注册中心,注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。4.Monitor: 统计服务的调用次调和调用时间的监控中心,服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。5.Container: 服务运行容器
服务容器负责启动,加载,运行服务提供者。\t\t服务提供者在启动时,向注册中心注册自己提供的服务。\t\t服务消费者在启动时,向注册中心订阅自己所需的服务。\t\t注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。\t\t服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。\t\t服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
Provider、Consumer、Registry、Monitor调用关系说明
Dubbo:是一款高性能、轻量级的开源Java RPC框架,它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现
注册中心:zookeeper
Dubbo-Zookeeper
1 什么是微服务?\t2 微服务之间是如何独立通讯的?\t3 SpringCloud 和 Dubbo有那些区别?\t4 SpringBoot 和 SpringCloud,请谈谈你对他们的理解\t5 什么是服务熔断?什么是服务降级?\t6 微服务的优缺点分别是什么?说下你在项目开发中遇到的坑\t7 你所知道的微服务技术栈有哪些?列举一二\t8 Eureka和Zookeeper都可以提供服务注册与发现的功能,请说说两者的区别
思考
1.服务很多,客户端如何访问\t2.服务很多,服务间如何通信\t3.服务很多,服务如何治理\t4.服务挂了怎么办
微服务架构四个核心问题
1.Spring Cloud NetFlix 一站式解决方案\t\tApi网关:zuul组件\t\tFeign---HttpClient----Http通信(同步堵塞)\t\t服务注册发现:Eureka\t\t熔断机制:Hystrix\t
2.Dubbo Zookeeper 半自动,与整合其他\t\tApi网关:没有\t\tdubbo(异步非堵塞)\t\t服务注册发现:zookeeper\t\t熔断机制:没有,借助Hystrix
3.Spring Cloud Alibaba\t一站式解决方案
解决 springcloud---->生态
服务注册与发现——Netflix Eureka\t负载均衡: 客户端负载均衡——Netflix Ribbon 服务端负载均衡——Feign(其也是依赖于Ribbon,只是将调用方式RestTemplete 更改成Service 接口)\t断路器——Netflix Hystrix\t服务网关——Netflix Zuul\t分布式配置——Spring Cloud Config
SpringCloud 五大组件
前置
微服务(Microservice Architecture) 是近几年流行的一种架构思想,关于它的概念很难一言以蔽之。 究竟什么是微服务呢?我们在此引用ThoughtWorks 公司的首席科学家 Martin Fowler 于2014年提出的一段话:\t原文:https://martinfowler.com/articles/microservices.html汉化:https://www.cnblogs.com/liuning8023/p/4493156.html 就目前而言,对于微服务,业界并没有一个统一的,标准的定义。但通常而言,微服务架构是一种架构模式,或者说是一种架构风格,它体长将单一的应用程序划分成一组小的服务,每个服务运行在其独立的自己的进程内,服务之间互相协调,互相配置,为用户提供最终价值,服务之间采用轻量级的通信机制(HTTP)互相沟通,每个服务都围绕着具体的业务进行构建,并且能够被独立的部署到生产环境中,另外,应尽量避免统一的,集中式的服务管理机制,对具体的一个服务而言,应该根据业务上下文,选择合适的语言,工具(Maven)对其进行构建,可以有一个非常轻量级的集中式管理来协调这些服务,可以使用不同的语言来编写服务,也可以使用不同的数据存储 再来从技术维度角度理解下: 微服务化的核心就是将传统的一站式应用,根据业务拆分成一个一个的服务,彻底地去耦合,每一个微服务提供单个业务功能的服务,一个服务做一件事情,从技术角度看就是一种小而独立的处理过程,类似进程的概念,能够自行单独启动或销毁,拥有自己独立的数据库。
什么是微服务
微服务:强调的是服务的大小,它关注的是某一个点,是具体解决某一个问题/提供落地对应服务的一个服务应用,狭义的看,可以看作是IDEA中的一个个微服务工程,或者Moudel。IDEA 工具里面使用Maven开发的一个个独立的小Moudel,它具体是使用SpringBoot开发的一个小模块,专业的事情交给专业的模块来做,一个模块就做着一件事情。强调的是一个个的个体,每个个体完成一个具体的任务或者功能
微服务架构(一种新的架构形式,Martin Fowler 于2014年提出):微服务架构是一种架构模式,它体长将单一应用程序划分成一组小的服务,服务之间相互协调,互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务之间采用轻量级的通信机制**(如HTTP)互相协作,每个服务都围绕着具体的业务进行构建,并且能够被独立的部署到生产环境中,另外,应尽量避免统一的,集中式的服务管理机制,对具体的一个服务而言,应根据业务上下文,选择合适的语言、工具(如Maven)**对其进行构建
微服务与微服务架构
1.单一职责原则;2.每个服务足够内聚,足够小,代码容易理解,这样能聚焦一个指定的业务功能或业务需求;3.开发简单,开发效率高,一个服务可能就是专一的只干一件事;4.微服务能够被小团队单独开发,这个团队只需2-5个开发人员组成;5.微服务是松耦合的,是有功能意义的服务,无论是在开发阶段或部署阶段都是独立的;6.微服务能使用不同的语言开发;7.易于和第三方集成,微服务允许容易且灵活的方式集成自动部署,通过持续集成工具,如jenkins,Hudson,bamboo;8.微服务易于被一个开发人员理解,修改和维护,这样小团队能够更关注自己的工作成果,无需通过合作才能体现价值;9.微服务允许利用和融合最新技术;10.微服务只是业务逻辑的代码,不会和HTML,CSS,或其他的界面混合;11.每个微服务都有自己的存储能力,可以有自己的数据库,也可以有统一的数据库;
优点
1.开发人员要处理分布式系统的复杂性;2.多服务运维难度,随着服务的增加,运维的压力也在增大;3.系统部署依赖问题;4.服务间通信成本问题;5.数据一致性问题;6.系统集成测试问题;7.性能和监控问题;
微服务优缺点
微服务技术栈
各微服务框架对比
微服务概述
1.SpringBoot专注于开发方便的开发单个个体微服务;2.SpringCloud是关注全局的微服务协调整理治理框架,它将SpringBoot开发的一个个单体微服务,整合并管理起来,为各个微服务之间提供:配置管理、服务发现、断路器、路由、伪代理、事件总栈、全局锁、决策竞选、分布式会话等集成服务;3.SpringBoot可以离开SpringCloud独立使用,开发项目,但SpringCloud离不开SpringBoot,属于依赖关系;4.SpringBoot专注于快速、方便的开发单个个体微服务,SpringCloud关注全局的服务治理框架;
SpringCloud和SpringBoot的关系
Spring Cloud 抛弃了Dubbo的RPC通信,采用的是基于HTTP的REST方式 严格来说,这两种方式各有优劣。虽然从一定程度上来说,后者牺牲了服务调用的性能,但也避免了原生RPC带来的问题。REST相比RPC更为灵活,服务提供方和调用方的依赖只依靠一纸契约,不存在代码级别的强依赖,这个优点在当下强调快速演化的微服务环境下,显得更加合适
区别
总结:Dubbo的定位是一款RPC框架,而SpringCloud的目标是微服务架构下的一站式解决方案
SpringCloud和Dubbo对比
SpringCloud
Eureka是Netflix的一个子模块,也是核心模块之一(Netflix在涉及Eureka时遵循的是API原则)。Eureka是基于REST的服务,用于定位服务,以实现云端中间件层服务发现和故障转移,服务注册与发现对于微服务来说是非常重要的,有了服务注册与发现,只需要使用服务的标识符,就可以访问到服务,而不需要修改服务调用的配置文件了,功能类似于Dubbo的注册中心,比如Zookeeper
什么是Eureka
Springcloud 封装了Netflix公司开发的Eureka模块来实现服务注册与发现 (对比Zookeeper).\t\t\tEureka采用了CS的架构设计,EurekaServer作为服务注册功能的服务器,他是服务注册中心.\t\t\t而系统中的其他微服务,使用Eureka的客户端连接到EurekaServer并维持心跳连接。这样系统的维护人员就可以通过EurekaServer来监控系统中各个微服务是否正常运行,\t\t\tSpringcloud 的一些其他模块 (比如Zuul) 就可以通过EurekaServer来发现系统中的其他微服务,并执行相关的逻辑.
基本架构
提供服务注册,各个节点启动后,会在EurekaServer中进行注册,这样EurekaServer中的服务注册表中将会储存所有可用服务节点的信息,服务节点的信息可以在界面中直观的看到.
Eureka Server
是一个Java客户端,用于简化EurekaServer的交互,客户端同时也具备一个内置的,使用轮询负载算法的负载均衡器。\t\t\t在应用启动后,将会向EurekaServer发送心跳 (默认周期为30秒)。如果EurekaServer在多个心跳周期内没有接收到某个节点的心跳,\t\t\tEurekaServer将会从服务注册表中把这个服务节点移除掉 (默认周期为90s).
Eureka Client
组件:Eureka Server(服务端) 和 Eureka Client(客户端)
Eureka Server:提供服务的注册与发现\t\t\tService Provider:服务生产方,将自身服务注册到Eureka中,从而使服务消费方能够找到\t\t\tService Consumer:服务消费方,从Eureka中获取注册服务列表,从而找到消费服务
三大角色
原理理解
概念:好死不如赖活着(某时刻某一个微服务不可用,eureka不会立即清理,依旧会对该微服务的信息进行保存!)
默认情况下,当eureka server在一定时间内没有收到实例的心跳,便会把该实例从注册表中删除(默认是90秒),但是,如果短时间内丢失大量的实例心跳,便会触发eurekaserver的自我保护机制,比如在开发测试时,需要频繁地重启微服务实例,但是我们很少会把eurekaserver一起重启(因为在开发过程中不会修改eureka注册中心),当一分钟内收到的心跳数大量减少时,会触发该保护机制。可以在eureka管理界面看到Renews threshold和Renews(lastmin),当后者(最后一分钟收到的心跳数)小于前者(心跳阈值)的时候,触发保护机制,会出现红色的警告:EMERGENCY!EUREKA MAY BE INCORRECTLY CLAIMING INSTANCES ARE UP WHEN THEY'RE NOT.RENEWALS ARE LESSER THAN THRESHOLD AND HENCE THE INSTANCES ARE NOT BEGING EXPIRED JUST TO BESAFE.从警告中可以看到,eureka认为虽然收不到实例的心跳,但它认为实例还是健康的,eureka会保护这些实例,不会把它们从注册表中删掉。
该保护机制的目的是避免网络连接故障,在发生网络故障时,微服务和注册中心之间无法正常通信,但服务本身是健康的,不应该注销该服务,如果eureka因网络故障而把微服务误删了,那即使网络恢复了,该微服务也不会重新注册到eureka server了,因为只有在微服务启动的时候才会发起注册请求,后面只会发送心跳和服务列表请求,这样的话,该实例虽然是运行着,但永远不会被其它服务所感知。所以,eureka server在短时间内丢失过多的客户端心跳时,会进入自我保护模式。该模式下,eureka会保护注册表中的信息,不在注销任何微服务,当网络故障恢复后,eureka会自动退出保护模式。自我保护模式可以让集群更加健壮。
在开发测试阶段,需要频繁地重启发布,如果触发了保护机制,则旧的服务实例没有被删除,这时请求有可能跑到旧的实例中,而该实例已经关闭了,这就导致请求错误,影响开发测试。所以,在开发测试阶段,我们可以把自我保护模式关闭,只需在eurekaserver配置文件中加上如下配置即可:eureka.server.enable-self-preservation=false【不推荐关闭自我保护机制】\t\t\t详细内容可以参考下这篇博客内容:https://blog.csdn.net/wudiyong22/article/details/80827594
EureKa自我保护机制
A (Atomicity) 原子性\t\t\tC (Consistency) 一致性\t\t\tI (Isolation) 隔离性\t\t\tD (Durability) 持久性
RDBMS (MySQL\\Oracle\\sqlServer) ===> ACID
C (Consistency) 强一致性\t\t\tA (Availability) 可用性\t\t\tP (Partition tolerance) 分区容错性\t\t\tCAP的三进二:CA、AP、CP
CA:单点集群,满足一致性,可用性的系统,通常可扩展性较差\t\t\tCP:满足一致性,分区容错的系统,通常性能不是特别高\t\t\tAP:满足可用性,分区容错的系统,通常可能对一致性要求低一些
分布式系统不可能同时很好的满足一致性、可用性、分区容错性者三个需求 根据CAP原理,将NoSQL数据库分成了满足CA原则,满足CP原则和满足AP原则三大类
CAP理论的核心
NoSQL (Redis\\MongoDB) ===> CAP
回顾ACID、CAP原则
著名的CAP理论指出,一个分布式系统不可能同时满足C (一致性) 、A (可用性) 、P (容错性),由于分区容错性P在分布式系统中是必须要保证的,因此我们只能再A和C之间进行权衡。
当向注册中心查询服务列表时,可以保证查询到的信息是最新的,但服务可能会down掉不可用。也就是说,服务注册功能对一致性的要求要高于可用性。但zookeeper会出现这样一种情况,当master节点因为网络故障与其他节点失去联系时,剩余节点会重新进行leader选举。问题在于,选举leader的时间太长,30-120s,且选举期间整个zookeeper集群是不可用的,这就导致在选举期间注册服务瘫痪。在云部署的环境下,因为网络问题使得zookeeper集群失去master节点是较大概率发生的事件,虽然服务最终能够复,但是,漫长的选举时间导致注册长期不可用,是不可容忍的。
Zookeeper 保证的是 CP —> 满足一致性,分区容错的系统,通常性能不是特别高
Eureka看明白了这一点,因此在设计时就优先保证可用性。Eureka各个节点都是平等的,几个节点挂掉不会影响正常节点的工作,剩余的节点依然可以提供注册和查询服务。而Eureka的客户端在向某个Eureka注册时,如果发现连接失败,则会自动切换至其他节点,只要有一台Eureka还在,就能保住注册服务的可用性,只不过查到的信息可能不是最新的,除此之外,Eureka还有自我保护机制,如果在15分钟内超过85%的节点都没有正常的心跳,那么Eureka就认为客户端与注册中心出现了网络故障,此时会出现以下几种情况:\t\t\t\t\tEureka不会从注册列表中移除因为长时间没收到心跳而应该过期的服务,Eureka仍然能够接受新服务的注册和查询请求,但是不会被同步到其他节点上 (即保证当前节点依然可用),当网络稳定时,当前实例新的注册信息会被同步到其他节点中,因此,Eureka可以很好的应对因网络故障导致部分节点失去联系的情况,而不会像zookeeper那样使整个注册服务瘫痪
Eureka 保证的是 AP —> 满足可用性,分区容错的系统,通常可能对一致性要求低一些
分布式服务注册中心,Eureka比Zookeeper好在哪里?
Eureka对比Zookeeper区别
Eureka服务注册中心
Spring Cloud Ribbon 是基于Netflix Ribbon 实现的一套客户端负载均衡的工具。\t\t\t简单的说,Ribbon 是 Netflix 发布的开源项目,主要功能是提供客户端的软件负载均衡算法,将 Netflix 的中间层服务连接在一起。Ribbon 的客户端组件提供一系列完整的配置项,如:连接超时、重试等。简单的说,就是在配置文件中列出 LoadBalancer (简称LB:负载均衡) 后面所有的及其,Ribbon 会自动的帮助你基于某种规则 (如简单轮询,随机连接等等) 去连接这些机器。我们也容易使用 Ribbon 实现自定义的负载均衡算法!
Ribbon是什么?
LB,即负载均衡 (LoadBalancer) ,在微服务或分布式集群中经常用的一种应用。负载均衡简单的说就是将用户的请求平摊的分配到多个服务上,从而达到系统的HA (高用)。常见的负载均衡软件有 Nginx、Lvs 等等。Dubbo、SpringCloud 中均给我们提供了负载均衡,SpringCloud 的负载均衡算法可以自定义。
即在服务的提供方和消费方之间使用独立的LB设施,如Nginx(反向代理服务器),由该设施负责把访问请求通过某种策略转发至服务的提供方
集中式LB
将LB逻辑集成到消费方,消费方从服务注册中心获知有哪些地址可用,然后自己再从这些地址中选出一个合适的服务器。Ribbon 就属于进程内LB,它只是一个类库,集成于消费方进程,消费方通过它来获取到服务提供方的地址
进程式LB
简单分类
负载均衡
流程图
使用Ribbon实现负载均衡流程图
Ribbon:负载均衡(基于客户端)
Feign是声明式Web Service客户端,它让微服务之间的调用变得更简单,类似controller调用service。\t\t\t
SpringCloud集成了Ribbon和Eureka,可以使用Feigin提供负载均衡的http客户端\t\t\t\t\t只需要创建一个接口,然后添加注解即可
Feign,主要是社区版,大家都习惯面向接口编程。这个是很多开发人员的规范。调用微服务访问两种方法 微服务名字 【ribbon】 接口和注解 【feign】
简介
Feign旨在使编写Java Http客户端变得更容易。\t\t\t前面在使用Ribbon + RestTemplate时,利用RestTemplate对Http请求的封装处理,形成了一套模板化的调用方法。但是在实际开发中,由于对服务依赖的调用可能不止一处,往往一个接口会被多处调用,所以通常都会针对每个微服务自行封装一个客户端类来包装这些依赖服务的调用。\t\t\t所以,Feign在此基础上做了进一步的封装,由他来帮助我们定义和实现依赖服务接口的定义,在Feign的实现下,我们只需要创建一个接口并使用注解的方式来配置它 (类似以前Dao接口上标注Mapper注解,现在是一个微服务接口上面标注一个Feign注解),即可完成对服务提供方的接口绑定,简化了使用Spring Cloud Ribbon 时,自动封装服务调用客户端的开发量。
作用
利用Ribbon维护了MicroServiceCloud-Dept的服务列表信息,并且通过轮询实现了客户端的负载均衡,而与Ribbon不同的是,通过Feign只需要定义服务绑定接口且以声明式的方法,优雅而简单的实现了服务调用。
Feign默认集成了Ribbon
根据个人习惯而定,如果喜欢REST风格使用Ribbon;如果喜欢社区版的面向接口风格使用Feign。\t\tFeign 本质上也是实现了 Ribbon,只不过后者是在调用方式上,为了满足一些开发者习惯的接口调用习惯!
Feign和Ribbon如何抉择?
Feign:负载均衡(基于服务端)
分布式系统面临的问题:复杂分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候将不可避免失败
多个微服务之间调用的时候,假设微服务A调用微服务B和微服务C,微服务B和微服务C又调用其他的微服务,这就是所谓的“扇出”;如果扇出的链路上某个微服务的调用响应时间过长,或者不可用,对微服务A的调用就会占用越来越多的系统资源,进而引起系统崩溃,所谓的“雪崩效应”。
对于高流量的应用来说,单一的后端依赖可能会导致所有服务器上的所有资源都在几十秒内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障,这些都表示需要对故障和延迟进行隔离和管理,以达到单个依赖关系的失败而不影响整个应用程序或系统运行。
弃车保帅
前置:服务雪崩
Hystrix是一个应用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时,异常等,Hystrix 能够保证在一个依赖出问题的情况下,不会导致整个体系服务失败,避免级联故障,以提高分布式系统的弹性。
“断路器”本身是一种开关装置,当某个服务单元发生故障之后,通过断路器的故障监控 (类似熔断保险丝) ,向调用方返回一个服务预期的,可处理的备选响应 (FallBack) ,而不是长时间的等待或者抛出调用方法无法处理的异常,这样就可以保证了服务调用方的线程不会被长时间,不必要的占用,从而避免了故障在分布式系统中的蔓延,乃至雪崩。
什么是Hystrix
1.服务降级2.服务熔断3.服务限流4.接近实时的监控
Hystrix能干嘛
服务降级是指当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理,或换种简单的方式处理,从而释放服务器资源以保证核心业务正常运作或高效运作。说白了,就是尽可能的把系统资源让给优先级高的服务。
资源有限,而请求是无限的。如果在并发高峰期,不做服务降级处理,一方面肯定会影响整体服务的性能,严重的话可能会导致宕机某些重要的服务不可用。所以,一般在高峰期,为了保证核心功能服务的可用性,都要对某些服务降级处理。比如当双11活动时,把交易无关的服务统统降级,如查看蚂蚁深林,查看历史订单等等。
服务降级主要用于什么场景呢?当整个微服务架构整体的负载超出了预设的上限阈值或即将到来的流量预计将会超过预设的阈值时,为了保证重要或基本的服务能正常运行,可以将一些 不重要 或 不紧急 的服务或任务进行服务的 延迟使用 或 暂停使用。
降级的方式可以根据业务来,可以延迟服务,比如延迟给用户增加积分,只是放到一个缓存中,等服务平稳之后再执行 ;或者在粒度范围内关闭服务,比如关闭相关文章的推荐。
当某一时间内服务A的访问量暴增,而B和C的访问量较少,为了缓解A服务的压力,这时候需要B和C暂时关闭一些服务功能,去承担A的部分服务,从而为A分担压力,叫做服务降级
1)那些服务是核心服务,哪些服务是非核心服务\t\t\t2)那些服务可以支持降级,那些服务不能支持降级,降级策略是什么\t\t\t3)除服务降级之外是否存在更复杂的业务放通场景,策略是什么?
服务降级需要考虑的问题
1.超时降级:主要配置好超时时间和超时重试次数和机制,并使用异步机制探测回复情况\t\t\t
2.失败次数降级:主要是一些不稳定的api,当失败调用次数达到一定阀值自动降级,同样要使用异步机制探测回复情况
3.故障降级:比如要调用的远程服务挂掉了(网络故障、DNS故障、http服务返回错误的状态码、rpc服务抛出异常),则可以直接降级。降级后的处理方案有:默认值(比如库存服务挂了,返回默认现货)、兜底数据(比如广告挂了,返回提前准备好的一些静态页面)、缓存(之前暂存的一些缓存数据)
4.限流降级:秒杀或者抢购一些限购商品时,此时可能会因为访问量太大而导致系统崩溃,此时会使用限流来进行限制访问量,当达到限流阀值,后续请求会被降级;降级后的处理方案可以是:排队页面(将用户导流到排队页面等一会重试)、无货(直接告知用户没货了)、错误页(如活动太火爆了,稍后重试)。
自动降级分类
服务降级
熔断机制是对应雪崩效应的一种微服务链路保护机制。
当扇出链路的某个微服务不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回错误的响应信息。检测到该节点微服务调用响应正常后恢复调用链路。在SpringCloud框架里熔断机制通过Hystrix实现。Hystrix会监控微服务间调用的状况,当失败的调用到一定阀值缺省是5秒内20次调用失败,就会启动熔断机制。熔断机制的注解是:@HystrixCommand。
服务熔断
触发原因不太一样:服务熔断一般是某个服务(下游服务)故障引起,而服务降级一般是从整体负荷考虑
管理目标的层次不太一样:熔断其实是一个框架级的处理,每个微服务都需要(无层级之分),而降级一般需要对业务有层级之分(比如降级一般是从最外围服务开始)
实现方式不太一样:服务降级具有代码侵入性(由控制器完成/或自动降级),熔断一般称为自我熔断
分说
服务熔断—>服务端:某个服务超时或异常,引起熔断~,类似于保险丝(自我熔断)
服务降级—>客户端:从整体网站请求负载考虑,当某个服务熔断或者关闭之后,服务将不再被调用,此时在客户端,我们可以准备一个 FallBackFactory ,返回一个默认的值(缺省值)。会导致整体的服务下降,但是好歹能用,比直接挂掉强
总说
服务熔断和服务降级区别
限流:限制并发的请求访问量,超过阈值则拒绝
降级:服务分优先级,牺牲非核心服务(不可用),保证核心服务稳定;从整体负荷考虑
熔断:依赖的下游服务故障触发熔断,避免引发本系统崩溃;系统自动执行和恢复
熔断,降级,限流
Dashboard 流监控
Hystrix:服务熔断
Zull包含了对请求的路由(用来跳转的)和过滤两个最主要功能
路由功能负责将外部请求转发到具体的微服务实例上,是实现外部访问统一入口的基础
过滤器功能则负责对请求的处理过程进行干预,是实现请求校验,服务聚合等功能的基础
Zuul和Eureka进行整合,将Zuul自身注册为Eureka服务治理下的应用,同时从Eureka中获得其他服务的消息,即以后的访问微服务都是通过Zuul跳转后获得
注意:Zuul 服务最终还是会注册进 Eureka
提供:代理 + 路由 + 过滤 三大功能
补充
路由、过滤
官方文档:https://github.com/Netflix/zuul/
Zull能干嘛
Zull路由网关
Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持。使用Config Server,您可以在所有环境中管理应用程序的外部属性。客户端和服务器上的概念映射与Spring Environment和PropertySource抽象相同,因此它们与Spring应用程序非常契合,但可以与任何以任何语言运行的应用程序一起使用。随着应用程序通过从开发人员到测试和生产的部署流程,您可以管理这些环境之间的配置,并确定应用程序具有迁移时需要运行的一切。服务器存储后端的默认实现使用git,因此它轻松支持标签版本的配置环境,以及可以访问用于管理内容的各种工具。很容易添加替代实现,并使用Spring配置将其插入。
微服务意味着要将单体应用中的业务拆分成一个个子服务,每个服务的粒度相对较小,因此系统中会出现大量的服务,由于每个服务都需要必要的配置信息才能运行,所以一套集中式的,动态的配置管理设施是必不可少的。spring cloud提供了configServer来解决这个问题,我们每一个微服务自己带着一个application.yml,那上百个的配置文件修改起来,令人头疼
spring cloud config 为微服务架构中的微服务提供集中化的外部支持,配置服务器为各个不同微服务应用的所有环节提供了一个中心化的外部配置。
服务端也称为 分布式配置中心,它是一个独立的微服务应用,用来连接配置服务器并为客户端提供获取配置信息,加密,解密信息等访问接口
客户端则是通过指定的配置中心来管理应用资源,以及与业务相关的配置内容,并在启动的时候从配置中心获取和加载配置信息。配置服务器默认采用git来存储配置信息,这样就有助于对环境配置进行版本管理。并且可用通过git客户端工具来方便的管理和访问配置内容
spring cloud config 分为服务端和客户端两部分
什么是SpringCloud config分布式配置中心
1.集中式管理配置文件2.不同环境,不同配置,动态化的配置更新,分环境部署,比如 /dev /test /prod /beta /release3.运行期间动态调整配置,不再需要在每个服务部署的机器上编写配置文件,服务会向配置中心统一拉取配置自己的信息4.当配置发生变动时,服务不需要重启,即可感知到配置的变化,并应用新的配置5.将配置信息以REST接口的形式暴露
推荐:spring cloud config 分布式配置中心与GitHub整合
spring cloud config 分布式配置中心能干嘛
Spring Cloud Config 分布式配置
SpringCloudAlibaba
分布式
Nginx
ElasticSearch
RabbitMQ
Kafka
Mycat
中间件
技术栈
0 条评论
回复 删除
下一页