JAVA开发大全
2019-03-25 14:57:28 6 举报AI智能生成
登录查看完整内容
java技术栈总结
作者其他创作
大纲/内容
设计模式
为什么要使用设计模式
分类
creational(创建型)
Singleton Pattern
保证一个类仅有一个实例，并提供一个访问它的全局访问点
Factory Pattern工厂模式
Static Factory Method简单工厂
简单工厂模式的实质是由一个工厂类根据传入的参数，动态决定应该创建哪一个产品类
Spring中的BeanFactory
Abstract Factory Pattern
Builder Pattern
Prototype Pattern
structural(结构型)
Adapter Patten适配器模式
解决的问题：两个接口无法适配，需要一个中间类来将其适配起来
举个例子：我们经常会遇到调用第三方API的事情，但是有时候第三方的API我们直接使用我们的接口来调用，会出现参数不能直接匹配或者返回值不是我们想要的，那么我们就可以在第三方接口和我们自己的接口中间加一个适配器类，这个类提供API供我们的API友好调用，同时将请求组装调用第三方API，将返回的结果再次组装返回给我们的API
behavioral(行为型)
数据结构与算法
云产品
AWS
域名解析-Route 53* Godady
内容分发服务器-CloudFront
负载均衡器-Load Balancers
Classic ELB
Application Load Balancer
服务器-EC2
数据库-RDS
文件存储器-S3/EFS
性能监控-Cloud Watch
后端技术
JAVA
JavaSE
基础语法
数据类型
8种基本数据类型
数值型
整型
byte
short
int
long
浮点型
float
double
字符型 char
布尔型 boolean
引用类型
类
接口
数据
枚举类型 enum
类型转换
装箱/拆箱
运算符与表达式
算术运算符
关系运算符
赋值运算符
移位运算符
位运算符
流程控制结构
顺序结构
选择(条件)结构
循环结构
重载 VS 重写
重载 overload
针对同一个类或者接口而言
同名不同参
重写 override
以继承为基础，子类可以重写父类实现的方法，从而实现自己的功能
不允许重写的两种情况
private修饰的方法
final修饰的方法
面向对象OOP
事物
对象
三大特性
封装
属性
对象的具体特征
方法
对对象具体特征操纵的方法
继承/派生
子类继承父类，对父类进行扩展，Java中对类的继承只允许单继承
子类实现接口，接口中定义的方法需要在子类中实现
多态
即多种形态，表现为对接口和抽象类中的抽象方法的重写，每个类可以有自己不同的实现
七大设计原则巧记：迪衣里开合接单
单一职责原则
一个类的功能尽可能单一
开闭原则
对扩展开放，对修改关闭
依赖倒置原则
针对抽象编程（接口和抽象类），而不是具体实现类
里氏替换原则
所有引用其基类（父类）的地方都能透明的使用其子类对象
接口隔离原则
使用多个单一的接口，而不是继承自一个总的接口如Collection集合中的实现类，都分别单独继承Cloneable和Serializable接口，而不是笼统的继承Collection接口
合成复用原则
使用多各类的合成，而不是继承。我也没太懂
迪米特原则
一个类尽量不要关联其他类，不要和陌生人说话
集合框架java.util.*
Collection
List
ArrayList
Collections.synchronizedList(new ArrayList<>())了解下香不香
Vector
Set
TreeSet
HashSet
Queue
LinkedList
Map
TreeMap
HashMap
WeakHashMap
HashTable
Concurrent
ConcurrentHashMap分治思想：ConcurrentHashMap默认将hash表分为16个桶，诸如get、put、remove等常用操作只锁住当前需要用到的桶。
常用工具类
Apache Commons
BeanUtils提供了对于Javabean进行各种操作，如克隆对象属性等等
BetwixtXML与Java对象之间的相互转换
CollectionsJava集合框架操作
CompressJava提供文件打包压缩类库
Configuration一个Java应用程序的配置管理类库
DBCP提供数据库连接池的服务
DbUtils提供对jdbc的操作封装来简化数据查询和记录读取操作
EmailJava发送邮件，对Javamail的封装
FileUpload提供文件上传功能
HttpClien提供HTTP客户端与服务器的各种通讯操作现在已改成HttpComponents
IOIO工具的封装
Logging提供的是一个Java的日志接口
Validator提供了客户端和服务器端的数据验证框架
Lombok一个可以让你少写一些你不想写的代码，但是降低了代码的可读性和观赏性
Hutool
也是一个帮助类，牛逼的不要不要的
IO
字节流
InputStream输入
FileInputStream从本地文件中读取数据
StringBufferInputStream从StringBuffer中读取数据
ByteArrayInputStream从Byte数组中读取数据
ObjectInputStream
SequenceInputStream将两个或者多个输入流当成一个输入流依次读取
PipedInputStream从与其他线程共用的管道中读取数据
FilterInputStream
BufferedInputStream
DataInputStream
PushbakInputStream
OutputStream输出
FileOutputStream向本地文件写入数据
ObjectOutputStream
ByteArrayOutputStream向Byte数组写入数据
PipedOutputStream向与其他线程共用的管道中写入数据
FilterOutputStream
BufferedOutputStream
DataOutputStream
PrintStream
字符流
Reader输入
BufferedReader
InputStreamReader连接字节流和字符流的桥梁
FileReader
StringReader
PipedReader
ByteArrayReader
FilterReader
PushbackReader
Writer输出
BufferedWriter
OutputStreamWriter
FilterWriter
PrinterWriter
StringWriter
PipedWriter
CharArrayWriter
File
RandomAccessFile(独立于IO)
搞清楚IO的底层原理
并发
并发产生的原因
出现线程安全的问题一般是因为主内存和工作内存数据不一致性和重排序导致的
现代处理器采用了指令级并行技术来将多条指令重叠执行。如果不存在数据依赖性，处理器可以改变语句对应机器指令的执行顺序；
解决方案
可见性：volatile关键字修饰变量，强制各个线程从主内存中读取数据
原子性：使用重量级的synchronize关键字修饰，其内部是执行时加入了monitorenter和monitorexist来保证的也就是对象锁monitor机制
解决原子性问题，可以使用Java并发包中提供的Atomic类，它的原理是CAS乐观锁。
Unsafe类
as-if-serial
happen-before原则
多线程
线程池
ThreadLocal
1.ThreadLocal 是什么？
2. ThreadLocal 的作用？
3. ThreadLocal的应用场景？
JavaEE
基础
Servlet
Lifecycle
init(ServletConfig config)方法，在Servlet初始化时被调用
destory()方法，在Servlet销毁时被调用
Configurations
web.xml配置servlet和servlet-mapping
@WebServlet注解
ServletConfig
代表当前Servlet
获取Servlet初始化参数init-param
ServletContext
代表当前web应用
获取web应用初始化参数context-param
整个web应用数据共享
ServletRequest
客户端请求
ServletResponse
服务端响应
Servlet@3
异步FilterasyncSupported=true
JSP
九大内置对象
application: ServletContext类型，表示当前Web应用page: Object类型，当前页面对象pageContext: PageContext类型，页面上下文对象config: ServletConfig对象，表示当前Servlet out: JspWriter类型，JSP页面输出流request: ServletRequest类型，表示HTTP请求response: ServletResponse类型，表示HTTP响应session: HttpSession类型，表示当前会话exception: Throwable类型
四大作用域
page: 表示页面范围request: 表示请求范围session:表示当前会话范围application: 表示当前Web应用范围
三大指令
<%@page ...%>定义页面依赖属性，比如脚本语言，error页面、缓存需求等等
<%@include ...%>包含其他文件
<%@taglib ...%>引入标签库的定义
10大动作元素
jsp:include在页面请求的时候引入一个文件
jsp:useBean寻找或者实例化一个JavaBean
jsp:setProperty设置JavaBean的属性
jsp:getProperty输出某个JavaBean的属性
jsp:forward把请求转到一个新的页面
jsp:plugin根据浏览器类型为Java插件生成OBJECT或EMBED标记
jsp:element定义动态XML元素
jsp:attribute设置动态定义的XML元素属性
jsp:body设置动态定义的XML元素内容
jsp:text在JSP页面和文档中使用写入文本的模板
JSTL
核心标签
<%@ taglib prefix=\"c\" uri=\"http://java.sun.com/jsp/jstl/core\" %>如：<c:if> <c:when> <c:forEach>等
格式化标签
<%@ taglib prefix=\"fmt\" uri=\"http://java.sun.com/jsp/jstl/fmt\" %>JSTL格式化标签用来格式化并输出文本、日期、时间、数字。如：<fmt:formatNumber> <fmt:timeZone>
SQL标签
<%@ taglib prefix=\"sql\" uri=\"http://java.sun.com/jsp/jstl/sql\" %>JSTL SQL标签库提供了与关系型数据库进行交互的标签。如：<sql:setDataSource> <sql:query> <sql:update>
XML标签
<%@ taglib prefix=\"x\" uri=\"http://java.sun.com/jsp/jstl/xml\" %>JSTL XML标签库提供了创建和操作XML文档的标签。如：<x:set> <x:when> <x:parse>
JSTL函数
<%@ taglib prefix=\"fn\" uri=\"http://java.sun.com/jsp/jstl/functions\" %>JSTL包含一系列标准函数，大部分是通用的字符串处理函数。如：<fn:contains()> <fn:endWith()>
自定义标签
EL表达式
JSP表达式语言(Expression Language)使得访问存储在JavaBean中的数据变得非常简单。JSP EL既可以用来创建算术表达式也可以用来创建逻辑表达式。
Spring
为什么会有Spring
Web发展的4个阶段
1. Model1(JSP+JavaBean)
2. Model2(JSP+Servlet+JavaBean)
3. EJB(各种配置，笨重框架)
4. Spring
IOC
AOP
事务管理
注解
组件类注解
@Repository@Service@Controller@Component
装配类注解
子主题
MVC模块注解
@Controller@RequestMapping@RequestParam@PathVariable@RequestBody@ResponseBody@RestController@ModelAttribute
事务模块注解
@Transactional(propagation=\"x\")propagation: 传播性
AOP模块注解
@Aspect@Pointcut@Around@Before@After@AfterReturning@AfterThrowing
条件注解
@Conditional(xxx.class)注解来实现只有某个Bean被创建时才会创建另外一个Bean，这样就可以依据特定的条件来控制Bean的创建行为，这样的话我们就可以利用这样一个特性来实现一些自动的配置。
Bean
Profile
Event
EL
SpringBoot
基础部分
本质
SpringBoot是对Spring的二次开发，通过大量的组合注解来简化配置，通过各种starter轻松实现与其他中间件的集成。其中组合注解、条件注解为SpringBoot简化配置提供了可能。
启动原理
Controller
@Controller@RestController
@RestController是Spring4之后新加的注解，是在@Controller注解的基础上添加了@ResponseBody而成的组合注解，二者都是注解在类上
@RequestMapping
DAO
@Repository需要在Spring中配置扫描地址，然后生成Dao层的Bean才能被注入到Service层中。
@Mapper不需要配置扫描地址，通过xml里面的namespace里面的接口地址，生成了Bean后注入到Service层中。
日志配置
默认配置
1. SpringBoot默认使用Logback。Spring Boot内部采用的是Commons Logging进行日志记录，但在底层为Java Util Logging、Log4J2、Logback等日志框架提供了默认配置 。2. SpringBoot默认为我们输出的日志级别为INFO、WARN、ERROR3. 日志切割logging.file.max-size=？ 保留天数logging.file.max-history=？保存地址logging.file=my.log
应用
动态更改日志等级
配置文件读取注入
@PropertySource(\"classpath:user-config.properties\")注解类上@Value配合EL表达式来注入到类中的属性
WebMvcConfigurer配置
官方推荐
SpringBoot2.0前@Configurationpublic class WebMvcConfig extends WebMvcConfigurerAdapter {}SpringBoot2.0后@Configurationpublic class WebMvcConfig implements WebMvcConfigurer {}
配置ResourceHandlers
配置ViewController
实现一个请求到视图的映射，无需书写controller@Overridepublic void addViewControllers(ViewControllerRegistry registry) { registry.addViewController(\"/login\").setViewName(\"web/login.html\");}
配置MessageConverter
这个配置一般针对API接口，配置在请求返回时内容采用什么转换器进行转换，SpringBoot默认自动配置jackson
配置拦截器
@Overridepublic void addInterceptors(InterceptorRegistry registry) { registry.addInterceptor(new CustomHandlerInterceptro()).addPathPatterns(\"/**\"); // excludePathPatterns表示不拦截}
配置过滤器
方法一：@WebFilter注解类方法二：实现Filter接口，@Component注解类
@WebFilter注解，指定拦截路径以及一些参数，同时需要在启动类使用@ServletComponentScan扫描带@WebFilter、@WebServlet、@WebListener并将帮我们注入bean
静态资源配置
方法一：静态资源文件配置类
方法二：配置文件中配置spring.mvc.static-path-pattern=/static/**
统一异常处理
方式一：实现HandlerExceptionResolver接口并使用@Component注解成为bean(和在WebMvcConfigurerAdapter中重写extendExceptionHandlerResolver，在其内添加Exception类是一样的)方式二：使用@ControllerAdvice和@ExceptionHandler可实现对指定的Exception处理方式三：实现ErrorController接口并使用@Controller接口注解，实现对渲染层及其他异常的处理一和二都只能处理Controller层之内的异常
配置错误页面
默认在/templates/error/下使用404.hmtl/5xx.html等
配置跨域
全局跨域
局部跨域
模块部分
Security
Spring Security，这是一种基于 Spring AOP 和 Servlet 过滤器的安全框架。它提供全面的安全性解决方案，同时在 Web 请求级和方法调用级处理身份确认和授权。
shiro
相对于security的轻量级权限控制
actuator
SpringBoot内置监控
data-redis
客户端
Jedis
Redisson
Lettuce
JVM
垃圾收集器与内存分配策略
对象是否存活
4种引用
强引用(Strong Reference)
软引用(Soft Reference)
弱引用(Weak Reference)
虚引用(Phantom Reference)
判断对象存活的算法
引用计数算法
可达性分析算法
GC Root不可达的对象回收
方法区对象的回收
垃圾回收算法
标记-清除算法
复制算法
标记-整理算法
分代收集算法
垃圾收集器
Serial串行收集器
ParNew收集器
Parallel Scavenge收集器
Serial Old收集器
Parallel Old收集器
CMS收集器
G1收集器
内存分配与回收
对象优先在Eden分配
触发Minor GC(新生代GC)的条件
空间分配担保
大对象直接进入老年代
长期存活的对象将直接进入老年代
动态对象年龄判断
HotSpot实现方式
枚举根节点
安全点
安全区域
JVM参数配置
串行回收器参数配置
-XX:+UseSerialGC
-XX:+SurivorRatio
-XX:PretenureSizeThreshold
-XX:MaxTenuringThreshold
并行回收器参数配置
-XX:+UseParNewGC
-XX:ParallelGCThreads
-XX:MaxGCPauseMillis=50
-XX:+GCTimeRatio
-XX:+UseAdaptiveSizePolicy
-XX:+UseParallelGC
-XX:+UseParalleOldGC
CMS收集器参数配置
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction
-XX:+CmsFullGcsBeforeCompaction
-XX:+CMSClassUnloadingEnabled
-XX:+CMSParallelRemarkEnable
-XX:UseCMSInitatingOccupancyFraction
-XX:+UseCMSInitatingPermOccupancyOnly
-XX:+UseCMSCompactAtFullCollection
-XX:+CMSIncrementalMode
G1收集器参数配置
-XX:+UseG1GC
-XX:+UnlockExperimentalVMOptions
-XX:GCPauseIntervalMillis=200
GC日志配置
-XX:+PrintGCDetails
-XX:+PrintGCTimeStamps
-XX:+PrintGCDataStamps
-XX:+PrintHeadAtGc
-XX:+DisableExplicitGC
性能优化
Tools
JDK自带
1. Create and Build Applications
appletviewer
extcheck
jar
java
javac
javadoc
javah
javap
jdb
jdeps
2. Security
keytool
jarsigner
policytool
3. Internationalization
native2ascii
4. Remote Method Invocation(RMI)
rmic
rmiregistry
rmid
serialver
5. Java IDL and RMI-IIOP
tnameserv
idlj
orbd
servertool
6. Deploy Applications and Applets
pack200
unpack200
javapackager
javafxpackager
7. Java Web Start
javaws
8. Monitor Java Applications
jconsole
jvisualvm
9. Monitor the JVM
jps
jstat
jstatd
jmc
10. Web Services
schemagen
wsgen
wsimport
xjc
11. Troubleshooting
jcmd
jinfo
jhat
jmap
jsadebugd
jstack
12. Scripting
jrunscript
jjs
付费工具
AppDynamic
* 在setenv.sh中配置agent
NewRelic
* 在newrelic.yml中配置license key* 在tomcat/bin/catalina.sh中配置agent* 注意newrelic的日志会很大
透视宝
开源工具
Pinpoint
MoSKito
BTrace运行时动态输出信息
调优
1. 调优调的是什么对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数另外要看下CPU的情况
2. 怎么查
1. 各种监控上上去，另外生成dump文件
1. 分析GC的频率和时长2. 查看当前字符串常量池大小，和占用空间最多的都是哪些3. 分析线程的个数，已经查看哪些线程频繁创建和销毁，是否有必要引入线程。线程的死锁检查4. 热点检查 * CPU热点：检查系统哪些方法占用的大量CPU时间 * 内存热点：检查哪些对象在系统中数量最大（一定时间内存活对象和销毁对象一起统计）5. 内存泄漏检查，配置环境变量，当发生内存泄漏时保存日志
兵器在哪里取我方天画戟
常用分析工具：1、jconsole2、jvisualvm4、MAT 对文件分析工具5、gc日志分析-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:gc.loggc日志分析工具：在线：http://gceasy.io离线：GCViewer
3. 怎么调
1. 针对JVM堆的设置，一般可以通过-Xms -Xmx限定其最小、最大值，为了防止垃圾收集器在最小、最大之间收缩堆而产生额外的时间，通常把最大、最小设置为相同的值;2. 年轻代和年老代将根据默认的比例（1：2）分配堆内存， 可以通过调整二者之间的比率NewRadio来调整二者之间的大小，也可以针对回收代。比如年轻代，通过 -XX:newSize -XX:MaxNewSize来设置其绝对大小。同样，为了防止年轻代的堆收缩，我们通常会把-XX:newSize -XX:MaxNewSize设置为同样大小。3. 年轻代和年老代设置多大才算合理线程堆栈的设置：每个线程默认会开启1M的堆栈，用于存放栈帧、调用参数、局部变量等，对大多数应用而言这个默认值太了，一般256K就足用
JMM
1. 计算机各个部件的速度差异引出缓存一致性的问题
2. JMM是如何保证高并发下缓存一致性的
3. JMM-JAVA内存模型介绍变量的各种操作(read/load/use/assign/store/write/lock/unlock)JMM指令规范JMM三大特性：可见性，原子性，有序性Happen-before
4. volatile关键字(保证了可见性和有序性，但不能保证原子性)
可见性：变量在线程间的可见性有序性：禁止指令重排
5. HappenBefore规则
感悟
工作中最好的建议
正视自己的价值
刚入职时需要做什么
大数据开发
小规模数据处理
Python数据处理
中等规模数据处理
ELK生态
大数据基础平台
分布式协调系统ZooKeeper
大数据基础平台Hadoop
大数据存储
分布式数据仓库 Hive
分布式列式数据库 HBase
分布式消息系统 Kafka
大数据采集
分布式导数系统 Sqoop
分布式日志采集系统 Flume
任务调度Quarz难用
分布式任务调度 Azkaban
XXL-JOB是一个轻量级分布式任务调度平台
opencron
LTS，light-task-scheduler
Elastic-Job
大数据处理
快速通用的分布式计算引擎 Spark
新一代分布式计算引擎 Flink
大数据应用OLAP生态
程序人生Github链接接
日志
ELK Stack（集中式日志解决方案）
Elasticsearch
Kibana
Logstash
Filebeat
日志系统
1. 收集-能够采集多种来源的日志数据
2. 传输-能够稳定的把日志数据传输到中央系统
3. 存储-如何存储日志数据
4. 分析-可以支持UI分析
5. 警告-能够提供错误报告，监控机制
数据库
数据库原理
理论
CAP理论
DBProxy
分布式数据库
Aurora AWS上的分布式关系型数据库
P6SpyDriver P6Spy 是针对数据库访问操作的动态监测框架，它使得数据库数据可无缝截取和操纵，而不必对现有应用程序的代码作任何修改。P6Spy 分发包包括P6Log，它是一 个可记录任何 Java 应用程序的所有JDBC事务的应用程序。其配置完成使用时，可以进行数据访问性能的监测。
ORM
oracle
oracle中有个高级应用是oracle由queue，有个设置可以记录每次的sql cmd
elasticsearch
索引
创建索引
创建mapping映射
mysql
实战
怎么给字符串字段加索引？比如email
架构
设计原则
软件工程的四个要求
可维护性
可扩展性
可复用性
灵活性好
软件设计的六大原则
单一职责
API设计
安全设计常用方式
发
数据加密
传
appid+密钥
token机制
签名机制
收
黑白名单
时间戳
限流机制
验
数据合法性验证
大型网站架构核心思想
要素
性能
性能测试
不同视角下的性能
基准
指标
报告、分析
优化方案
前端优化
浏览器优化
CDN加速
反向代理
后端优化
使用分布式缓存
集群化
异步调用
代码优化
存储优化
硬件优化
RAID
分布式存储
合适的存储数据结构
高并发场景三把利器
缓存
降级
限流
可用性
应用高可用
集群
服务高可用
隔离
超时
异步
异地多活
数据高可用
备份
分布式数据库的CAP原则
发布
测试
预发布
代码控制
灰度发布
监控
扩展性
解耦
传统设计模式解耦
异步消息队列机制解耦
重用
服务化
伸缩性
通过增减资源达到增减吞吐量
应用服务集群伸缩
负载均衡
HTTP Redirect负载
DNS负载
IP负载
4层负载LVS
分布式缓存集群伸缩
数据库集群伸缩
RDBMS伸缩
NoSQL伸缩
安全性
WAF
加密
MD5
对称加密
非对称加密
内容安全
过滤
反垃圾
发爬虫
常见攻击
XSS
CRSF
SQL注入攻击
文件上传漏洞
DOS / DDOS攻击
分布式
Consistency 强一致性，保证数据中的数据完全一致（可以理解为写操作之后的读操作，必须返回该值）
Avaiable 在系统异常时，仍然可以提供服务。这里的可用性，一方面要求系统可以正常的运行返回结果，另一方面同样对响应速度有一定的保障
Partition Tolerance 分区容错
分布式存储系统如GFS
结构化存储structured storage system
MySQL / PostgreSQL
传统的结构化存储系统强调的是：（1）结构化的数据（如关系表）（2）强一致性（3）随机访问（索引，CRUD，SQL语言）
非结构化存储no-structed storage system
非结构化存储强调的是高可扩展性，典型的系统就是分布式文件系统。缺点就是无法支持随机访问random access操作
半结构化存储semi-structure storage system
In-memory存储
NewSQL
兼备 RDBMS 的特性（例如：完整的 SQL 支持，ACID 事务支持），又能像 NoSQL 系统那样具有强大的可扩展能力 - Google Spanner研发当中
分布式计算系统如MapReduce
传统基于msg的系统
MapReduce-like系统
MapReduce(Hadoop和Spark为代表) / Hive
图计算系统
基于状态(state)的系统
Streaming系统
分布式锁如Chobby
分布式MQ如Kafka
分布式ML如TensorFlow
产品工具
分布式配置中心
Apollo 阿波罗 携程框架
分布式日志手机系统ELK
收集和分析
搜索与存储
Kabana
可视化展示
可配合Kafka使用
性能监控
CPU/Memory/RDS使用率
服务器并发用户数
系统响应时间Lantency
In-service服务器数量
DB Connection
文件上传数量变化
分布式性能监控工具
Google Dapper
New Relic收费
App Dynamic收费-能监控到SQL级别，各个方法调用的耗时情况
数据库优化
P6SpyDriver P6Spy 是针对数据库访问操作的动态监测框架主要特点：1. 通过P6Log拦截和记录JDBC语句，对SQL语句的整个编译，执行进行监控2. 清晰的输出SQL耗时，方便开发中调优3. 切入的是JDBC Driver，不会对ORM层产生影响，后期上线直接替换为原生的jdbc driver
JVM参数调优
微服务
SpringCloud框架
服务注册中心
Eureka(2.0后闭源)AP
Eureka原理
服务注册
1. Eureka Client延迟注册，默认延迟40秒2. 在应用启动后，Eureka Client将会向Eureka Server发送心跳，默认周期是30s，如果Eureke Server在多个心跳周期内都没有接收到某个节点的心跳，Eureka Server将会从服务注册表中把这个服务节点移除（默认90s）。3. 服务注册使用了EurekaClient.register(instanceInfo)方法
服务发现
Discovery
启动类
获取注册信息
服务续约
客户端源码(DiscoveryClient类里面)：通过发送心跳进行续约，告诉注册中心我还活着注册服务的时候调用了initScheduledTasks，开启任务调度来进行服务续约和获取服务端注册列表
Eureka基本搭建
服务端@EnableEurekaServer
客户端@EnableEurekaClient
Eureka集群搭建
修改系统配置
/etc/hosts127.0.0.1 my-eureka-server1.com127.0.0.1 my-eureka-server2.com
配置文件
服务同步实现原理
服务的负载均衡实现
RestTemplate Bean声明添加@LoadBalanced
@LoadBalanced默认采用
Eureka自我保护
源码分析
Zookeeper(CP)适用于大数据方向
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
Consul(CP)适用于企业级应用
Go语言开发的，提供分布式的服务注册、发现、配置等功能，每个功能都可以单独使用和组合。Consul实现了Raft协议来保证这种强一致性
Nacos
Nacos 是 SpringCloud Alibaba生态系统中重要的注册中心实现
CAP理论(分布式基础)
CAP关注的数据的读写，而不是整个服务系统架构
AP(Eureka)CP(Consul/Zeekpeer)
网关服务
SpringCloud Gateway服务网关，性能是Zuul的1.6倍
路由
限流算法： 计数器算法，漏斗算法，令牌桶算法
Zuul
基于HttpServlet的实现，进入维护状态
配置中心
SpringCloud Config服务配置
是一个解决分布式系统的配置管理方案。它包含了Client和Server两个部分，server提供配置文件的存储、以接口的形式将配置文件的内容提供出去，client通过接口获取数据、并依据此数据初始化自己的应用。
搭建复杂，约定多，设计繁重，没有界面，难以上手
Nacos Config
搭建简单，有可视化界面，配置管理更高效
远程调用
SpringCloud Feign服务调用（进入维护）
Feign进行远程调用，@PostMapping时，传递多个参数时，使用@RequestBody进行参数传递也就是需要一个DTO对象，如果是单个参数，可以使用@RequestParam，如果是多个就会报参数找不到的情况
SpringCloud Ribbon负载均衡（SC1.0的产物）
概述
Ribbon是通过将负载均衡逻辑以代码的形式封装到服务消费者的客户端上，服务消费者客户端维护了一份服务提供者的信息列表，有了信息列表通过负载均衡策略将请求分摊给多个服务提供者，从而达到负载均衡的目的
Dubbo
Spring Cloud Loadbalancer
服务限流
SpringCloud Hystirx服务降级/熔断/隔离
是Netflix中开源的一个用于服务的隔离，熔断，降级，和缓存的开源组件。主要特点是：1. 隔离：线程池隔离（各个服务都安排一个线程池），信号量隔离（AtomicInteger）2. 熔断：服务调用异常达到某个阈值，触发熔断，后续请求直接返回fallBack函数的结果3. 降级：保证服务的应答，但是返回的不是正常的业务结果4. 缓存：缓存请求的结果。@CacheResult（所有参数都是key）@CacheKey(自己指定key) @CacheRemove(哪个key不缓存) / 自己实现HystrixCommand.getCacheKey方法
Hystrix的工作流程：1. 每次调用都会创建一个HystrixCommand2. 执行execute或queue做同步、异步调用3. 判断熔断器是否打开，如果打开就做服务降级处理，如果关闭则继续4. 判断线程池或信号量是否跑满，如果跑满就做服务降级处理，否则继续5. 调用HystrixCommand的run方法，如果失败就做服务降级处理6. 判断是否调用成功，成功就返回结果，失败就走服务降级7. 计算熔断器状态，所有的运行状态（成功，失败，拒绝，超时）上报给熔断器，用于统计从而判断熔断器状态8. 服务降级：服务降级处理： 1. 熔断器打开 2. 线程池/信号量跑满 3. 调用超时 4. 调用失败9. 返回结果
Sentinel
面向分布式服务框架的轻量级流量控制产品，主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性
链路追踪
Dapper(Google)
Zipkin(Twitter)
案例使用Zipkin来收集链路数据，然后通过RabbitMQ将数据传输到ElasticSearch进行持久化存储，然后通过Kibana来展示链路数据
Eagleeye(鹰眼，阿里)
消息总线
SpringCloud Admin服务监控
SpringCloud Security服务安全
任务调度
Alibaba Cloud SchedulerX
分布式任务调度产品，提供秒级、精准、高可靠、高可用的定时任务调度服务
XxlJob
服务器
Tomcat
Tomact架构及模块
Server
Service +
Connector +
Container -
Jasper
Naming
Session
Loging
JMX
Tomcat配置管理
Web应用配置web.xml
定义：web.xml是Web应用的部署描述文件，它支持的元素及属性来自于Servlet规范定义。
描述文件的配置分类
ServletContext初始化参数<context-param></context-param>
会话配置<session-config></session-config>默认是30分钟
应用生命周期监听<listener></listener>
Filter定义及映射用于配置Web应用过滤器，用来过滤资源请求及响应。经常用于认证、日志、加密、数据转换等。<filter></filter><filter-mapping></filter-mapping>
MIME类型映射<mime-mapping></mime-mapping>
欢迎文件列表<welcome-file-list></welcome-file-list>
错误页面<error-page></error-page>
本地化及编码映射<locale-encoding-mapping-list></locale-encoding-mapping-list>
完全配置<security-constraint></security-constraint><security-role></security-role>
JNDI配置
Tomcat日志配置
运行中的日志
分5类：catalina、localhost、manager、admin、host-manager
分7中日志级别: SERVER > WARNING > INFO > CONFIG > FINE > FINER > FINEST默认级别为FINE
修改conf/logging.properties中的内容来设定日志级别设置catalina日志级别为FINE1catalina.org.apache.juli.FileHandler.level = FINE禁用catalina日志输出1catalina.org.apache.juli.FileHandler.level = OFF输出catalina所有的日志消息输出1catalina.org.apache.juli.FileHandler.level = ALL
访问日志
修改tomcat/conf/server.xml中Host下的Valve，去掉注释 <Valve className=\"org.apache.catalina.valves.AccessLogValve\" directory=\"logs\" prefix=\"localhost_access_log.\" suffix=\".txt\" pattern=\"common\" resolveHosts=\"false\"/>可修改pattern来修改输出
catalina容器启动阶段的配置，如服务器类加载器路径等conf/catalina.properties
server.xml配置tomcat应用服务器核心配置文件
acceptorThreadCount:接收socket连接的线程数maxThread：最大线程数acceptCount：最大线程数占满后，可以接受排队的队列长度；若acceptCount也占满了，返回connection refused
Tomcat安全
1. 专门创建一个用户只用于tomcat的服务，防止入侵者直接拿到root权限执行webshell
2. 修改管理端口及关闭服务的字符串8005 SHUTDOWN
3. 隐藏服务器信息。添加自定义error pages，修改tomcat信息
4. 禁止tomcat遍历目录 listings=false
5. 去除Host组建的自动部署
6. 可以删除掉AJP connector
哪些框架使用了epoll
中间件
MyBatis
四大对象
Executor
StatementHandler
ParameterHandler
ResultSetHandler
Keepalived
Redis
压测
redis-benchmark
Redis与Memcache对比
Redis数据类型及常用场景
String
KV存储，热点数据，预减库存
简单动态字符串
Hash
哈希表，压缩列表
微博消息按插入顺序展示，队列
双向链表，压缩列表
Tag，Label，共同关注，抽奖系统
整数数组
Zset
最热，排行榜
压缩表，跳表
GEO
微信摇一摇地理位置信息
Hyperloglog
基数统计
Bitmap
瑞士军刀
消息队列
慢查询
持久化
RBD
AOF
pipeline批量操作
发布订阅
事务
Redis Sentinel(2.8)
主从配置
Redis Cluster(3.0)
slot-分区
通信 +10000
gossip
ping/pong/meet/fail
常见问题
Redis单线程为什么还那么快
Redis和数据库一起使用时如何保证一致性
Redis集群通信原理
Redis穿透，击穿，雪崩
Redis CAS是怎么做的
基于 Redis Lua 实现 CAS
为什么要使用pipeline
Redis Key是如何寻址的
Redis缓存过期策略
Redis实现分布式锁
单节点模式的分布式锁
多节点模式的分布式锁
长尾延迟
Dateway
Dataway 工具化的提供 DataQL 配置能力
MQ
RabbitMQ
RabbitMQ基本概念
RabbitMQ开发的基本步骤
Producer的可靠性投递
保证消息的成功发出保证Broker节点的成功接收发送端收到Broker确认应答完善的消息补偿机制
ReturnListener: 用于消息投递失败时候的处理
用于一般的业务
RocketMQ
用于电商，可根据业务需求进行二次开发
Kafaka
用于大数据，性能强大，但是功能没有RabbitMQ多
0 条评论
回复 删除
下一页
