2-实时采集方案

安装

成功

OpenResty

脚本

进入到配置文件里面vim /usr/local/openresty/nginx/conf/nginx.conf

消费数据

1.基于 Nginx与Lua语言 的高性能Web平台2.集成了大量的 Lua库  第三方模块 依赖项3.方便搭建处理 超高并发 扩展性极高的 动态Web 应用 服务 动态网关等4.汇聚各种设计精良的 Nginx模块 将Nginx变成了通用的Web平台5.使用 Lua 语言调动 Nginx支持的各种 C 以及 Lua 模块快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统6.目标让Web服务跑在Nginx内部  充分利用 Nginx的非阻塞 I/O 模型 高性能响应

-- 引入lua用来解析json的库local cjson = require \"cjson\"-- 获取请求参数列表local request_args_tab = ngx.req.get_uri_args()-- 获取当前系统时间local time = os.date(\"%Y%m%d%H\

1.需要安装flume  编写flume脚本：此脚本没有Sink端2.启动Zookeeper3.启动Kafka 创建消费者4.启动nginx5.font color=\"#e74f4c\

粘贴

简介

将日志落地到本地文件1.在nginx的conf目录下创建一个log.lua文件vi /usr/local/openresty/nginx/conf/log.lua2.编写lua脚本3.创建存放日志的目录并设置写入权限mkdir /logschmod o+w /logschown -R nobody:nobody /logs4.重启 输入命令 http://node01/log.gif?name=zql5.监控logs目录会产生文件cd /logs

location /log.gif {#伪装成gif文件default_type image/gif;#本身关闭access_logaccess_log off;#使用lua将nginx的接收的参数写入到日志文件中log_by_lua_file 'conf/log.lua';#返回空图片empty_gif;}

1.安装开发云库依赖yum install -y pcre-devel openssl-devel gcc curl2.配置yum的依赖源yum install yum-utilsyum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo3.安装OpenRestyyum install openresty4.openresty的默认安装目录cd /usr/local/openResty5.启动且访问service openresty start  && node01 ip

编写脚本

编写响应的空图片

解决单日志文件会过大造成读写效率变低1.改写脚本 添加时间戳 用时间戳命名文件 不重复

可粘贴内容

缺点：CPU 内存消耗大 效率低