PATA规划
2016-11-18 10:17:46 0 举报AI智能生成
PATA规划是指太平洋亚洲旅游协会（PATA）制定的旅游发展规划。PATA是一个非营利性组织，旨在促进太平洋和亚洲地区的旅游业发展。PATA规划通常包括对旅游目的地的市场分析、旅游产品开发、旅游基础设施建设、旅游宣传推广等方面的规划。这些规划旨在提高旅游目的地的吸引力，吸引更多的游客前来旅游，从而促进当地经济的发展。PATA规划通常由专业的旅游规划师制定，并得到当地政府和相关机构的支持。
作者其他创作
大纲/内容
内容监控
需求
观察到每一个变量的指标（均值、中位数、缺失率等）
报警邮件
方法
变量级别的监控
T+1或者每个月的报表邮件
模块化
分布式
分布式
需求
根据调用方的需求，可以自定义只跑某几类的变量，达到模块化，且加快速度
可以分布式运行在n台虚拟机上，以达到可以横向扩展的目的
加快计算速度
方法
切分PATA，推荐思路是按照变量分类来切分，即某一个集群，只负责计算某一类的变量
需要支持批量计算，因为pandas按列计算快很多（批量可以=1）
临时需求
数据库改走接口
新加和修改变量
测试和预发布环境
需求
避免因为修改代码，造成生产代码挂机
测试流程是否能跑通
测试跑出的结果是否正确
方法
短期：在J0上建立模拟测试+预发布环境
建立测试环境
PATA不设测试环境
建立预发布环境
直接使用J0（单独文件夹）作为预发布
运行监控
需求
观察到PATA的运行指标（平均速度、积压数量）
T+0报警邮件
T+1的报表
格式参考右侧网址
https://paipaidai-my.sharepoint.cn/personal/huyueteng_ppdai_com/_layouts/15/WopiFrame.aspx?sourcedoc=%7BC45AAEB2-4F1B-41A3-8470-A0C199B7597D%7D
方法
T+0的报警邮件
T+1的报表邮件
T+1的Tableau报表
增加处理能力
需求
PATA自然流量，在高峰期（10-16点）达到了9000
已经超过了红线（J0每小时最多7500）
已经超过了红线（J0每小时最多7500）
当前急需增加处理能力
方法
紧急要了物理机（B2），用于PATA扩容
和已有的J0一起，预计处理能力是14000
预估每个月高峰期最多增加3000个请求
所以两台机器，也只能撑2个月左右（到1月底2月初）
所以两台机器，也只能撑2个月左右（到1月底2月初）
改写哲道的远程重启监控
全流程联调
存储+接口改新流程
存储+接口改新流程
需求
建立联调流程，全流程测试PISK, PATA, 反欺诈, 鹊巢
存储+接口改新流程，替代Cassandra这个定时炸弹
方法
PISK测试环境
PATA预发布环境
使用现有测试机器
配置和跑通整个流程
反欺诈预发布环境
鹊巢测试环境
全流程联调
【跑分统一流程】
改写Python
数据库连接
程序架构
加入监控等模块
改写Python
数据库连接
程序架构
加入监控等模块
需求
统一所有变量的生成方式
方便按照每类变量来区分
读数据改走接口
数据流的模式：表监控>新数据进入Kafka>PATA消费数据>PATA计算该类变量
子主题
子主题
方法
给出Python的编程规范
给出走接口连接数据库的方法
给出其他方法，例如监控、打点
对变量进行分类，例如通讯录类、通话记录类、短信类
分配任务，改写每一个分类
0 条评论
下一页
