s
2017-01-13 10:39:47 0 举报S，一个神秘而独特的字母，它的形状优雅而简洁。它的上半部分像一个轻轻弯曲的弧线，下半部分则像一条直线，这种设计使得S看起来既有弹性又有稳定性。S的声音清脆悦耳，它在英语中常常被用来表示“s”或者“es”，在科学、数学、音乐等领域都有广泛的应用。S也是一种常见的符号，代表着许多不同的含义，如代表“成功”、“安全”、“速度”等。总的来说，S是一个充满魅力和可能性的字母，它的存在为我们的生活增添了无尽的色彩和乐趣。
作者其他创作
大纲/内容
第一个技术障碍： I/O开销大，主要是磁盘I/O与网络I/O。应对多维交叉分析效率低 。 第二个技术障碍：是计算相对低效。大量的CPU和内存放到了数据装载，数据过滤等等。
数据流式计算
预处理/转发
消息队列
数据离线计算Hive-MR/Spark
activemq
http://www.eship.com
HBaseElasticSearch
用户展示 交互 前端
节省大量的存储空间
数据存储
预处理模块
redis
接入数据
实时数据展示
日志收集组件
app
BI工具
NoSql
用户操作转化为 HQL生成/提交临时任务数据封装/展示
web page
服务器日志
基础方案
BitMap——增强的核心
A：购买A产品的BitMap B：购买B产品的BitMap C：某个年龄区间的用户BitMap 求 买过A产品，又买过B产品与C年龄阶段的用户 进行交叉运算 ： A与B的交集 结果与C求并集 在分布式运算条件下 ： 计算 A与C的交集 ，B与C的交集，两者求并集
Kafka
ETL
基础方案增强
预处理：尽量降低低效的文件读取在整个计算过程中的比重。压缩：使用高压缩比的压缩算法将需要计算的数据压缩到最小（同时不影响计算精度）。内存计算：将计算需要的全量数据全部一次性装载入内存，这样可以最大程度的将CPU的计算能力用于业务计算。
计算引擎
用户留存8个用户分别映射到8个位置，0表示登陆，1表示为登陆，占1bit。经过或运算可得出第一天，第二天都登陆的用户
CPU异或非运算，效率高
用户展示 交互 后端
adhoc 临时任务
0 条评论
下一页
