个性化架构图v2.0

2017-03-02 16:42:21   0  举报





仅支持查看

个性化架构图v2.0是一种全新的、高度定制化的系统设计工具，它能够帮助用户根据自身需求和偏好，快速构建出符合自己业务需求的架构图。该版本在原有基础上进行了全面升级，不仅提供了更加丰富的组件库和模板，还引入了智能推荐功能，能够根据用户的使用习惯和行业特性，为用户推荐最适合的架构设计方案。此外，个性化架构图v2.0还支持多人协作，让团队成员可以共享同一个项目，实现高效协同工作。无论是对于企业还是个人，个性化架构图v2.0都是一款强大而实用的工具。

作者其他创作

大纲/内容

服务：用户分类

原始数据1、手机安装app信息，客户端获得，打点传输日志，读取kafka获得2、社交数据（抓取）3、阅读文章数据（读kafka实时写hbase）4、新发布文章数据（同步hbase，标记新文章）

完整数据拉取

Redis1、用户多个文章列表2、针对不同用户进行文章列表的合并3、用户行为信息任务

拉取用户行为任务计算特征写入Hbase

特征计算（整体）+文章列表计算用户阅读记录、文章信息——特征向量用户订阅、搜索、收藏信息——兴趣标签用户社交信息、手机app安装信息、用户基础信息——兴趣标签特征向量与为文章匹配排序计算兴趣标签对应文章列表计算

API

写入用户行为信息

增量计算模块(离线计算用户增量列表)1、每5分钟针对新发布文章对100天内使用过app的用户计算匹配排序2、扩展其他用户特征和文章匹配针对用户app内订阅、搜索、收藏等关键词，社交信息、app扫描信息计算用户标签，每5分钟计算用户标签对应的文章列表3、整体计算耗时：10文章*100w用户*（100乘法+100比较） 30s能够完成数据存储耗时：（待评估）10文章*100w用户*（50维*2特征+500*3的排序列表）懒加载--命中率

特征数据1、用户特征2、文章特征

写入用户多个维度特征对应的文章列表空间占用

java封装hbase接口负责数据拉取和写入，提供数据拉取和写入格式1、更新用户信息接口（单用户和批量用户）2、获取新更新文章接口3、获取100天内使用app的用户特征信息（实现方式1、二级索引，2、完整复制数据）4、写入或更新用户特征接口5、写入或更新文章特征接口

1、新发布文章拉取2、活跃用户拉取

HBASE

拉取推荐列表

Client

特征写入

查询最近100天活跃用户特征hbase实现