

首页  思维导图  详情



SA技术架构串讲思路

2022-02-28 11:42:07   8  举报





AI智能生成

SA技术架构串讲思路

技术框架

模版推荐

作者其他创作

大纲/内容

why

“客户需求决定产品设计，产品设计决定技术选型”

私有化部署:数据安全、数据资产、数据二次开发

用户行为分析：活跃情况、频次分布、核心流程转化等

全端数据采集：iOS、安卓、Web、H5、微信、业务数据等

灵活多维分析：地域、品类、年龄、渠道等

秒级导入和查询：每天十亿级别数据量的数据实效性

数据架构

数据接入

SDK

客户端埋点

全埋点：浏览、点击、启动、退出等，范围广、颗粒粗

可视化埋点：基于全埋点，使用成本低，管理成本高

代码埋点：开发成本高，依赖应用发版，灵活颗粒细

服务端埋点

DebugConsumer：校验导入数据，方便开发调试

ConcurrentLoggingConsumer：输出指定路径，按天切割，结合logagent

BatchConsumer:批量发送，不抛异常，丢失风险

导入工具

LogAgent ：读取日志，校验数据，数据不丢不漏

FormatImporter：常见格式数据的导入

BatchImport：符合神策格式，写入kafka

HDFSImporter：符合神策格式，写入HDFS

Logstash+Filebeat

数据传输

数据接收

Nginx：高并发下状态下的连接及数据上传 ➡️ access.log

edge：处理（数据解密）并分发实时数据，给下游组件使用

SDG：数据校验、预处理、IP解析

数据中转

Kafka：接收并持久化数据，允许订阅Topic

数据建模/存储

数据导入

Extractor：渠道追踪、用户关联、首日首次

DataLoader：Stream模式、Batch模式

数据存储

kudu：低延迟写入高性能分析的存储系统

HDFS：分布式文件存储系统

数据查询

查询引擎

QueryEngine：将数据查询请求，翻译成优化后的 SQL 交付执⾏

数据可视化

WebSever：用来承载供用户使用的可视化分析页面

用户关联(ID Mapping)

why：采集用户行为，数据来自设备，如何通过设备采集的数据来定位后面真实主题的行为，是用户关联的意义

举例

场景：小明下载APP ➡️ 浏览课程介绍➡️注册和登录➡️购买课程

事件拆解：

浏览课程：用来标识用户的是设备ID（未登录）

购买课程：用户完成注册登录后发生的业务行为，标识用户的是用户ID，即登录ID

问题：如果设备ID没有和用户ID打通，就无法关联分析，ID- Mapping解决了这一问题

设备ID

Android：默认使用AndroidID > UUID

IOS：默认使用IDFA > IDFV > UUID 

Web：Cookie_ID(清理缓存或切换浏览器会变化)

小程序：默认使用UUID，删除会变，建议使用open ID

登录ID

业务数据库里的主键或其他唯一标识

方案

1.只使用设备ID

2.设备ID关联登录ID（1对1）

3.设备ID关联登录ID（1对多）

渠道追踪

what：网站或者APP在平台上投放了广告，想知道每天访问的用户情况，对新增用户的指标进行更加深入的分析

Web渠道追踪

What：在某个渠道投放的是H5/Web的落地页，想知道该渠道带来的落地页的流量数据，就可以使用神策的Web渠道追踪

原理：拿到原本的落地页URL链接，神策进行二次加工，加上utm参数，提供给渠道方，当用户通过渠道方进入到落地页当中， 由于事前已经在落地页中加载了SDK，会自动将utm相关属性加到pageview事件的属性当中

web 通用渠道推广

1.神策平台生成 web 推广链接，分别是 web 长链、web 短链、二维码

2.在第三方渠道投放神策生成的推广链接

3.用户在第三方平台点击推广链接，触发渠道链接触达事件 （$ChannelLinkReaching）

4.推广链接跳转至推广页面，触发 web 浏览事件，且挂上广告系列参数 utm_XXX 并且 同时写入用户属性 首次系列广告参数（ utm_XXX )

APP渠道追踪

App模糊渠道追踪（App外推广）

App精准渠道追踪（App内推广）

App渠道包渠道追踪（应用市场推广）

 Collect

Get Started

论文研究框架、论文技术路线图、论文结构、研究思路

 Collect

Get Started

技术路线架构图模版2

 Collect

Get Started

app灯箱推广思路

 Collect

Get Started

后端技术架构





0 条评论

下一页