

首页  思维导图  详情



传统数仓的模式下数据分析全流程及帆软应用

2023-03-29 10:23:19   0  举报





仅支持查看

AI智能生成

大纲

数据分析

模版推荐

作者其他创作

大纲/内容

传统数仓释义

3个层级

ODS

操作性数据，本层数据，一般会按照来源业务系统的分类方式而进行分类，在ODS数据存储层中，我们不会对数据模型进行修改，会维持原有的数据模型不变

涉及工具：mysql、oracle、kettle、TaskCTL

是数据仓库的主体。DW层将ODS层中获得的数据按照主题建立各种数据模型

oracle优化等

数据集市或宽表。DM层为面向最终应用的主题层，一般依据前端报表/业务包需求进行设计，所以DM层表不需要考虑复用，每一张DM表仅为一张报表所服务

Excel、Finereport、FineBI、Tableau、PowerBI

举通俗例子

以点外卖为例

这边会涉及很多张表，比如会有用户信息表、商家信息表、骑手信息表、商品价格表，订单表，评价表等等

在数据仓库中建一个ods层，每天都将上述的字段通过Taskctl的定时任务，以kettle工具传入ods层的数据表，做增量同步，此次数据同步不涉及任何数据更改，只是把业务系统中的数据同步

基于ods层中得到的上述基础表，编写sql代码，就可以按照名字维度去统计所有的订单详情，然后将此类表格同步至DW，很多时候做到这一层就可以进行数据分析了

可再基于DW层得到的表数据，再进行特定领域的建模，比如我想知道我在这家商户中，在特定的时间段内下了多少单，哪个菜点的次数最多，花了多少钱

数据库与数据仓库的区分

两者都是通过数据库软件实现存放数据的地方

数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中；数据仓库是数据库概念的升级，从数据量来说，数据仓库要比数据库更庞大的多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策

数据库是面向事务的设计，数据仓库是面向主题的、集成的、与时间相关且不可修改的数据集合

数据库是为捕获数据而设计，多为在线数据，数据仓库是为分析数据而设计，多为历史数据

基于业务的数据分析全流程

甲乙方公司性质不同，与公司的数据分析师所有区别，公司的数据分析师是在于根据当前客户的痛点和关注点并结合当前国家的相关政策，给出一套相关的故事线与其对应的指标逻辑

基于业务的数据分析

业务需求处理

所有的数据分析都是建立在具体业务需求的基础之上。只有了解了数据分析的目的，才能针对性地获取精准的数据，并且得到有指导意义的结论。明确业务需求之后，需要根据目标搭建分析的框架，明确需要分析的维度与具体指标，采用哪种有效的理论依据开展下面的数据分析工作

数据采集

对第一步的业务需求进行数据准备，针对性地采集相对应的数据

数据处理

将采集到的数据进行加工整理，一般情况下采集的数据具有量大以及多样化的特性，而数据分析师很难从这些杂乱无章数据中提取到有价值的信息。因此在数据处理过程中需要进行数据清洗（去掉无效或重复或缺失重要指标的数据）、数据转化（统一数据格式以便以快捷处理操作）、数据抽取（从大量数据中获取与数据分析目标更精准的数据）、数据合并（将不同分组却相似的数据进行合并）、数据计算（在执行数据分析前的初步处理）。只有将数据处理后才能将“干净”的数据投入到数据分析环节中使用

数据分析

对采集并处理过的数据进行分析，提取数据中有价值的信息，并得到有效的结论。这个过程中需要用到大量的数据分析理论方法，例如聚类分析、线性回归分析、因子分析、方差分析等等。通过这些数据分析方法搭建对应的数据分析的模型，通过转化的分析软件得到最终的结论，一般情况下对于少量数据我们可以通过Excel完成，而对于高级数据分析则需要专业的分析软件，比如Python、R语言

数据可视化

通过数据分析，隐藏在数据内部的关系和规律就会显现出来，为了更加直观的观测数据结论，我们需要将数据进行可视化处理

分析报告

将数据分析的起因、过程、结果以及可执行性建议系统的呈现出来，以供决策者参考

帆软应用

帆软社区生态介绍

网址实际展示

https://bbs.fanruan.com/

问答版块展示

用户随时提问，也由其他用户帮助回答，佣金由帆软公司付

帮助文档板块展示

各产品有对应的帮助文档体系，且支持用户自行编写并上传，审核通过可对外发布，在借鉴别人的文档过程中遇到错误可随时发起更正

论坛及任务版块等展示

课程提供

学习班，帮助通过帆软认证的资深证书

每年都会举办的BI数据分析大赛

finereport

普通报表

行式报表、交叉表图片样式展示

填报报表

将页面数据写入到数据库，包括数据的增加、删除和修改操作。同时也支持对填写数据的自定义校验，Excel 导入数据，根据填写值智能联动等功能

行式填报、主子表填报图片样式展示

决策报表

决策报表自由灵活的设计风格，可以说其专为大屏和移动端而生，可制作画面美观、内容丰富的管理驾驶舱，制作在手机、平板等移动设备端查看的敏捷报表。在同一个页面，整合不同的业务数据，完美展示企业的各类业务指标，实现数据的多维度分析

决策报表图片样式展示

聚合报表

指一个报表中包含多个模块，每一块都类似一张单独的报表或者一张图表，块与块之间相对独立，互不影响，但是不支持自适应布局

fvs大屏插件

对比

相较于EasyV和公司的大屏设计器，帆软的FVS大屏插件用起来逻辑性更复杂一点，但主要目的是让大家了解市面上有这款软件也可以做大屏，并且有个别的效果和功能点是我们现有工具不具备的，可借鉴或者开拓思路的

大屏功能介绍

与平台对比的功能优缺点（组件功能层面等）

FVS 大屏编辑模式插件 基于 FineReport 设计器开发、依托于 FineReport 决策平台部署，是专为大屏可视化场景打造的一款插件

FVS 是专为大屏可视化场景打造的产品，专注于大屏场景，用更便捷、更专业的产品方式满足大屏场景客户的需求。 FVS 是 FineReport 产品体系中的一部分，基于 FineReport 设计器开发，以 FineReport 插件的形式交付。 FVS 应用了 B/S 端的技术，让大屏开发兼具 B/S 端开发的便捷性、高效率和 C/S 端开发的安全性、稳定性

《智慧水务管理大屏》演示

页面切换

富文本指标卡

可直接对数据进行个性化样式设置

无热力

无围栏等子组件，直接归类为模型

https://fvs.fineres.com/geojson/

三维城市

导入数据量大的建筑会耗时非常久（限制上传的 geojson 文件大小不得超过 500M，主要建筑数不得超过 1000 个）

点、柱体、线、模型

模型管理

支持对模型进行隐藏、删除、重命名