转行数据分析该注意什麽?腾讯工程师狂推的报表神器:FineReport

【为什麽我们要挑选这篇文章】由工程师转换到数据分析领域,许多人第一个面临的困难就是荒废了演算法技能、工作变成每天都在制作报表,但如何在这个岗位有更大的发挥,制作出让老板眼晴为之一亮的报表呢?让我们来看看过来人怎麽说。(责任编辑:吕珈宁)

原创 IT 技术管理那些事儿。看到文末,你不会对这篇超实用的文章失望的。我是一名演算法工程师,在某个大工厂工作….

但是工作了大半年,我发现我的演算法技能没有增加多少,反而 SQL 的水平提高了很多,因为一天到晚都在写,感觉自己就是一个 BI 报表哥,而且我还经常安慰自己:业务第一,取数要紧…

虽然总不能把代码叫数据探勘,用 SQL,Excel 叫数据分析,只要能解决问题就好,但我的心里总是过意不去,我一演算法工程师为什麽会去做报表?
同样的,我发现别人也有这样的问题:

同样的,也会有人怀疑 BI、报表这个岗位的未来在哪里:

以前做大数据平台还好,也可以上手弄 Hadoop、Spark、Storm、Flink 以及 Kafka 等集群,但是做了 BI 和报表之後,除了 SQL 和 ETL,我什麽也做不了。

其实这件事很好解决,不能看你的 title,这个岗位分化极大,而是看你想完成什麽事情,以什麽手段去完成这些事情。

我曾经也在大型企业搭建过数据中心,从专案规划到技术选型都投入很大精力,日吞吐上千个 G,存量达到 2 个 pb,刚开始也经常被业务喷,现在得到了认可。

我是从哪几个方面去做的呢?

1、规划专案架构

我们需要在每个时间段规划出这个专案所要达成的目标,比如一开始是手工报表,那我们有了数据仓库和大数据平台之後,就应该变成自动化的报表。

有了 Hadoop 之後,我们的目标应该是 OLAP 分析,规划做大一点总是对的。这里的框架主要聚焦於企业内部,对於企业内的不同团队、部门乃至於子公司,打通期间的数字藩篱,让数据在企业内部以同样的标准流动起来。

2、组建属於自己的数据团队

很多数/商分部门负责人上来以後意气风发,会立下 Flag:数据驱动业务发展 / 360 度数据视图/管理驾驶舱等等高大上的里程碑。

我负责任的告诉大家,要是这麽立就死定了。

要知道,传统企业的数据收集比互联网要复杂的多,光是把所有收集数据的源头理清楚,从各个渠道(财务系统、ERP 系统、手工报表、自开发系统)把数据都要整合到一个数据仓库里就是超超超大量的工作,ETL 要做到吐血。

建立团队要慢慢来,先找到能有快速产出的事情,再慢慢做困难的事情,比如老板需要帮他做业务实时数据看板,很简单的需求:就是实时,Excel 做不到。

这部分业务数据当时系统已经是现成的了,只是报表都是 T+1 出,於是我通过技术手段把 T+1 变成 T+0,实现过程没那麽复杂,这得到了认可,於是我才有时间和资源去做剩下的事情。

3、选择合适的报表和 BI 工具

到这一步,大数据平台基本算是搭建好了,抛开基础架构不谈,我们来看看应用层,这也是前端人员最容易接触到的东西,评价好不好全都看这些。

这绝不仅仅是 IT 系统的建设和升级,但却离不开 IT 系统的支撑。除了企业使用的管理和生产软件外,我们还需要自动化、实时的大数据分析工具帮助我们处理大量的数据。

在这里我推荐 FineReport,它的定位是报表工具,但是也能解决很多报表之外的事情,比如:视觉化大萤幕、大数据分析。在数据应用层,有这麽一个工具就够了,更大的公司或许会用让业务人员用到 BI 做更细致的分析,也是可以的。

有了 FineReport,从 MySQL 建表、数据导入、制作日报、周报、月报,各种对比报表就会被逐一攻破,你以前都是用 Excel,数据收集一定很麻烦吧,而且还要担心口径不统一的问题。

而 IT 只需要向各业务部门的负责人收集数据,然後花几分钟导入数据库,然後点点滑鼠,生成各种报表即可。

其实如果你想要更好的利用报表,数据仓库是离不开的。如果本身没有後端数据仓库,宣称自己是内存 BI,实际用起来对硬件要求极高,对於超千万条的数据分析,必须藉助於其他 ETL 工具处理好数据再进行前端分析。

FineReport 和数据仓库的关系:
一、数据仓库前端应用展示工具,位於数据应用层,主要解决报表展示问题
二、在规划报表体系的时候,能梳理数据指标、数据字典等
三、finereport 填报能解决一部分数据补录问题
四、finereport 能整合数据(数据接口能力,丰富的 API 接口,能对接各种大数据平台和数据库)

其他就是 finereport 的面向 IT 的开发优势,太多了,这里就先略过了,文中提到的都是。

如果你的老板一直给你提到,能不能给他整一个数据驾驶舱(dashboard),而他现在只能看见财务部、运营部的 Excel 表格,觉得很 low,看见高颜值的可视化驾驶舱(dashboard)也想拥有。这时候,IT 人员就可以通过 FineReport 做出来,实时展现插件不能满足,需要後台对数据库频繁请求,後台可用 java 开发,在需要数据的时候触发前台的 ajax 往後台发命令获取数据。

帆软 FineReport 的大萤幕展现是这个原理,自身直接连数据库,展示可用自带图表也可以集成 Echarts、Hightchart 插件。

(本文经合作夥伴 数据分析那些事 授权转载,并同意 TechOrange 编写导读与修订标题,原文标题为 〈腾讯IT男转行数据後感慨:没用过报表工具,别说自己懂报表〉;首图来源:Lukas Blazek on Unsplash。)

你可能会有兴趣

从新创企业到大公司,各种工程师会用到的数据分析工具统统整理给你!
从工程师转行数据科学家後需要做什麽?前辈建议:赶快把 SQL 练熟吧
【数据科学 ≠ 数据分析】都是以数据解决问题,程式语言使用却大大不同

TechOrange《2022 云端 AI 应用大调查》分析报告指出,「缺乏云端/AI 专业人才」已经成为企业转型时的最大痛点——痛的程度甚至超越「资料蒐集」这个大难题!

想知道自己有无具备云端人才特质?立即点我下载报告,看更多 TechOrange 观察到的台湾企业云端、AI 竞赛结果吧。

下载报告後还能抢先收看 Google 前台湾董事总经理简立峰独家剖析的 AI 趋势!

surfshark能看油管吗

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x