上帝也疯狂 发表于 2023-10-18 04:03:31

数据分析的方法有什么?

数据分析的方法有什么?

猎人阿祥 发表于 2023-10-18 04:03:58

先说说我自己,当前在金融风控TOB行业,面对客户进行数据产品的分析,涉及的分析方法相对范围也算比较广泛,在对内部做基础的数据分析的时候,肯定会用到常规的对比分析、细分分析等,在做数据挖掘的时候自然少不了描述性统计分析,关联分析等等,因此,当你在不同的行业做不同的分析的时候,可能会用到很多不同的数据分析方法,但是常用的几种方法可能是你日常会经常要用的。

首先,我们先看一下最常见的一些分析方法如下:
一、常见分析方法

1、描述性统计分析:

一般在对日常业务进行现状分析的时候,必然先要对业务现状进行统计分析,即称为描述性统计分析。
描述性统计分析定义:指通过观察业务数据基本情况,对业务数据进行最基础的统计描述,如数据的大小、多少、异常值、分布等等。为后续进一步的分析先有一个基本的业务数据了解。
一般使用较多会在对样本分析的时候,使用描述性统计分析,通过平均值、中位数、极大值和极小值,极差、标准差来看数据概况,但是如果样本数量较少,样本异常值太多,分布不均匀,需要进一步对数据进行处理。

2、对比分析法:

对比分析应该是在常规业务中使用最频繁的一种分析方法了,也是最基础的分析方法之一。

[*]物流行业:不同门店发货和收货和营收的对比;
[*]互联网平台:淡旺季销量之间的对比;
[*]新零售:不同商品之间的销量对比
以上不同行业不同时期不同商品都经常会使用对比分析,最快速直观的了解业务的变化情况,初步对比业务发展的好坏。

3、细分分析

细分分析方法是相对普遍的一种分析思维,主要的逻辑就是一步步将要分析的对象进行拆分,然后来得到任何拆分结果数据,可以随时知晓拆分结果的数据情况。如不同分支的占比,波动等。
细分分析更多的是一种拆分思维,再用不同行业举例一下:

[*]物流行业:全公司的营收必须逐级拆分到大区、小区、门店,然后进行对比分析,才能发现问题;
[*]互联网平台:全平台商品必须按照不同品类商品进行拆分,然后再按照不同单价不同sku进行拆分,详细分析不同商品的营收好坏;
[*]新零售:先按照线上和线下进行拆分,然后对线下按照门店,线上按照不同品类等,根据需要分析查看的维度逐级拆分。
以上细分不同的行业有很多相似的拆分逻辑,但同时相同的行业也可以随时变换拆分逻辑,会得到不同的分析结果。

4、漏斗分析

拆分思维是将一个点拓展拆到很细,漏斗模型则是将一个大的范围的数据挖掘到最小环节,看每个环节的转化好坏。
漏斗分析师业务分析的基本模型,以转化为目标,最常见的就是用在营销场景,分析查看交易转化情况。
如:互联网的商品的下单转化到付款环节,可以很好的通过漏斗分析来发现问题。
漏斗分析主要帮我们发现解决两方面问题:

[*]漏斗过程是否发生泄漏,如果有发现泄漏转化到别的地方去了,可以通过分析发现后及时的堵住补救;
[*]漏斗过程是否发生异常,导致无法转化,可以及时的发现异常,查找异常,即使修复异常;
以上就是漏斗分析,可以很好的观察漏斗链路数据情况。

5、留存分析

留存分析是用来分析用户参与和活跃情况的分析方法,以前更多用在互联网用户留存分析中,当前相似的自媒体用户分析也是相同的场景。
留存主要是分析初始用户有多少人会进行后续的动作。当发现留存率较高的时候,代表用户对产品的认可度就越高,然后可能活跃的比例也会更高,最终带来的收益才可能更高。
留存一帮会看1日、7日、14日、30日、90日等时间的留存情况,当然不同的商品观察的周期也会有一些不同,如快消品可能主要就是看短期留存,手机这种长周期的商品就需要拉长一定的时间来观察用户留存。不同的行业不同的场景要不断的调整观察窗口。

6、关联分析

关联分析过去有一个最耳熟人详的案例就是购物篮案例--啤酒与尿频的案例,因此,它是一种通过分析用户消费数据,将不同的商品之间的关联性进行挖掘的分析方法。
顾名思义:关联分析就是找事物之间的关联性,用来帮助企业更好的做消费决策。啤酒与尿布的案例中,通过发现67%的顾客购买啤酒的同时也会购买尿布,因此最终将二者进行捆绑销售提高效益。当前非常多类似的捆绑销售。
以上几种分析方法都是非常常见的分析方法,如果要逐一列举可能还有几十种,建议想进一步了解分析方法和思路的同学可以尝试一些线上课程,可以快速的形成一个体系的分析框架,这里有一个推荐的课程,有兴趣的可以了解一下:
二、使用情况

对于不同的分析方法如果要进行一个大的总结分类,可能可以从不同岗位进行一些划分:

[*]运营分析:对于日常业务运营,更多的使用对比分析、细分分析等;
[*]产品分析:对于数据产品分析,更多使用漏斗分析、留存分析等;
[*]建模分析:对于数据挖掘的同学日常分析,更常见使用描述性统计分析和关联分析等;
不同的岗位使用的分析方法和手段仍然会有很大的差异,但是分析依旧是相通的,并没有明确的界限,建模人员在造轮子的过程中,也要先了解业务,通过对比分析或者产品分析了解数据和业务,才能更好的创造出最佳的入模指标。对于运营分析的同学,将来也随时可能转岗成为产品分析师,必然要了解各种产品分析方法。

数据分析的方法有很多,并不是每一种都一定要去熟悉和了解,尽量还是结合自己的工作需要,按照需要去逐一学习和了解使用,所有的分析方法也只是一种工具或者说一种思维工具,作为分析师要做的是更好的了解业务,在遇到不同问题的时候,知晓使用哪种分析方法进行分析和解决问题才是关键所在。

总结

数据分析方法可以在业务中帮我们快速的发现和找到问题,因此,多了解一些常规的分析方法可以让我们工作解决问题更高效。但是不要陷入过度依赖分析方法的思维中,更多的要建立起一套自己对解决业务问题的思维方式,然后合理的运用分析方法去解决问题。

金迅网络 发表于 2023-10-18 04:04:30

分享5个Github上的大数据分析案例,可以用于学习和时间大数据分析技术。
Awesome Data Science: 这是一个GitHub项目,收集了大量与数据科学和机器学习相关的资源,包括数据集、教程、工具、算法实现等。
项目链接:https://github.com/bulutyazilim/awesome-datascience
Data Science Projects: 这个仓库包含了一系列数据科学项目的示例,涵盖了数据清洗、可视化、特征工程、建模等方面。
项目链接:https://github.com/ajaytech/data-science-projects
Kaggle Competitions: Kaggle是一个数据科学竞赛平台,许多竞赛的参赛者会将自己的解决方案和代码上传到GitHub。
你可以在GitHub上搜索关键词"kaggle",找到很多与Kaggle竞赛相关的项目和解决方案。
Big Data Analysis with Python: 这个项目涵盖了使用Python进行大数据分析的示例和教程。
项目链接:https://github.com/pkmital/CADL
Data Analysis and Visualization Projects: 这个仓库包含了一些数据分析和可视化的示例项目,帮助你学习数据处理和展示技巧。
项目链接:https://github.com/chrisalbon/data_wkshp
<hr/>大数据主要有5个特征,称之为5V特性。

http://picx.zhimg.com/v2-b45a00dcddee7031125224da9206b8e7_r.jpg?source=1940ef5c
我们一起看看,大数据的特征:

http://picx.zhimg.com/v2-40aef029b65e06916adf5da9fedc588f_r.jpg?source=1940ef5c
大数据的核心工作其实就是:从海量的高增长、多类别、低信息密度的数据挖掘出高质量的结果。也就是数据计算——>数据存储——>数据传输。
由此,我们可以知道大数据核心工作为:数据存储—>数据计算—>数据传输
一、什么是数据分析?

数据分析师的工作是手机和解释数据以解决特定问题。这个角色包括大量的时间与数据。
数据分析师每天所做的工作是:


http://picx.zhimg.com/v2-29782da8c3dfb484c588e5c5815ca533_r.jpg?source=1940ef5c
数据分析人员经常使用的工具是?


http://pica.zhimg.com/v2-91a41b20b05bdcc2b6e7e173c3607368_r.jpg?source=1940ef5c
在数据分析过程中,分析师经常使用各种工具使其工作更加准确和高效。
二、数据分析需要掌握的技能?


http://pic1.zhimg.com/v2-909df2b1885cb8068b9eac00f8d7cdca_r.jpg?source=1940ef5c
在实际工作中,数据分析师,需要通过数据和经验尽可能的找到产品、公司的模式以及趋势。数据是根本,其实善用工具,也不能缺少行业经验。
首先,有一些集中趋势的测量方法,被称为平均值、中位数、众数。这些可以让我们了解数据集的典型值。
标准差是数据与平均值的分布差距的测量方法。
为了找到变量之间的关系,并给予其联系生成预测,还应该熟悉相关性和回归概念。
这不仅仅是数字,大家需要初步了解线性代数,线性代数在许多数据分析方法中都有应用。
没有扎实的数学知识也没关系,网上相关的学习资源还是不少的。
精通Excel数据分析

使用Excel可以创建公式和函数进行计算,创建数据透视表和图标用来可视化数据。以及使用数据分析工具预测并识别模式。Excel对于回归分析、预测和情景分析有很大用处。YouTube上观看教程ExcelIsFun、Excel Chandoo、Tutorials Point、Ashutosh Kumar和MyOnlineTrainingHub。
熟练使用SQL提取数据

SQL(结构化查询语言Structured Query Language)是一个在数据分析中重要的工具。作为一个数据分析师,我们的主要责任包括从数据库中提取数据。SQL是帮助我们实现该目的的编程语言。
SQL不仅限于执行像SELECT,FROM,和WHERE这样的基本查询。它是一个复杂的编程语言——能用它以多种方式操纵和转化数据。SQL被用于从多个表格中合并数据,筛选提炼数据,和生成新的表格和视图。
针对数据分析学习Python

Python拥有极为广泛的工具包和函数库,这些工具让数据分析边得容易,比如说用于操纵和分析数据的Pandas,和用于可视化的Matplotlib。
精通一个数据可视化工具

作为一个数据分析师,能用简洁清晰的方式来展示我们的成果是非常重要的。比如PowerBI或者Tableau这样的数据可视化数据可以让别人更清晰的理解我们的结论。
三、数据分析学习资源

【2023年大数据学习路线图】


[*]开发入门:Linux入门 → MySQL数据库
[*]核心基础: Hadoop
[*]数仓技术: Hive数仓项目
[*]PB内存计算: Python入门 → Python进阶→ pyspark框架 → Hive+Spark项目
黑马程序员Python:2023年Python+大数据学习路线图如果大家想做技术类型的数据分析师,请参考这篇内容:
如何系统地学习Python 中 matplotlib, numpy, scipy, pandas?
http://picx.zhimg.com/v2-8c24db230d7bd7045aed1362a489c47b_r.jpg?source=1940ef5c

shenyuan266 发表于 2023-10-18 04:04:38

在数据分析中,数据分析思维是框架式的指引,在一些通用的分析场景下可以快速使用,而且对未来构建数据分析模型也有帮助。
很多人经常会有这样的困扰:面对几种相似的方法,既不清楚它们各自的使用场景,也无法分清它们之间的差别,一念之差就可能选错方法。如果你也有这样的困扰,建议按照下图找到对应的研究方法,理清不同方法的区别与使用场景,以便选出正确的方法进行分析。
智动数据——长期招聘岗位,期待你的加入!本公司目前在招聘一些大数据分析师,我们欢迎所有对数据分析感兴趣的人来试试,符合条件的可以投递简历(可培养!!!)投递方式见下方,更多岗位信息关注本公司公众号,欢迎主动与我们联系。(1、签订正式合同、五险一金;2、须本科及以上学历(优秀者可放宽条件);3、无经验者有项目经理带;4、在京工作一年后要求回当地的工作的,可申请调回当地省会城市的分公司或合作企业工作;5、每日简历投递量非常大,欢迎主动与我们联系!!

http://picx.zhimg.com/v2-7de5ffbbd6b8ffec75d339995387a9fd_r.jpg?source=1940ef5c
一、关联分析

关联分析,也叫作“购物篮分析”,是一种通过研究用户消费数据,将不同商品之间进行关联,并挖掘二者之间联系的分析方法。
关联分析目的是找到事务间的关联性,用以指导决策行为。如“67%的顾客在购买啤酒的同时也会购买尿布”,因此通过合理的啤酒和尿布的货架摆放或捆绑销售可提高超市的服务质量和效益。关联分析在电商分析和零售分析中应用相当广泛。
二、归因分析法

对于广告主而言,我需要明确广告投放出去用户是从哪个渠道来的,这个用户的质量怎么样,广告购买和用户获取以及用户在APP内之间的关系,这就算归因。
严格意义上讲,归因模型大约有10种左右,而归因分类则大体分为单触点和多触点两类。考虑到用户购买某一样东西的决策,可能受到多种因素影响,比如看到广告了解到这个商品的存在,利用搜索,进一步了解这个商品,然后在某一渠道上看到这个产品的软文等等,这些因素的综合,让一个人下定决心购买。因此,单一广告渠道并不是你打开客户的闸门,而是多种渠道作用的结果。

http://picx.zhimg.com/v2-7dd1217b93385eb199956664c6bfb972_r.jpg?source=1940ef5c
三、留存分析法

留存分析法是一种用来分析用户参与情况和活跃程度的分析模型,考察进行初始行为的用户中,有多少人会进行后续行为。从用户的角度来说,留存率越高就说明这个产品对用户的核心需求也把握的越好,转化成产品的活跃用户也会更多,最终能帮助公司更好的盈利。

tkv2373 发表于 2023-10-18 04:04:59

7年多的数据分析老菜鸟来谈谈自己的想法。
一直在做数分,发现最容易被忽略但确实最重要的就是数据分析方法,所以自己写了系列文章,从工作中的实际业务场景出发,谈谈一些常用的数据分析方法,没有多么高大上,都是一些接地气的案例,所以可以参考参考。

<a data-draft-node="block" data-draft-type="link-card" href="http://zhuanlan.zhihu.com/p/543794336" data-size="normal" class="internal">【数据分析思维】逻辑树分析(费米估算)
【数据分析思维】同期群分析
【数据分析思维】象限分析法之波士顿矩阵
【用户画像】能落地的用户画像到底长啥样?(上篇)
数据分析思维与方法——多因素影响下如何归因分析?
数据分析思维与方法——预测分析
数据分析思维与方法——相关性分析
数据分析思维与方法——留存分析

ecg2005 发表于 2023-10-18 04:05:25

做了问卷调查,有了问卷,数据也都收集整理好,可以开始进行数据分析,用什么分析方法来分析这些数据,该从什么地方开始入手,其实是有套路框架的,下面是调研工厂整理的8种常见类型问卷的数据分析思路,供每个调研者参考。

http://picx.zhimg.com/v2-03a3c8f3ad9586916d8aa33dd3b3e3a3_r.jpg?source=1940ef5c

http://picx.zhimg.com/v2-c6c7eedc27e07d31927de2d31b4274af_r.jpg?source=1940ef5c
1、用户画像分析
通过基础算法频数分析、描述性分析,统计性别,年龄,学历的分布情况如何等;通过基础算法列联表分析(卡方分析)或者分类汇总,分析不同学历的年龄分布,不同性别的年龄分布等等(如图

http://pic1.zhimg.com/v2-7529a361e57f51b7f2606a3201823828_r.jpg?source=1940ef5c
2、信度分析
确定了用户画像后,可以利用信度分析进行验证,信度指标多以相关系数表示,主要考察问卷的可信度 ,是数据分析的一个基础,一般来说,问卷的信度分析只针对量表,性别年龄等背景信息是存在较大的差异情况的,因此一般不纳入信度分析。

http://pic1.zhimg.com/v2-197651527f35c820b90591342e76d366_r.jpg?source=1940ef5c
3、效度分析
信度没问题后,接下来需要分析的是问卷的效度,也就是问卷设计的合理不合理,一般来说,我们基于研究目的,会设置多个题目收集意见,按统计学来说,这几个问题的线性相关会很高,所以通过因子分析后,是会被纳入一个因子成分(研究目的)上的,如果有这时候某一选择题不在这个因子成分上,说明该题目设计有问题。


http://pic1.zhimg.com/v2-6c5c1a5155a1af2611d8f5adbeba753c_r.jpg?source=1940ef5c
4、指标聚合分析
通过效度分析后,因为我们基于研究目的,会设置多个题目收集意见,多个题目其实线性相关,表达的都是同一个看法,所以通过指标归类分析可以把这几个题目浓缩为一个整体,这时可以采用因子分析或者主成分分析进行因子归类浓缩,以便后面进行回归分析。

http://picx.zhimg.com/v2-8180aa00c0613825032cb58d684421c5_r.jpg?source=1940ef5c

5、样本特征分析
将冗余的题目浓缩后,我们此时无需分析多次分析多个意见相同的题目,因此可以进行这些浓缩后因子(研究目的)的分析了,可以使用交叉分析或者对应分析,这一步就是给这些数据加上样本背景,例如不同性别对该城市生活满意度的看法等等。
6、变量相关分析
以上才算完成了全部数据的描述性统计,展示了问卷数据的看法,影响类问卷调研通常是通过线性回归分析影响关系,但是在这之前,我们需要验证纳入自变量的数据是否存在线性相关,有着相关的前提下,可以使用相关性分析,再研究回归才有意义。

http://picx.zhimg.com/v2-85091feac4922a2f53d154f47d0d3bef_r.jpg?source=1940ef5c
7、研究假设检验分析
线性回归是将一系列影响因素和结果进行一个拟合,拟合出一个方程(非线性回归就没有方程,人脑就类似一个非线性回归),然后通过将这个方程应用到其他同类事件中,可以进行预测,所谓回归,就是向某个理想的状态或平衡状态的趋向发展,通过回归可以找出哪些影响因素,对结果的影响规律。
8、差异性分析
最后,我们还需要尽可能地对比不同人群的看法,这需要基于第一步的用户画像,现实场景下,我们收集的问卷调研群体五花八门,我们可以通过设置条件筛选的方式去尽可能分析不同人群对影响结果的看法,分析其是否存在差异,验证自己的结果是具有普适性,可以使用卡方检验、方差分析等等。
按照以上流程,就可以完成一份完整的分析报告了!
页: [1]
查看完整版本: 数据分析的方法有什么?