01 数据分析与可视化概述

    数据分析 Data Analysis 是数学与计算机科学相结合的产物，指使用适当的统计分析方法对搜集来的大量数据进行分析，提取有用信息并形成结论，从而对数据加以详细研究和概括总结的过程。

    数据挖掘则指的是从大量的，不完全的，有噪声的，模糊的和随机的实际应用数据中，通过应用聚合，分类，回归和关联规则等技术，挖掘潜在价值的过程。

    数据分析有狭义和广义之分。狭义的数据分析指根据分析目的，采用对比分析，分组分析，交叉分析和回归分析等分析方法，对收集的数据进行处理分析，提取有价值的信息，发挥数据的作用，并得到一个特征统计量结果的过程。一般说的数据分析就时狭义数据分析。而广义的数据分析指针对搜集的数据运用基础探索，统计分析，深层挖掘等方法，发现数据中有用的信息和未知的规律与模式，为下一步业务决策提供理论与实践依据。

    数据可视化 Data Visualization 是数据分析和数据科学的关键技术之一。它将数据或信息编码为图形或图像，允许使用图形图像处理，计算机视觉以及用户界面，通过表达，建模以及对立体，表面，属性和动画显示，对数据加以可视化解释。

数据可视化过程，数据处理，视觉编码，可视化生成。

数据处理聚焦数据的采集，清理，预处理，分析和挖掘。

视觉编码聚焦于对光学图像进行接收，提取信息，加工变换，模式识别以及存储显示。

可视化生产则聚焦于将数据转换成图形，并进行交互处理。

（1）爬取数据需要使用Python

（2）数据分析需要Python

（3） Python语言简单高效

NumPy，Scipy , Pandas, Matplotlib, Seaborn, Scikit-learn,

如何使用数据分析软件实现 GIS 的地图可视化？

您可以使用数据分析软件来实现 GIS 的地图可视化。例如，QGIS是一款免费、跨平台的 GIS 软件，可以用于制作各种漂亮的可视化地图。DataViz也是一款支持多种数据源的 GIS 数据可视化分析工具，可以轻松进行 GIS 地图可视化。

- 基于Arcgis10.7.1软件的学习（超详细）

- QGIS教程（入门篇）

数据分析可视化数据图表怎么制作?

1、一张优秀的可视化报表，是能明晰展现用户所需信息的，并且在制造进程中要有逻辑，不是一切的内容都是相同重要的，咱们要通过各个图表的排版方位和所占大小，突出主次之分。最好是有一个设定的阅览顺序，比方从上到下，从左到右。有些数据可视化项目，罗列了一大堆数据和目标，恨不能在一块屏幕上把一切的数据都展现出来，结果反而让可视化大屏像一团乱麻，就算设计再漂亮，受众也难以获取信息。

2、不要企图展现一切的东西，只需给出最要害的信息，将屏幕分割成几个小区域，每个区域力求讲清楚一个部分，一起将最概括性的数据以目标的方式放到显眼的方位。

3、可视化数据图表制造可以使数据变得更有意义，并且可视化也可以使数据变得更简单理解。数据可视化软件正帮助越来越多的企业从浩如烟海的杂乱数据中理出头绪，化繁为简，变成看得见的财富，从而实现更有效的决策进程。

数据分析可视化是什么?

数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。

可视化并不是单独的一门学科，它是对于计算机图形学和统计学等一些学科的更深层次的延伸，比如说社交网络的图谱应用到了很多图形学的边算法，当然，很多时候是和数据挖掘关系最紧密，因为前者是为后者提供数据，后者是为了更好的展现数据。

数据可视化是和数据挖掘不可分割的，可视化作者想要表达的侧重点对于可视化的传达结果是有直接关联的。也就是说，当数据本身的特点与规律并不明显的时候，你需要进行大量的测试与研究来探寻出数据的规律，之后才能传达出正确而且有规律可循的可视化图案。

如何对数据进行可视化分析？

变量说明：

在确定分析方法前，我们需要了解手中的数据类型，这是最基础也是有必要的，在所有的数据类型中，我们将数据类型分为分类变量也为定类变量和连续变量也称为定量变量，那么什么是定类变量？什么是定量变量？

定类变量通俗的讲数字大小不具有比较意义，比如性别中1代表男，2代表女，仅仅代表类别，在比如下图中，1代表底妆2代表唇妆等等，仅是类别关系。

定量变量通俗的讲数字大小具有比较意义，比如调查青少年身高，1.4m比1.3m高，数字本身具有比较意义，在比如如下图片沙发的价格，数字越大说明越贵，数字越小说明越便宜，数字之间是可以比较的。通过数据类型的说明，本次探讨我们以数据类型的不同进行分类说明，分别是分类和连续变量、连续和连续变量、分类和分类变量。

如果数据是分类变量和连续变量，那么进行分析时，分析方法大体可以分为三类，参数检验、非参数检验以及可视化图形，其中参数检验又包括t检验、方差分析，非参数检验包括MannWhitney统计量、Kruskal-Wallis统计量。以及还可以使用可视化图形进行查看。

如果数据是连续数据和连续变量，那么进行分析时，分析方法大体可以分为四类，相关分析、参数检验、非参数检验以及可视化图形，其中相关分析一般包括皮尔逊（pearson）相关系数以及斯皮尔曼（spearman）相关系数。如果连续变量和连续变量的样本量是相同的，可以考虑使用参数检验中的配对t检验，非参数检验包括配对wilcoxon，可视化图形可以考虑使用散点图。如果数据是分类变量和分类变量，那么进行分析时，分析方法大体可以分为三类，卡方检验、可视化图形，其中卡方检验又包括pearson卡方、fisher卡方、yates校正卡方、cochran-armitage检验、线性趋势卡方，以及还可以使用可视化图形（堆积柱形图、条形图）进行查看。

举例分析

（1）分析流程

想要调查不用性别（男、女）的饮食习惯（米食、面食），针对卡方检验的分类应该使用pearson卡方检验。

从分析结果中看出男性更偏爱吃面食占比为60％，女性更偏爱吃米食约占调查中的80％。从数据来看，不同性别的饮食习惯有差异，模型中的卡方值为16.667，其中p值小于0.05，拒绝原假设，说明模型显著，不同性别的饮食习惯有差别。并且从堆积柱形图中也可以直观查看到男性更爱吃面食，女性更爱吃米食。