数学中的异常值是什么

㈠ 异常值是指什么请列举1种识别连续型变量异常值的方法

可以选择以下方法。 用线性回归的办法求得某一点到直线最远，去除这一点即可。 PS：线性回归是利用数理统计中的回归分析，来确定两种或两种以昌握上变量间相互依赖的定量关系的一种统计分析方法册裤，运用十分广泛耐姿庆。分析按照自变量和因变量之间的关系类

㈡ 讲解中四的某一段数学知识

cumulativefrequency累积频数

stemandleafdiagrams枝叶图

boxplots箱线图

LQlowerquartile下四分位数

UQupperquartile上四分位数

IQRinterquartilerange四分位数差

什么是箱线图

箱线图在文献中经常见到，是对数据分布的一种常用表示方法。但是所见资料中往往说的不是特别清楚，因此需要了解一下箱线图的绘制过程，与部分的意义。

计算过程：

1计算上四分位数，中位数，下四分位数

2计算上四分位数和下四分位数之间的差值，即四分位数差（IQR，interquartilerange）

3绘制箱线图的上下范围，上限为上四分位数，下限为念卜下四分位数。在箱子内部中位数的位置绘制横线锋拦。

4大于上四分位数1.5倍四分位数差的值，或者小于下四分位数1.5倍四分位数差的值，划为异常值（outliers）。

5异常值之外，最靠近上边缘和下边缘的两个值处，画横线，作为箱线图的触须。

6极端异常值，即超出四分位数差3倍距离的异常值，用实心点表示；较为温和的异常值，即处于1.5倍-3倍四分位数差之银高胡间的异常值，用空心点表示。

7为箱线图添加名称，数轴等。

㈢ 什么是粗大误差(异常值)产生异常值的原因是什么

粗大误差指超改弊大出在规定条件下卜神预期的误差。含有粗大误核竖差的测得值称之为坏值或异常值，所以必须剔除。在作误差分析时，要估计的误差通常只有系统误差和随机误差两类。
产生异常值的原因一般是由于疏忽、失误或突然发生的不该发生的原因造成的。如读错、记错、仪器示值突然跳动、突然震动、操作失误等。所以必须在计算测量结果及不确定度评定中要考虑异
常值的判别和剔除。

㈣ 不符合正态分布的数列怎么确定异常值

方法如下：设这个数列有n个数，删掉这个数列的第i个数，然后对剩下的n-1个数求方差，这样一共会得到n个方差，找到最大的那个，那个数就是异常值。
正态分布（Normal distribution）改模燃又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值核虚μ决定了其位置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此码简人们又经常称之为钟形曲线。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布。

㈤ 动态异常值检测什么意思

意思是在检测过程中，样本中的个别值，其数值明显偏搭汪离它所属肆伍样本的其余观测值。异常值检测是机器学习中重裂枝或要的一部分，它的任务是发现与大部分其他对象显着不同的对象。大部分机器学习过程都将这种差异信息视为噪声而丢弃。

㈥ 请举例说明异常值、离群值和极值有什么联系和区别 没有任务详情

异常值、离群值和极值的联系和区别在于，离群值处理，因为过大或过小的数据可能会影响到分析结果，尤其是在做回归的时候，我们需要对那些离群值进行处理。

实际上离群值和极值是有区别的，因为极值不代表异常，但实际处理中这两个所用方法差不多，所以这里也不强行区分了。

异常值：异常值outlier:一组测定值中与平均值的偏差超过两倍标准差的测定值。

杠杆点：因此残差的方差与杠杆点有关

离群点：是指一个时间序列中，远离序列的一般水平的极端大值和极端小值。因此，也称之为歧异值，有时也称其为野值。离群点是由于系统受外部干扰而造成的。

但是，形成离群点的系统外部干扰是多种多样的。首先可能是采样中的误差，如记录的偏误，工作人员出现笔误，计算错误等，都有可能产生极端大值或亏带者极端小值。其次可能是被研究现象本身由于受各种偶然非正常的因素影响而引起的。

高杠杆点，一个有高杠杆率的观测大耐值未必是一个有影响的观测值，它可能对回归直线的斜率没有什么影响。

影响点：强影响点：即对模型参数销仿芦估计值影响有些比例失衡的点。例如，若移除模型的一个观测点时，模型会发生巨大的改变，那么你就需要检测一下数据中是否存在强影响点了。

某些离群点既是异常点也是杠杆点。将离群点和强影响点统称为例外点。异常点是指因变量值远离其平均值所对应的数据点，或者说该数据点在轴上的投影明显远离其他数据点在轴上的投影，其中该因变量值称为异常值。

㈦ 异常值是指什么请列举1种识别连续型变量异常值的方法

先说一个熟悉的内容，数列与函数。 当然数列也是函数，但它的取值是自消态然数，取值是离散的， 而一般改正的函数取值是某一个区间，在这区间内取值往往是可以连续的。 离散型随机变量与连续型随机变量也是由随机变量取值范围核桥悔（或说成取值的形式）确定

㈧ 如何判别测量数据中是否有异常值

异常值outlier：指样本中的个别值，其数值明显偏离它（或他们）所属样本的其余观测值,也称异常数据，离群值。

目前人们对异常值的判别与剔除主要采用物理判别法和统计判别法两种方法。

所谓物理判别法就是根据人们对客观事物已有的认识，判别由于外界干扰、人为误差等原因造成实测数据值偏离正常结果，在实验过程中随时判断，随时剔除。

统计判别法是给定一个置信概率，并确定一个置信限，凡超过此限的误差，就认为它不属于随机误差范围，将其视为异常值剔除。当物理识别不易判断时，一般采用统计识别法。

对于多次重复测定的数据值，异常值常用的统计识别与剔除法有：

拉依达准则法（3δ）：简单，无需查表。测量次数较多或要求不高时用。是最常用的异常值判定与剔除准则。但当测量次数《=10次时，该准则失效。

如果实验数据值的总体x是服从正态分布的，则

式中，μ与σ分别表示正态总体的数学期望和标准差。此时，在实验数据值中出现大于μ＋3σ或小于μ—3σ数据值的概率是很小的。因此，根据上式对于大于μ＋3σ或小于μ—3σ的实验数据值作为异常值，予以剔除。具体计算方法参见http://202.121.199.249/foundrymate/lessons/data-analysis/13/131.htm
在这种情况下，异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显着性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显着性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。
标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。

肖维勒准则法（Chauvenet）：经典方法，改善了拉依达准则，过去应用较多，但它没有固定的概率意义，特别是当测量数据值n无穷大时失效。
狄克逊准则法（Dixon）：对数据值中只存在一个异常值时，效果良好。担当异常值不止一个且出现在同侧时，检验效果不好。尤其同侧的异常值较接近时效果更差，易遭受到屏蔽效应。
罗马诺夫斯基（t检验）准则法：计算较为复杂。
格拉布斯准则法（Grubbs）：和狄克逊法均给出了严格的结果，但存在狄克逊法同样的缺陷。朱宏等人采用数据值的中位数取代平均值，改进得到了更为稳健的处理方法。有效消除了同侧异常值的屏蔽效应。国际上常推荐采用格拉布斯准则法。

㈨ 大数据科学家需要掌握的几种异常值检测方法

引言

异常值检测与告警一直是工业界非常关注的问题，自动准确地检测出系统的异常值，不仅可以节约大量的人力物力，还能尽早发现系统的异常情况，挽回不必要的损失。个推也非常重视大数据中的异常值检测，例如在运维部门的流量管理业务中，个推很早便展开了对异常值检测的实践，也因此积累了较为丰富的经验。本文将从以下几个方面介绍异常值检测。

1、异常值检测研究背景

2、异常值检测方法原理

3、异常值检测应用实践

异常值检测研究背景

异常值，故名思议就是不同于正常值的值。 在数学上，可以用离群点来表述，这样便可以将异常值检测问题转化为数学问题来求解。

异常值检测在很多场景都有广泛的应用，比如：

1、流量监测

互联网上某些服务器的访问量，可能具有周期性或趋势性：一般情况下都是相对平稳的，但是当受到某些黑客攻击后，其访问量可能发生显着的变化，及早发现这些异常变化对企业而言有着很好的预防告警作用。

2、金融风控

正常账户中，用户的转账行为一般属于低频事件，但在某些金融诈骗案中，一些嫌犯的账户就可能会出现高频的转账行为，异常检测系统如果能发现这些异常行为，及时采取相关措施，则会规避不少损失。

3、机器故障检测

一个运行中的流水线，可能会装有不同的传感器用来监测运行中的机器，这些传感器数据就反应了机器运行的状态，这些实时的监测数据具有数据量大、维度广的特点，用人工盯着看的话成本会非常高，高效的自动异常检测算法将能很好地解决这一问题。

异常值检测方法原理

本文主要将异常值检测方法分为两大类：一类是基于统计的异常值检测，另一类是基于模型的异常值检测。

基于统计的方法  

基于模型的方法

1、基于统计的异常值检测方法

常见的基于统计的异常值检测方法有以下2种，一种是基于3σ法咐枝猛则，一种是基于箱体图。

3σ法则  

箱体图

3σ法则是指在样本服从正态分布时，一般可认为小于μ-3σ或者大于μ+3σ的样本值为异常样本，其中μ为样本均值，σ为样本标准差。在实际使用中，我们虽然不知道样本的真实分布，但只要真实分布与正太分布相差不是太大，该经验法则在大部分情况下便是适用的。

箱体图也是一种比较常见的异常值检测方法，一般取所有样本的25%分位点Q1和75%分位点Q3，两者之间的距离为箱体的长度IQR，可认为小于Q1-1.5IQR或者大于Q3+1.5IQR的样本值为异常样本。

基于统计的异常检测往往具有计算简单、有坚实的统计学基础等特点，但缺点也非常明显，例如需要大量的样本数据进行统计，难以对高维样本数据进行异常值检测等。

2、基于模型的异常值检测

通常可将异常值检测看作是一个二分类问题，即将所有样本分为正常样本和异常样本，但这和常规的二分类问题又有所区别，常规的二分类一般要求正负样本是均衡的，如果正负样本不均匀的话，训练结果往往会不太好。但在异常值检测问题中，往往面临着正（正常值）负（异常值）样本不均匀的问题，异常值通常比正常值要少得多，搭笑因此需要对常规的二分类模型做一些改进。

基于模型的异常值检测一般可分为有监督模型异常值检测和无监督模型异常值检测，比较典型的有监督模型如oneclassSVM、基于神经网络的自编码器等。 oneclassSVM就是在经典的SVM基础上改进而来，它用一个超球衡桥面替代了超平面，超球面以内的值为正常值，超球面以外的值为异常值。

经典的SVM  

1

 基于模型的方法

2

基于神经网络的自编码器结构如下图所示。

自编码器（AE）

将正常样本用于模型训练，输入与输出之间的损失函数可采用常见的均方误差，因此检测过程中，当正常样本输入时，均方误差会较小，当异常样本输入时，均方误差会较大，设置合适的阈值便可将异常样本检测出来。但该方法也有缺点，就是对于训练样本比较相近的正常样本判别较好，但若正常样本与训练样本相差较大，则可能会导致模型误判。

无监督模型的异常值检测是异常值检测中的主流方法，因为异常值的标注成本往往较高，另外异常值的产生往往无法预料，因此有些异常值可能在过去的样本中根本没有出现过， 这将导致某些异常样本无法标注，这也是有监督模型的局限性所在。 较为常见的无监督异常值检测模型有密度聚类（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一种典型的无监督聚类方法，对某些类型的异常值检测也能起到不错的效果。该算法原理网上资料较多，本文不作详细介绍。

IF算法最早由南京大学人工智能学院院长周志华的团队提出，是一种非常高效的异常值检测方法，该方法不需要对样本数据做任何先验的假设，只需基于这样一个事实——异常值只是少数，并且它们具有与正常值非常不同的属性值。与随机森林由大量决策树组成一样，IsolationForest也由大量的树组成。IsolationForest中的树叫isolation tree，简称iTree。iTree树和决策树不太一样，其构建过程也比决策树简单，因为其中就是一个完全随机的过程。

假设数据集有N条数据，构建一颗iTree时，从N条数据中均匀抽样(一般是无放回抽样)出n个样本出来，作为这颗树的训练样本。

在样本中，随机选一个特征，并在这个特征的所有值范围内（最小值与最大值之间）随机选一个值，对样本进行二叉划分，将样本中小于该值的划分到节点的左边，大于等于该值的划分到节点的右边。

这样得到了一个分裂条件和左、右两边的数据集，然后分别在左右两边的数据集上重复上面的过程，直至达到终止条件。 终止条件有两个，一个是数据本身不可再分(只包括一个样本，或者全部样本相同)，另外一个是树的高度达到log2(n)。 不同于决策树，iTree在算法里面已经限制了树的高度。不限制虽然也可行，但出于效率考虑，算法一般要求高度达到log2(n)深度即可。

把所有的iTree树构建好了，就可以对测试数据进行预测了。预测的过程就是把测试数据在iTree树上沿对应的条件分支往下走，直到达到叶子节点，并记录这过程中经过的路径长度h(x)，即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量(path length)。最后，将h(x)带入公式，其中E(.)表示计算期望，c(n)表示当样本数量为n时，路径长度的平均值，从而便可计算出每条待测数据的异常分数s(Anomaly Score)。异常分数s具有如下性质：

1）如果分数s越接近1，则该样本是异常值的可能性越高；

2）如果分数s越接近0，则该样本是正常值的可能性越高；

RCF算法与IF算法思想上是比较类似的，前者可以看成是在IF算法上做了一些改进。针对IF算法中没有考虑到的时间序列因素，RCF算法考虑了该因素，并且在数据样本采样策略上作出了一些改进，使得异常值检测相对IF算法变得更加准确和高效，并能更好地应用于流式数据检测。

IF算法

RCF算法

上图展示了IF算法和RCF算法对于异常值检测的异同。我们可以看出原始数据中有两个突变异常数据值，对于后一个较大的突变异常值，IF算法和RCF算法都检测了出来，但对于前一个较小的突变异常值，IF算法没有检测出来，而RCF算法依然检测了出来，这意味着RCF有更好的异常值检测性能。

异常值检测应用实践

理论还需结合实践，下面我们将以某应用从2016.08.16至2019.09.21的日活变化情况为例，对异常值检测的实际应用场景予以介绍：

从上图中可以看出该应用的日活存在着一些显着的异常值（比如红色圆圈部分），这些异常值可能由于活动促销或者更新迭代出现bug导致日活出现了比较明显的波动。下面分别用基于统计的方法和基于模型的方法对该日活序列数据进行异常值检测。

基于3σ法则（基于统计）

RCF算法（基于模型）

从图中可以看出，对于较大的突变异常值，3σ法则和RCF算法都能较好地检测出来， 但对于较小的突变异常值，RCF算法则要表现得更好。

总结

上文为大家讲解了异常值检测的方法原理以及应用实践。综合来看，异常值检测算法多种多样 ，每一种都有自己的优缺点和适用范围，很难直接判断哪一种异常检测算法是最佳的， 具体在实战中，我们需要根据自身业务的特点，比如对计算量的要求、对异常值的容忍度等，选择合适的异常值检测算法。

接下来，个推也会结合自身实践，在大数据异常检测方面不断深耕，继续优化算法模型在不同业务场景中的性能，持续为开发者们分享前沿的理念与最新的实践方案。