亚博投注盘口 - 机器学习如何做好分布外异常检测?谷歌这篇 NeurIPS 2019 论文提出了方法

发布时间:2020-01-09 16:40:33   热度:4728

亚博投注盘口 - 机器学习如何做好分布外异常检测?谷歌这篇 NeurIPS 2019 论文提出了方法

亚博投注盘口,雷锋网 ai 科技评论按:对于机器学习而言,区分异常数据或有显著差异数据至关重要。谷歌在 neurips 2019 论文中提出并发布了针对基因组序列 ood 检测的现实基准数据集,进而提出一种基于似然比的解决方案,可显著提高 ood 检测的准确性。ai 科技评论将谷歌对该方法的官方解读编译如下。

深度学习科学家要成功部署机器学习系统,需要系统能够区分出异常数据或与训练中使用的数据有显着差异的数据。

由于深度神经网络分类器可能会将以高置信度将分布外(odd)的输入分类到分布内的类别中,因此区分异常数据或有显著差异数据是十分重要的。当我们利用这些预测为现实决策提供依据时,异常数据检测将尤为重要。

例如,将机器学习模型应用于基于基因组序列的细菌检测,就是一项具有挑战性的现实应用。细菌检测对于败血症等传染病的诊断和治疗,以及食源性病原体的鉴定都非常关键。

近些年来,随着新细菌种类不断被发现,虽然基于已知分类训练的神经网络分类器通过交叉验证达到了很高的测量准确性,但部署模型仍具有高的挑战性,因为现实数据在不断进化发展,并且将不可避免地包含以往训练数据中从未出现过的基因组(ood 输入)。

图1 近些年来,随着新的细菌种类逐渐地被发现。将已知的分类数据输入基于已知分类数据训练的分类器能够达到很高的准确性,这是因为输入的分类数据是已知的,但它可能将已知分类数据中混合了未知分类数据(如:odd 数据)的输入进行错误的分类,并且具有很高的置信度。

在 neurips 2019 发表的论文《分布外检测的似然比》(likelihood ratios for out-of-distribution detection)中,谷歌受到上述新细菌种类检测这类现实问题的启发,提出并发布了针对基因组序列 ood 检测的现实基准数据集。

论文地址:https://arxiv.org/abs/1906.02845

实现代码 github 地址:https://github.com/google-research/google-research/tree/master/genomics_ood

他们利用基于基因组序列的生成模型测试了 ood 检测的现有方法,发现似然值——即输入来自使用分布不均数据进行估算的分布数据的模型概率——通常是错误的。在最近的图像深度生成模型研究工作中,他们也观察到了这种现象,并通过统计背景影响来解释这种现象,进而提出一种基于似然比的解决方案,可以显著地提高 ood 检测的准确性。

为了模拟实际问题并系统地评估不同的方法,他们建立了一个新的细菌数据集,使用的数据来自美国国家生物技术信息中心(ncbi )对外开放的原核生物目录基因组序列数据。

为了模拟测序数据,他们将基因组片段化为当前测序技术通常使用的 250 个短序列长度的碱基对。然后,其将分布内和分布外的数据按发现日期进行分离,以便截止时间之前被发现的细菌种类被定义在分布内,在之后发现的被定义为分布外(ood) 。

然后,他们基于分布内的基因组序列训练深度生成模型,通过绘制似然值曲线,检验模型辨别输入的分布内和分布外数据的能力。 ood 序列似然值的直方图与分布内序列似然值高度重合,则表明生成模型无法区分在两个种类之间进行的 ood 检测结果。

在图像深度生成模型的早期研究中(相关阅读参考:https://arxiv.org/abs/1810.09136)也得到了类似的结论。例如,利用 fashion-mnist 数据集(由衣服和鞋类的图像组成)训练 pixelcnn ++ 模型,比来自 mnist 数据集(包括数字0-9的图像)的 ood 图像分配了更高的似然值。

图2 左:分布内和分布外(ood)基因组序列的似然值直方图。 似然值未能分辨出分布内和ood基因组序列。 右:fashion-mnist 数据集训练模型、mnist 数据集估计的似然值直方图。 模型在ood(mnist)图像上比在分布内图像分配了更高的似然值。

在研究这种失败模型时,他们观察到背景统计可能影响了似然值的计算。为了更直观地理解该现象,假设输入由两个部分组成:(1)以背景统计为特征的背景成分,(2)以指定于分布内数据专用的模式为特征的语义成分。

例如,可以将 mnist 图像建模为背景加语义。当人类解读图像时,可以轻松地忽略背景信息而主要关注语义信息,例如下图中的“ /”标记。但是当为图像中的所有像素计算似然值时,计算结果中同时包括了语义像素和背景像素。虽然他们只需使用语义的似然值进行决策,但原始的似然值结果中可能大多数都是背景成分。

图3 左上:fashion-mnist 的示例图像。 左下:mnist 的示例图像。 右:mnist 图像中的背景和语义成分。

他们提出了一种去除背景影响并专注于语义成分的似然比方法。

首先,受遗传突变的启发,他们利用扰动输入方法训练背景模型,并通过随机选择输入值的位置,将其替换为另一个具有相等概率的值。为了成像,他们从从256个可能的像素值中随机选择输入值;针对dna 序列,他们从四个可能的核苷酸(a,t,c或g)中选出输入值。此过程中,适量的扰动会破坏数据的语义结构,导致只能捕获到背景。

接着,他们计算完整模型与背景模型之间的似然比,去掉了背景成分,这样就只保留了语义的似然值。似然比是背景对比得分,即它抓住了语义与背景对比的意义。

为了定性评估似然值与似然比之间的差异,他们绘制了在 fashion-mnist 数据集和 mnist 数据集中每个像素的似然值和似然比值,创建了与图像相同的尺寸的热图。

这使他们可以分别直观地看到哪些像素对于这两项值的贡献最大。从对数似然热图中可以看到,对于似然值而言,背景像素比语义像素的贡献更多。

事后看来这并不足为奇,这是由于背景像素主要由一连串零组成,因此很容易被模型学习。

mnist 和 fashion-mnist 热图之间的比较则说明了为什么 mnist 返回更高的似然值——仅仅是因为它包含了更多的背景像素!相反,似然比的结果更多地集中在语义像素上。

图4 左:fashion-mnist 和 mnist 数据集的对数似然热图。 右:fashion-mnist 和 mnist 数据集的似然比热图,具有更高值的像素会具有更浅的阴影。 似然值主要由“背景”像素决定,而似然比则集中在“语义”像素上,因此更适合用于 ood 检测。

这种似然比方法修正了背景影响。他们基于 fashion-mnist 训练 pixelcnn ++ 模型,然后在 mnist 图像数据集进行 ood 检测,实验结果得到了显著改善,auroc 评分从 0.089 提高至 0.994 。

当他们将似然比方法应用于基因组基准数据集这一极具挑战的问题时,对比其它 12 种基线方法,该方法表现出了最佳性能。

不过他们也表示,尽管该似然比方法在基因组数据集上达到了最先进的性能,但离将模型部署到实际应用中的高准确性要求仍存在一定距离。 他们鼓励研究人员努力去解决这一重要问题,并改善当前的最新技术。雷锋网雷锋网

via https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html

扒船新闻网

上一篇美联储主席说逐步加息有助于维持美国经济扩张
下一篇中美经贸协议无法在两国元首会晤时签署?外交部回应

推荐文章

  • 孕妇产下7斤婴儿,丈夫听到报喜后,反应让产妇都尴尬
    孕妇产下7斤婴儿,丈夫听到报喜后,反应让产妇都尴尬

    小林的婆婆对她就像自己的女儿一样,婆媳也相处融洽。不到半年的时间,小林就怀孕了。家人很特别高兴,作为丈夫更是对小林关心备至。每次只要小林不舒服,丈夫就格外难受,就想把小林的痛苦转移到自己身上。小林也是很给力,用了4个小时就成功分娩出一个男婴宝宝,当护士告诉她爱人好消息的时候,她老公连孩子看都没有看,直接跑到产房,哭着说以后再也不要了。小林既尴尬又感到很欣慰,自己没有找错男人。...

    2019-12-23 08:16:12
  • 孩子掩饰和撒谎的原因只有一个
    孩子掩饰和撒谎的原因只有一个

    孩子掩饰和撒谎的原因只有一个,那就是逃避大人的责怪。得分部分首先是,你在知道孩子“说谎”的情况下,没有立即揪住不放地追问到底是谁弄坏了夹子,也没有生气,而是事后找机会去问孩子,给了孩子面子,也给了孩子一个思考的机会,这一点做得非常好。这小部分可能出自本能,大部分应该是孩子依自己的经验作出的判断。...

    2019-12-26 08:55:57
  • 上海集中发布105家夜间开放文旅场所
    上海集中发布105家夜间开放文旅场所

    日前,上海市文化和旅游局集中发布了上海全市105个夜间开放的文旅场所,在建设“夜上海”特色消费示范区方面迈出了一大步。经过前期全市范围的征集和筛选,上海本次公布的105个夜游推荐名单中既有a级景区,也有美术馆、博物馆和纪念馆;既有传统老牌景区,也有新兴商旅文综合体。上海野生动物园这次就专门进行了道路改造,增设路标,调整灯光,并邀请有关专家评估哪些动物适合夜间开放参观。...

    2019-12-25 11:56:13
  • 暖心更要暖腚,开上这些带座椅加热的车,让你做个十足暖男
    暖心更要暖腚,开上这些带座椅加热的车,让你做个十足暖男

    从今天开始,《车业杂谈》将持续推荐各类车型,相信总会有你中意的那款。所以座椅加热功能,在这个时候就显得尤为重要,特别是携家带口返乡的话,暖心更要暖腚哦!今天我们就来了解几款好看、好开,还带有座椅加热功能的“暖”车。首先,直瀑式的前格栅加上1907mm的车宽,让红旗hs5看起来气场非常强大。当然了,前、后排座椅加热功能也能在多款车型上看到,而且不少车型是标配。所以做个暖男,让家人感到温暖,选上面几款...

    2019-12-24 16:43:34
  • 6日烟台天气:多云 温度-3 ~ 2℃ 西南风4-5级
    6日烟台天气:多云 温度-3 ~ 2℃ 西南风4-5级

    12月6日烟台天气:早上好,今天是12月6日,星期五,农历冬月十一。烟台天气:多云,温度-3 ~ 2℃,西南风4-5级,日出时间06:53,日落时间16:36。实时:气温-3℃,北风2级,湿度59%,气压1027 hpa。烟台空气质量:优,aqi 20,pm2.510,空气质量本省排名第2,全国排名第25。...

    2020-01-03 16:40:09