当前位置: 首 页 > 机器学习 >

一个框架解决几乎所有机器学习问题

来源:雷锋网 发布日期:2017-05-15

本文作者杨熹,原文载于作者 个人博客 。 上周一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learni...

本文作者杨熹,原文载于作者个人博客

上周一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem,介绍他建立的一个自动的机器学习框架,几乎可以解决任何机器学习问题,项目很快也会发布出来。这篇文章迅速火遍 Kaggle,他参加过100多个数据科学相关的竞赛,积累了很多宝贵的经验,看他很幽默地说“写这样的框架需要很多丰富的经验,不是每个人都有这样的经历,而很多人有宝贵的经验,但是他们不愿意分享,我呢恰好是又有一些经验,又愿意分享的人”。当然这篇文章也是受到争议的,很多人觉得并不全面。

我最近也在准备参加 Kaggle,之前看过几个例子,自己也总结了一个分析的流程,今天看了这篇文章,里面提到了一些高效的方法,最干货的是,他做了一个表格,列出了各个算法通常需要训练的参数。

这个问题很重要,因为大部分时间都是通过调节参数,训练模型来提高精度。作为一个初学者,第一阶段,最想知道的问题,就是如何调节参数。因为分析的套路很简单,就那么几步,常用的算法也就那么几个,以为把算法调用一下就可以了么,那是肯定不行的。实际过程中,调用完算法后,结果一般都不怎么好,这个时候还需要进一步分析,哪些参数可以调优,哪些数据需要进一步处理,还有什么更合适的算法等等问题。

接下来一起来看一下他的框架。

据说数据科学家 60-70% 的时间都花在数据清洗和应用模型算法上面,这个框架主要针对算法的应用部分。

一个框架解决几乎所有机器学习问题

 

  什么是 Kaggle? 

Kaggle是一个数据科学竞赛的平台,很多公司会发布一些接近真实业务的问题,吸引爱好数据科学的人来一起解决,可以通过这些数据积累经验,提高机器学习的水平。

应用算法解决 Kaggle 问题,一般有以下几个步骤:

第一步:识别问题

第二步:分离数据

第三步:构造提取特征

第四步:组合数据

第五步:分解

第六步:选择特征

第七步:选择算法进行训练

当然,工欲善其事,必先利其器,要先把工具和包都安好。 
最方便的就是安装 Anaconda,这里面包含大部分数据科学所需要的包,直接引入就可以了,常用的包有: 

- pandas:常用来将数据转化成 dataframe 形式进行操作 
- scikit-learn:里面有要用到的机器学习算法模型 
- matplotlib:用来画图 
- 以及 xgboost,keras,tqdm 等。

  第一步:识别问题

在这一步先明确这个问题是分类还是回归。通过问题和数据就可以判断出来,数据由 X 和 label 列构成,label 可以一列也可以多列,可以是二进制也可以是实数,当它为二进制时,问题属于分类,当它为实数时,问题属于回归。

  第二步:分离数据

一个框架解决几乎所有机器学习问题

为什么需要将数据分成两部分? 

用 Training Data 来训练模型,用 Validation Data 来检验这个模型的表现,不然的话,通过各种调节参数,模型可以在训练数据集上面表现的非常出色,但是这可能会是过拟合,过拟合就是太依赖现有的数据了,拟合的效果特别好,但是只适用于训练集,以致于来一个新的数据,就不知道该预测成什么了。所以需要有 Validation 来验证一下,看这个模型是在那里自娱自乐呢,还是真的表现出色。

在 scikit learn 包里就有工具可以帮你做到这些: 

分类问题用 StrtifiedKFold

from sklearn.cross_validation import StratifiedKFold

回归问题用 KFold

from sklearn.cross_validation import KFold

  第三步:构造特征

这个时候,需要将数据转化成模型需要的形式。数据有三种类型:数字,类别,文字。当数据是类别的形式时,需要将它的每一类提取出来作为单独一列,然后用二进制表示每条记录相应的值。例如:

record 1: 性别 女 
record 2:性别 女 
record 3:性别 男

转化之后就是:

      女 男 
record 1: 1 0 
record 2:1 0 
record 3:0 1

这个过程 sklearn 也可以帮你做到:

from sklearn.preprocessing import LabelEncoder

或者

from sklearn.preprocessing import OneHotEncoder

  第四步:组合数据

处理完 Feature 之后,就将它们组合到一起。 
如果数据是稠密的,就可以用 numpy 的 hstack:

import numpy as np

上一篇:当 AI 邂逅艺术:机器写诗综述
下一篇:想要快速的搭建高性能机器学习系统,企业应该怎么干?

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • Master以26胜0负完胜顶级围棋手:是AI还是柯

    Master以26胜0负完胜顶级围棋手:是AI还是柯

  • 机器还是凶器?机器人"行凶"后,人机如何共

    机器还是凶器?机器人"行凶"后,人机如何共

  • 专访姚劲波:未来去家里服务的可能是机器人

    专访姚劲波:未来去家里服务的可能是机器人

  • 当 AI 邂逅艺术:机器写诗综述

    当 AI 邂逅艺术:机器写诗综述