什么是 Alink ？

Alink 是阿里巴巴计算平台事业部PAI团队从 2017 年开始基于实时计算引擎 Flink 研发的新一代机器学习算法平台，提供丰富的算法组件库和便捷的操作框架，开发者可以一键搭建覆盖数据处理、特征工程、模型训练、模型预测的算法模型开发全流程。

开源

FlinkML 和 Alink 的关系

相比 SparkML，Alink 的亮点是什么？

主要功能和优势

丰富高效的算法库

友好的使用体验

★ PyAlink 的下载安装

★ PyAlink的使用

高效的迭代计算框架

DataSet <Row> model = new IterativeComQueue()            .initWithPartitionedData(OptimVariable.trainData, trainData)            .initWithBroadcastData(OptimVariable.model, coefVec)            .initWithBroadcastData(OptimVariable.objFunc, objFuncSet)            .add(new PreallocateCoefficient(OptimVariable.currentCoef))            .add(new PreallocateCoefficient(OptimVariable.minCoef))            .add(new PreallocateLossCurve(OptimVariable.lossCurve, maxIter))            .add(new PreallocateVector(OptimVariable.dir, new double[] {0.0, OptimVariable.learningRate}))            .add(new PreallocateVector(OptimVariable.grad))            .add(new PreallocateSkyk(OptimVariable.numCorrections))            .add(new CalcGradient())            .add(new AllReduce(OptimVariable.gradAllReduce))            .add(new CalDirection(OptimVariable.numCorrections))            .add(new CalcLosses(OptimMethod.LBFGS, numSearchStep))            .add(new AllReduce(OptimVariable.lossAllReduce))            .add(new UpdateModel(params, OptimVariable.grad, OptimMethod.LBFGS, numSearchStep))            .setCompareCriterionOfNode0(new IterTermination())            .closeWith(new OutputModel())            .setMaxIter(maxIter)            .exec();



案例

案例1、情感分析

情感分析是对带有情感色彩（褒义贬义/正向负向）的主观性文本进行分析，以确定该文本的观点、喜好、情感倾向。这个案例中，我们对一个酒店评论的数据集进行分析。


数据集：
https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv


数据预览：






首先，我们定义一个pipeline，这个pipeline包含了缺失值填充、中文分词、停用词过滤、文本向量化、逻辑回归等组件。







接着，我们使用上述定义的pipeline进行模型训练、批式预测，以及结果评估。






采用不同的文本向量化方式和分类模型，可以迅速直观地比较模型的效果：





案例2、FTRL在线学习

在网络广告中，点击率（CTR）是衡量广告效果的一个非常重要的指标。因此，点击预测系统在赞助搜索和实时竞价中具有重要的应用价值。该 Demo 使用 Ftrl 方法实时训练分类模型，并进行实时预测和实时评估。


数据集：
https://www.kaggle.com/c/avazu-ctr-prediction/data  

数据预览：






首先，我们搭建一个用于做特征工程的pipeline，它由标准化和特征哈希两个组件串联而成，并通过训练得到一个pipeline model。






其次，我们用逻辑回归组件进行批式训练，得到一个初始模型。






接着，我们使用FTRL训练组件进行在线训练，用FTRL预测组件进行在线预测。






最后，我们用一个二分类评估组件进行在线评估。







评估结果可实时展现在notebook，方便开发人员实时监控模型状况。