如何分析spark-mlib的线性回归

如何分析spark-mlib的线性回归，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

目前创新互联建站已为近千家的企业提供了网站建设、域名、网页空间、网站托管维护、企业网站设计、贡井网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.sql.SQLContext
import org.apache.spark.ml.regression.LinearRegression
object SparkMlib {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("mlib").setMaster("local")
    
    val context = new SparkContext(conf)
    val sqlContext = new SQLContext(context)
    
    val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36)))
    val cols = Array("x1","x2")
    val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict")
    
    import sqlContext.implicits._
    val x = vectors.transform(rdd.toDF("x1","x2","y"))
    
    val model = new LinearRegression()
                    //自变量的数据名
                    .setFeaturesCol("predict")
                    //因变量
                    .setLabelCol("y")
                    //是否有截距
                    .setFitIntercept(false)
                    //训练模型
                    .fit(x)
                    
     //线性回归的系数              
     println(model.coefficients)
     //线性回归的截距
     println(model.intercept)
     //线性回归的自变量的个数
     println(model.numFeatures)
     //上面的feature列
     println(model.summary.featuresCol)
     //r2
     println(model.summary.r2)
     //平均绝对误差
     println(model.summary.meanAbsoluteError)
     //方差
     println(model.summary.meanSquaredError)
     //新的集合x1,x2 预测y
     val testRdd  = context.makeRDD(List((1,3),(2,6),(3,9),(4,12)))
     //根据上面的模型预测结果
     val testSet = vectors.transform(testRdd.toDF("x1","x2"))
     val pre = model.transform(testSet)
    
     pre.show()
     //println(pre.predictions)
    
  }
}

关于如何分析spark-mlib的线性回归问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。

文章题目：如何分析spark-mlib的线性回归
URL分享：https://www.cdcxhl.com/article46/psdchg.html

成都网站建设公司_创新互联，为您提供云服务器、做网站、定制网站、虚拟主机、标签优化、关键词优化

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联