Java代码执行sqoop抽取动作

执行从MySQL数据库导出数据到HDFS上。

创新互联-专业网站定制、快速模板网站建设、高性价比鹿邑网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式鹿邑网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖鹿邑地区。费用合理售后完善，十余年实体公司更值得信赖。

执行前需准备：

在eclipse中写的代码，所以，又新加了sqoop-1.4.6-cdh6.5.2.jar放入原有的hadoop项目中，否则会有编译错误。

同时，在集群上，将此包加入HADOOP_HOME/share/hadoop/yarn下，否则会报缺少Jar包的错误。

错误显示：

[hadoop@fa01 ~]$ hadoop jar SqoopTest1.jar

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/util/OptionsFileUtil

代码：

import org.apache.hadoop.conf.Configuration;

import org.apache.sqoop.Sqoop;

import org.apache.sqoop.tool.SqoopTool;

import org.apache.sqoop.util.OptionsFileUtil;

public class SqoopTest1 {

private static int importDataFromMysql() throws Exception {

String[] args = new String[] {

//参数可以继续添加

"--connect", "jdbc:mysql://192.20.1.54:3306/tbname_test",

"--driver", "com.mysql.jdbc.Driver",

"--username", "username",

"--password", "123456",

"--table", "abtest_data",

"-m", "1",

"--target-dir", "/user/hadoop/java_sqoop_test1"

};

String[] expandArguments = OptionsFileUtil.expandArguments(args);

SqoopTool tool = SqoopTool.getTool("import");

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://192.168.20.32:9000");

Configuration loadPlugins = SqoopTool.loadPlugins(conf);

Sqoop sqoop = new Sqoop((com.cloudera.sqoop.tool.SqoopTool) tool, loadPlugins);

return Sqoop.runSqoop(sqoop, expandArguments);

}

public static void main(String[] args) throws Exception {

importDataFromMysql();

}

}

参考：

http://blog.csdn.net/shantaodaoshik852/article/details/77266831

http://blog.csdn.net/guzicheng/article/details/41519947

网页题目：Java代码执行sqoop抽取动作
转载来于：https://www.cdcxhl.com/article34/gciepe.html

成都网站建设公司_创新互联，为您提供Google、电子商务、网站制作、网页设计公司、外贸网站建设、企业网站制作

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联