flink从mysql读取数据放入kafka中用于搜索全量

接着上一篇，将MySQL的数据导入kafka中

临夏州网站建设公司成都创新互联,临夏州网站设计制作，有大型网站制作公司丰富经验。已为临夏州上1000家提供企业网站建设服务。企业网站搭建\成都外贸网站建设要多少钱，请找那个售后服务好的临夏州做网站的公司定做！

public static void main(String[] arg) throws Exception {

        TypeInformation[] fieldTypes = new TypeInformation[] { BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO };
        String[] fieldNames = new String[] { "name", "address" };

        RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes, fieldNames);
        JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat().setDrivername("com.mysql.jdbc.Driver")
                .setDBUrl("jdbc:mysql://ip:3306/tablespace?characterEncoding=utf8")
                .setUsername("user").setPassword("root")
                .setQuery("select LOGIC_CODE, SHARE_LOG_CODE from table").setRowTypeInfo(rowTypeInfo).finish();

        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSource<Row> s = env.createInput(jdbcInputFormat);

        BatchTableEnvironment tableEnv = new BatchTableEnvironment(env, TableConfig.DEFAULT());

        tableEnv.registerDataSet("t2", s);

        Table tapiResult = tableEnv.scan("t2");
        System.out.println("schema is:");
        tapiResult.printSchema();

        Table query = tableEnv.sqlQuery("select name, address from t2");
        DataSet<Result> ds=  tableEnv.toDataSet(query, Result.class);

        DataSet<String> temp=ds.map(new MapFunction<Result, String>() {
            @Override
            public String map(Result result) throws Exception {
                String name = result.name;
                String value = result.address;
                return name+":->:"+value;
            }
        });

        logger.info("read db end"); 

        KafkaOutputFormat kafkaOutput = KafkaOutputFormat.buildKafkaOutputFormat()
                .setBootstrapServers("ip:9092").setTopic("search_test_whk").setAcks("all").setBatchSize("1000")
                .setBufferMemory("100000").setLingerMs("1").setRetries("2").finish();

        temp.output(kafkaOutput);

        logger.info("write kafka end");

        env.execute("Flink add data source");

    }

名称栏目：flink从mysql读取数据放入kafka中用于搜索全量
分享网址：https://www.cdcxhl.com/article18/jgchdp.html

成都网站建设公司_创新互联，为您提供关键词优化、自适应网站、响应式网站、静态网站、手机网站建设、网站改版

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联