MENU

代码

攻击未授权访问的 Flink 集群

Flink 是一个针对流数据和批数据的分布式处理引擎,与 Storm 一起广泛应用于分布式实时计算场景中,且在某些场景下 Flink 性能要优于 Storm。然而 Flink 默认提供的 Web UI 却不支持鉴权,这就引发了非常明显的未授权问题。

Read More

利用Cookie机制鉴别Tor Browser和爬虫

大概从8月6号中午开始,「暗网交易市场」的爬虫就开始疯狂报「登录失败」的错误,下午抽空修复了一下,发现deepmix的站长利用了一个Cookie机制配合Tor Browser的特性很巧妙地区分出正常访问和爬虫,记录一下浪费在这上面的两个小时。

Read More

打造自己的RSS生成服务

项目的想法大概在两年前就有了,不过刚开了个头就发现「即刻APP」可以很方便的自定义RSS和微信公众号机器人,比自己搞一套要简单得多,于是把所有的订阅源全部挪到了即刻上,但19年即刻全面关闭了自定义机器人的设置,之前的许多订阅源也失效了,急需折腾一套类似的服务出来。

虽然RSSHub已经比较完善了,但出于学习和更深度定制的需要,还是把之前的项目善始善终。功能上很简单,定时爬取指定的消息源,存入数据库,然后生成对应的RSS,最好能把阅读的功能也做在一起,但目前这个需求并不迫切,之后有心情再看,目前就只有几个API和一个爬虫在跑,后续会完善一下安装部署的相关文档。

Read More

故意踩坑式写脚本——简单检测 TCP 连接

墙换成 TCP 阻断的模式以后,就没法想以前那样用多地 ping 的方式检测,只好自己手写一个 TCP 连接来判断。本来可以很轻松的搞定,但写的时候故意放了一些啰嗦的东西在里面,强迫自己多了解几个不同的场景。

成品

Read More

Git 手欠恢复技巧

翻译自 Git Out Of Trouble

搭建练习环境

  1. 在 Github.com 上创建仓库并 clone 到本地;
  2. 创建一个新分支,叫作 test
  3. 创建一系列 commit,可使用如下脚本:

    • Bash

      for d in {1..6};
      do touch file$d.md;
      git add file$d.md;
      git commit -m "adding file $d";
      done
    • PowerShell

      for ($d=1; $d -le 6;$d++) {
        touch file$d.md;
        git add file$d.md;
        git commit -m "adding file$d.md";
      }

Read More