本地仓库推送到 GitHub 仓库 main 分支

GitHub 目前已经将用户创建的版本库的默认分支从 master 更改为了 main,详情见GitHub Change Blog。而 Git 默认创建的还是 master 分支,所以在本地仓库同步到 GitHub 时,会出现 error: failed to push some refs to 'github.com:imaginefish/blog.git' 报错,需要切换至 main 分区后再进行操作。

阅读更多

Windows 下搭建 Spark

版本选择

Spark 部署模式分为本地单机(local)和集群模式,本地单机模式常用于本地开发程序与调试。集群模式又分为 Standalone 模式、Yarn 模式、Mesos 模式
通过测试发现,以下版本组合报错信息最少

组件 版本
Spark 3.2.2
Hadoop 3.3.1
Scala 2.12.15
JDK 1.8
阅读更多