前段时间在逛 LET 看到有人发帖询问在 VPS 上安装了什么，论坛中的 @Galeej 提到，自己将所有的 VPS 通过 Tailscale 私有网络连接，对其他 VPS 的操作都通过一台新加坡的 relay 服务器转发（并且设置其他 VPS 的网络连接只允许特定的 IP），而所有需要暴露到公开互联网上的端口都隐藏在 Cloudflare 之后，我看到这样的配置之后发现这样的 VPS 配置非常的安全，公开互联网上没有暴露任何可以攻击的端口，所有的服务都在 WireGuard 内网中。

然后在之后的讨论中 @Ouji 又提出，他将用 Netmaker 来替换 Tailscale，然后我就调研了一下 Netmaker 发现这是 Tailscale 的开源版本，不仅提供了非常友好的配置管理界面，还能够提供自定的网络段（我使用 Tailscale 不舒服的一点就是分配的内网 IP 都是随机的）。所以下面就简单的介绍一下 Netmaker 的使用，并简单的演示一下创建一个点对点 mesh 网络。

什么是 Netmaker

Netmaker 是一个开源的、基于 [[WireGuard]] 的网络（overlay network) 控制工具，可以非常快速的用来组建 WireGuard 网络。

如果你有两台连接互联网的设备，那么 Netmaker 可以组建一个安全的网络，并打通一个安全的隧道提供给两台机器通信。而如果你有数千台机器分布在不同的地区，不同的数据中心，不同的网络中，那么 Netmaker 也可以组建一个网络来提供给这些不同的节点通信。

如果熟悉 AWS，那么 Netmaker 就像 VPC 一样，不过 Netmaker 可以应用在任意的机器中。从 Netmaker 网络中的机器来看，同一个网络中的机器尽管在世界各地，但其相互通信就像是在同一个局域网中一样。

Netmaker 和其他一些产品非常相似，比如 [[Tailscale]], [[ZeroTier]]，[[Nebula]] 但不同于这些产品的是，Netmaker 连接更快，更加灵活。Netmaker 使用 [[WireGuard]] 所以更快，Netmaker 中的节点不管是服务端还是Agent都完全可配置，所以提供了更大的灵活性。

Netmaker 优于 [[Tailscale]] 的地方还在于 ，Netmaker 不需要 Google, Microsoft 或者 GitHub 账号。Netmaker 可以认为是一个可以自行托管的 Tailscale。

Netmaker 工作原理

Netmaker 依赖于 WireGuard 来在机器间创建隧道（tunnel), Netmaker 通过管理不同机器的 WireGuard 来创建网络。简单来说，Netmaker 实现 Client/Server 架构：

  • the admin server 管理端，称为 Netmaker，管理网络的界面
  • the agent，客户端，称为 Netclient，客户端通过 gRPC 与服务端通信

作为 Network 管理端，你可以通过管理端来创建网络，管理连接的设备。服务端会保存所有网络和设备的配置信息，这些信息会被 netclient (agent) 来获取使用。

客户端（netclient) 是一个二进制文件，netclient 会在节点被添加到网络中的时候安装到不同的机器中，netclient 可以在大多数系统中运行，不管是虚拟机，物理机，或者 IoT 设备都可以运行 netclient。netclient 会连接服务端，通过服务端的配置来自动管理 WireGuard，动态更新 Peers。通过不断向网络中添加节点的方式，可以创建一个动态的，完全可以配置的虚拟网络。

Netmaker server 不会路由网络流量，否则这个网络就变成了一个中心辐射模型（hub-and-spoke model），这会使得中心服务器变成瓶颈，并且拖慢网络。相反，Network 会告诉网络中的节点他们之间可以相互直接通信，这被称为 full mesh network（网状网络），这会让节点和节点的连接更快。即使管理端宕机，只要现存的节点没有变化，那么这个网络依然可以正常工作。

应用场景 Use Cases

Netmaker 有非常多的应用场景，事实上，现在可能就已经在使用了。

用例：

  • 自动创建 WireGuard mesh network
  • 在云环境和数据中心之间创建 flat, secure 网络
  • 给 IoT 设备提供更安全的网络访问
  • 增强家庭，或办公网络的安全性
  • 在现存网络上增加一层加密
  • 安全的 site-to-site 连接
  • 管理 cryptocurrency proof-of-stake 机器
  • 创建动态的安全的 Kubernetes underlay network

更多的用例也可以参考官网。

架构

Netmaker 的架构图：

概念

熟悉一下 Netmaker 中常常被提到的概念，有助于理解。

WireGuard

[[WireGuard]] 相对比较新，但非常强大，WireGuard 被加入到了 Linux kernel。WireGuard 可以非常简单快速地在设备之间创建加密通道。从 WireGuard 官网的介绍中可以看到，“WireGuard 可以被认为是工业界最安全，最方便使用，最简单的 VPN 解决方案”。

之前的解决方案，比如 OpenVPN，或者 IPSec 都被认为又重又复杂，并且性能也不是很好。所有现存的 VPN tunneling 方案都会导致网络延迟增大。WireGuard 是第一个实现了几乎接近有线连接网络速度的 VPN，可以看到 WireGuard 对现有网络连接几乎没有影响。随着 WireGuard 的发布，没有任何理由去使用其他隧道加密技术了。

Mesh Network

当提到 mesh network （网状网络）的时候通常也会说 「full mesh」。一个 full mesh network 指的是网络中的任何节点都可以相互直接连接。

比如在路由器后面的家庭网络，所有的电脑都会通过私有局域网地址相互连接。

Mesh network 通常会和 hub-and-spoke (中心辐射) 网络放到一起对比，中心辐射的网络中，一个节点必须通过 relay server 才能和另外一个节点进行通信。

在一些场景中，你可以需要部分的 mesh network，网络中只有部分设备需要相互直接通信，而其他设备都需要将流量转发给一个 relay/gateway 。Netmaker 在某些时候也可以实现这类模型。在第一张图片中，这个设置就是一个部分的 mesh network，因为节点A-D 是网状网络，而其他的客户端通过 gateway 连接。

Mesh networks 通常比其他拓扑的网络更快，但通常设置也会更加复杂。WireGuard 提供了在设备之间创建加密隧道的方法，但是它不提供设置完整网络的方法。这是 Netmaker 诞生的理由。

Netmaker

Netmaker 是一个建立在 WireGuard 上的平台，允许用户在设备之间构建 mesh networks。Netmaker 可以根据需要创建完全的、或部分的 mesh network。

当我们提及 Netmaker 整体的时候，通常指的是 Netmaker 以及 netclient, 以及其他辅助的服务，比如 CoreDNS，rqlite 和 UI 服务。

从终端用户来看，通常会和 Netmaker UI 交互，或会直接在终端节点中直接运行脚本。而其他部分都会在后台默默地执行。

Netmaker 做了非常多的配置相关的工作，简化了用户的配置。包括了 WireGuard 的端口，endpoints( 终端) , public IPs（公网IP），keys(密钥) 和 peers(节点)。Netmaker 尽可能多地抽象了网络管理，只需简单的在界面点击创建网络，然后点击将计算机添加到网络。也就是说，每一个机器都是不同的，可能需要不同的配置。这就是为什么，Netmaker 使用一套默认设置，则网格内的所有内容都是完全可配置的。

SystemD

SystemD 是一个被 Linux 广泛使用的系统服务器管理器。尽管没有被所有发行版采用，但是不管如何，它已经成为了 Linux 世界的事实标准。非 Linux 可能没有 systemd，而 Linux/Unix 发行版有可代替的 system service managers。

Netmaker 的 netclient (客户端) 会控制节点上的网络，可以通过命令行运行，或者通过作为 system 守护进程（daemon），在 Linux 上会默认以 daemon 运行（依赖于 systemd)。

从 0.8 版本开始，支持了 macOS 和 Windows，在这些操作系统中，netclient 使用 LaunchD 来启动 netclient 守护进程。

Ingress Gateways

在 Netmaker 网络中的任何节点都可以成为 Ingress Gateway，Ingress Gateway 可以接受 Netmaker（WireGuard）网络外部的流量。

Egress Gateways

Egress Gateway 出口网关，允许将内部网络流量转发到外部指定 IP。

Netmaker 安装

硬件要求

服务器：

  • 一台可用的 VPS（最好比较干净，没有占用端口，否则需要根据自己的需要自行调整），不推荐 Oracle Cloud 的机器，网络接口有问题
  • 公开的 IP 地址
  • 至少 1GB RAM，1CPU（4GB RAM，2 CPU 生产环境）
  • 2GB+ 存储
  • Ubuntu 20.04

软件要求

域名：

  • 一个可用的域名（可选）
  • 可以操作管理 DNS 服务(53端口)
  • 保证 443(tcp)， 53(tcp udp), 51821-518XX(udp) 端口可用
    • 443 端口，Dashboard，REST API 和 gRPC
    • 53 端口，CoreDNS
    • 51821-518XX，WireGuard，每一个网络需要一个端口，起始端口会使用 51821，可以根据自己的网络端数量需要设定端口范围
    • 允许防火墙 sudo ufw allow proto tcp from any to any port 443 && sudo ufw allow 53/udp && sudo ufw allow 53/tcp && sudo ufw allow 51821:51830/udp

一键安装

如果想使用自己的域名，比如 dashboard.netmaker.example.com 这样，可以参考官网。这里为了演示方便，就使用一键脚本。

Netmaker 官方已经提供了一个 Docker 镜像，并且也提供了安装脚本：

sudo wget -qO - https://raw.githubusercontent.com/gravitl/netmaker/master/scripts/nm-quick.sh | bash

如果没有使用自己的域名，一键脚本会使用一个 nip.io 的泛域名解析映射工具根据 IP 自动获取一个域名，用来访问后台地址。

首次登录后台会要求设定用户名和密码。登录后台之后，左侧的 Networks、 Nodes、 Access Keys 是比较重要的菜单。

在 Network 选项中选择创建 Network，设定 IP 段范围，然后在其他机器上依次安装客户端，添加节点到网络中即可。

在添加到之后网络之后，可以运行 sudo wg show 查看信息：

❯ sudo wg show
interface: nm-k3s
  public key: PGeGQKOlJt4zZJX2axf15dRsWvs6QaFRF/j/fJUfnjw=
  private key: (hidden)
  listening port: 51821

peer: Cjbp/IeTEFgPEJpOldjkaleUvlNjqg+y75hiI/Sq61Q=
  endpoint: 140.XXX.XXX.XXX:51821
  allowed ips: 10.10.11.8/32
  latest handshake: 2 seconds ago
  transfer: 6.74 KiB received, 1.88 KiB sent
  persistent keepalive: every 20 seconds

通常会看到 interface 和 peer 信息。

手动安装

如果需要手动安装，也不是特别麻烦，从官网下载 docker-compose.yml 文件：

wget -O docker-compose.yml https://raw.githubusercontent.com/gravitl/netmaker/master/compose/docker-compose.contained.yml
sed -i 's/NETMAKER_BASE_DOMAIN/<your base domain>/g' docker-compose.yml
sed -i 's/SERVER_PUBLIC_IP/<your server ip>/g' docker-compose.yml
sed -i 's/COREDNS_IP/<default interface ip>/g' docker-compose.yml

生成唯一的 master key:

tr -dc A-Za-z0-9 </dev/urandom | head -c 30 ; echo ''
sed -i 's/REPLACE_MASTER_KEY/<your generated key>/g' docker-compose.yml

配置 Caddy

wget -O /root/Caddyfile https://raw.githubusercontent.com/gravitl/netmaker/master/docker/Caddyfile

sed -i 's/NETMAKER_BASE_DOMAIN/<your base domain>/g' /root/Caddyfile
sed -i 's/YOUR_EMAIL/<your email>/g' /root/Caddyfile

然后启动：

sudo docker-compose up -d

然后可以访问 dashboard.nm.example.com 后台。

需要注意的是，如果使用自己的域名需要添加一个泛域名 A 记录（wildcard A record)，比如想要后台访问地址是 dashboard.nm.example.com 那么需要添加 *.nm.example.com。

Caddy 会创建三个子域名：

  • dashboard.nm.example.com
  • api.nm.example.com
  • grpc.nm.example.com

netclient 使用

netclient 是一个简单的 CLI，用于创建 WireGuard 配置和接口。netclient 可以管理任意私有网络。

macOS 安装

首先安装依赖：

brew install wireguard-tools

外延

Nebula 是另外一个选择，同样基于 WireGuard。

更多资料可以查看 Gravitl 官网：https://gravitl.com/resources

reference