Verne in GitHub

So you Start 独服 Proxmox VE 虚拟机配置 Failover IP

最近买了一台 [[so-you-start So you Start]] 的独立服务器，开始的时候安装了 Ubuntu 没有充分利用独立服务器的优势，所以这两天把系统重新安装成了 Proxmox VE，然后在上面又安装了 Ubuntu 20.04，So you Start 提供了额外可以购买的 16 个 [[Failover IPs]]，Failover IP 本来是为了可以将服务器迁移到另外的服务器而提供的机制，但在 Proxmox VE 虚拟化技术系统下，可以给虚拟机也分配不同的 IP，这样就实现了从一台服务器虚拟化多个 VPS 的操作。

安装 Proxmox VE 的过程就不多说了，在 So you Start 或者 OVH 后台直接使用模板安装即可，我使用的 6.x 版本，没有升级到最新的 7 版本。

安装完成后使用 Ubuntu Server 的 ISO 镜像完成虚拟机的安装。

前提准备工作

  • 新建一台可以登录的虚拟机，操作系统不限
  • 购买好至少一个额外的 Failover IP

配置 Failover IP 到虚拟机

Create a Virtual MAC Address

首先到 So you Start 后台 IP，然后选择购买的 Failover IP，新增 virtual MAC 地址，然后复制该 MAC 地址备用。

比如：

02:01:00:78:95:aa

新增 MAC 地址可能有一点延迟，等待生效即可。

Add virtual MAC to the NIC of a VM

然后需要在 Proxmox VE 虚拟机配置中将上述 MAC 地址配置。如果还没有安装虚拟机，可以参考 Proxmox VE 官网的教程。

VM 配置前需要是关闭状态。

在 Proxmox VE 中，找到虚拟机的 Hardware

![[proxmox-ve-vm-hardward-20211019134831.png]]

找到 Network Device 选项，默认情况下是一个随机生成的 MAC 地址：

![[proxmox-ve-vm-network-device-20211019134924.png]]

点击 Edit，然后在 MAC address 一栏将上一步的虚拟 MAC 地址填入，并保存。

然后启动 VM，接下来需要配置虚拟机的网络接口。

Configuring Network Settings

Debian 10

首先查看一下接口：

ip addr

除了一个 lo 应该能看到类似 ens18 这样的接口。

Debian 的网络接口配置在 vi /etc/network/interfaces:

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto ens18
iface ens18 inet static
address 192.0.2.1
netmask 255.255.255.0
gateway 203.0.113.254
dns-nameservers 208.67.222.222 208.67.220.220

说明：

  • 修改其中的 ens18 为自己的相应的配置
  • address 一行：192.0.2.1 修改为自己的 Failover IP
  • gateway 一行： 203.0.113.254 前3个字节的数字，修改成独立服务器 IP 地址的前三个字节 IP 地址，最后添加 254，比如独立服务器的 IP 是 1.2.3.4，那么使用 1.2.3.254 作为网关
  • 最后一行是 DNS 设置，可以使用上面使用的 OpenDNS，也可以使用任何其他的，比如 Cloudflare 的 1.1.1.1, 或者 Google 的 8.8.8.8

然后使得接口生效：

ip link set ens18 up

最后重启 networking:

systemctl restart networking

然后可以测试连通性：

ping 8.8.8.8

能够 ping，表示已经可以联网。

ping google.com

然后看一下 DNS 解析，如果域名无法解析，我这边情况是少了 /etc/resolv.conf，手工创建文件并写入：

nameserver 8.8.8.8

即可。

Ubuntu 18.04

Ubuntu 17 开始就使用 Netplan 来管理网络配置，所以和 Debian 有一些区别：

vi /etc/netplan/01-netcfg.yaml

然后使用：

# This is the network config written by 'subiquity'
network:
  version: 2
  renderer: networkd
  ethernets:
    ens18:
      dhcp4: no
      dhcp6: no
      addresses:
        - 192.0.2.1/32
      gateway4: 1.2.3.254
      nameservers:
        addresses: [8.8.8.8, 1.1.1.1]
      routes:
      - to: 1.2.3.254/32
        via: 0.0.0.0
        scope: link

和上面的配置类似，对应替换即可。

然后使之生效：

sudo netplan apply

reference


2021-10-11 so-you-start , proxmox , proxmox-ve , pve , linux , ubuntu , failover-ip , network , ip

使用 Remark42 替换博客的 Disqus 评论系统

前两天用隐身窗口打开自己的博客的时候突然发现 Disqus 评论框上一大片广告，没想到现在 Disqus 已经这样了，并且之前还暴露出过隐私问题。所以就想着什么时候替换掉它。

虽然之前也调研过静态博客的评论系统，但说实话那个时候还没有让我有替换掉 Disqus 的动力，毕竟有一些评论系统是基于 GitHub issue 的，也有一些现在来看比 Disqus 存活的时间都要短，连官网都不存在了。

问题

整理一下 Disqus 目前让我不舒服的一些地方：

  • 在评论框上方插入了大片广告
  • 正常留言被错误标记，我去 Disqus 后台看有不少正常的留言都被标记为了垃圾留言，而实际上完全没有问题，并且附加的链接也都是合理的，并且 Disqus 没有任何通知。所以也得对过去留了言没有得到回复的读者说声抱歉。
  • Disqus 拖慢网页加载速度，用 GTmetrix 跑一下，可以看到一大半是因为 Disqus。

替换了 Disqus 至少可以提升一下访问速度，访客也不会被广告追踪。

Disqus 代替品

所以接下来就研究了一下 Disqus 的代替品，我大致把他们分成了一下几个部分：

  • 类似于 Disqus 以中心化的云服务方式提供评论服务，并且兼顾用户隐私，所以基本上都按照访问量来收费，最少的也需要 5$ 一个月，这一类的服务有
  • 第二类是以 GitHub issue 作为评论系统的后端，借助 GitHub 开放 API 的能力，使用 issue 来保存博客的评论，这一类评论系统必须要求用户有 GitHub 账户，并且我并不乐意「滥用」GitHub issue 的功能，我认为一个功能就有一个功能设计的目的和意义，GitHub issue 的功能是为项目上报问题或围绕项目展开的讨论而非针对内容本身所以这一类的也就不采用了。这一类的服务有：
  • 另外剩下来的一大类是提供自建的方案，需要自己在云服务，Heroku，或者 VPS 上自建的，需要依赖 PostgreSQL 或 SQLite 这类数据库，这一类的评论系统往往实现了评论接口。
    • Commento 需要 PostgreSQL
    • Remark42，[[Remark42]] 可以自行搭建，Go 实现，非常简洁轻便，可以嵌在任何需要评论的地方。支持常用的社交账号登录，匿名留言，多级留言。可以从 Disqus 或 WordPress 导入数据，支持邮件，Telegram 等通知。
    • Isso，支持匿名，有简单的管理后台，支持导入 Disqus 评论， Python 实现
  • 最后剩下一个比较特殊的，就是 Staticman 它将评论系统的评论部分拆成纯文本的数据，提交到静态博客的项目中，当用户发起评论后会自动提交一个 comment，或者发起一个 Pull Request 将内容保存下来。

综合比较下来因为已经排除了第一、二两类，在自建的服务中 Isso 和 Remark42 看着非常轻便，即使自建，使用 Docker 也非常快。并且 Remark42 更加强大一些，所以就选 Remark42 了。

Remark42 搭建

Remark42 是使用 Go 编写，并且提供了 Docker 部署方式，一个 docker-compose 文件搞定：

version: "3"

services:
  remark42:
    image: umputun/remark42:latest
    container_name: "remark42"
    restart: always

    logging:
      driver: json-file
      options:
        max-size: "10m"
        max-file: "5"
    environment:
      - REMARK_URL=${URL}
      - SITE=${SITE}
      - SECRET=${SECRET}
      - STORE_TYPE=bolt
      - STORE_BOLT_PATH=/srv/var/db
      - BACKUP_PATH=/srv/var/backup
      - CACHE_TYPE=mem
      - DEBUG=true
      - AUTH_TELEGRAM=${AUTH_TELEGRAM}
      - TELEGRAM_TOKEN=${TELEGRAM_TOKEN}
      - AUTH_ANON=true
      - ADMIN_PASSWD=${ADMIN_PASSWD}
      - VIRTUAL_HOST=${YOUR_DOMAIN}
      - VIRTUAL_PORT=8080
      - LETSENCRYPT_HOST=${YOUR_DOMAIN}
      - LETSENCRYPT_EMAIL=${YOUR_EMAIL}
    volumes:
      - ${STORAGE_PATH}:/srv/var

networks:
  default:
    external:
      name: nginx-proxy

我使用 nginx-proxy 做域名转发，以及 SSL 证书自动生成。

导入 Disqus 数据

Disqus 提供导出评论到一个压缩包的工具，可以在 Disqus Admin > Setup > Export 找到 1。

docker exec -it remark42 import -p disqus -f /srv/var/xxxx-2021-10-08T12_57_49.488908-all.xml -s site_id

通过以上命令导入。

reference

  1. https://help.disqus.com/en/articles/1717164-comments-export ↩


2021-10-08 comment , disqus , isso , python , jekyll , static-website

club 域名宕机近 3 小时故障回顾

刚开始的时候收到了报警，说网站挂了，我的第一反应是 VPS 出问题了，赶紧 SSH 登录上去看，好像都正常。难道是 VPS 网络问题，于是看了看同一台机器上的其他服务，一切都没问题。

然后开始排查为什么登录不上，先看了一 DNS 解析，发现在我本地已经无法给出 DNS 解析的结果了，返回 SERVFAIL。

❯ nslookup www.techfm.club
Server:		192.168.2.1
Address:	192.168.2.1#53

** server can't find www.techfm.club: SERVFAIL

我下意识的还以为遭到 GFW DNS 污染了，用其他地区的 VPS nslookup 了一下发现是同样的错误。

于是我把怀疑点移到了 Cloudflare，但是登录 Cloudflare 发现其他域名都正常，并且查看 Cloudflare 的 status 页面也没有说有服务故障，然后就去 Help 里面想要联系一下客服寻求帮助一下，不过 Cloudflare 的页面做的很人性化，首先提供了自查故障的页面，所以自查了一下，Cloudflare 说：

The authoritative nameservers for techfm.club are set incorrectly. For Cloudflare to activate, your domain registrar must point to the two nameservers provided by Cloudflare as the authoritative servers. Set your authoritative nameservers in your registrar’s admin panel (contact your registrar for support). Review changing your nameservers.

Name servers 服务器设置错误？我今天根本没有动过 Google Domains 的 NS 设置啊。不过还是按照帮助文档中的内容查询了一下域名的 NS，发现真的获取不到 NS 地址了。

einverne@sys ~ % dig techfm.club +trace @1.1.1.1

; <<>> DiG 9.16.1-Ubuntu <<>> techfm.club +trace @1.1.1.1
;; global options: +cmd
.                       515539  IN      NS      a.root-servers.net.
.                       515539  IN      NS      b.root-servers.net.
.                       515539  IN      NS      c.root-servers.net.
.                       515539  IN      NS      d.root-servers.net.
.                       515539  IN      NS      e.root-servers.net.
.                       515539  IN      NS      f.root-servers.net.
.                       515539  IN      NS      g.root-servers.net.
.                       515539  IN      NS      h.root-servers.net.
.                       515539  IN      NS      i.root-servers.net.
.                       515539  IN      NS      j.root-servers.net.
.                       515539  IN      NS      k.root-servers.net.
.                       515539  IN      NS      l.root-servers.net.
.                       515539  IN      NS      m.root-servers.net.
.                       515539  IN      RRSIG   NS 8 0 518400 20211020050000 20211007040000 14748 . Ivt+gf/MP9jMrhxG7kVEO6LfUeGvL6RaeaR4b19+hakqU2FplgG2DSMf ycLHYn2zaBPyyZysSh1AbgWO7L2nRZj5yMQB6A7IFR3ifp1ksCTDbtUf 4X0rzwzZcv2BVbJBsDAjVVdAFxVsnfX6siOx9JLxshe1/JECAaRoXo4X Fl5JTeEN+s+WBZdOShKmvkILGRt9UkMeFton3dIP47ZBvnlgmMGkv9Jw VZHQmzdufQSfta0HtjPwN+/mzlH6nnGs4beqlhsIAttzQALgzcspCjP+ NenqtiXTxg7jvtP8Dy/JkTYbecQX+mcL19ySGDoBkGov2RSfJURdXgrN PN7QZA==
;; Received 1097 bytes from 1.1.1.1#53(1.1.1.1) in 4 ms

club.                   172800  IN      NS      ns1.dns.nic.club.
club.                   172800  IN      NS      ns2.dns.nic.club.
club.                   172800  IN      NS      ns3.dns.nic.club.
club.                   172800  IN      NS      ns4.dns.nic.club.
club.                   172800  IN      NS      ns6.dns.nic.club.
club.                   172800  IN      NS      ns5.dns.nic.club.
club.                   86400   IN      DS      29815 8 2 3B67F899B57454E924DD1EFAE729B8741D61BA9BC8D76CD888919E5C 0950CA23
club.                   86400   IN      DS      29815 8 1 7F2B8E1D8B715BB382111A84F4552A599462017A
club.                   86400   IN      RRSIG   DS 8 1 86400 20211020050000 20211007040000 14748 . AQaz5Kne3pWNMUOyrCJ67y3q8mN0fe2cukuTY0oiyMJNi/OuL7eGxqiq 3RlfRL+Y9+50jOkEdw6170xKqeU/XAdyYRI9R6xQYTCZE2y+YSnHW81k PGrFVb4N8RfmD8/AX0RckRMzu4DqokMXnfYd2WFGqrNJtvWMGxDkdkxU PfJv0jHHBzV0s1YyS/UuFC9joaYGeZ8L81HVeQV0aZn7pz3+u794OQgf 0SpqbiiSuYJDGXvldA7ZkXA9Nd+pQAzd+DjJK8F4b68cuNrlmS3W923D iVUqFfPXXqx03pNuUfJPp7XAZNGsGrfrMEQSSl0LI01ct7FM2YilJkUx fF+thg==
couldn't get address for 'ns1.dns.nic.club': failure
couldn't get address for 'ns2.dns.nic.club': failure
couldn't get address for 'ns3.dns.nic.club': failure
couldn't get address for 'ns4.dns.nic.club': failure
couldn't get address for 'ns6.dns.nic.club': failure
couldn't get address for 'ns5.dns.nic.club': failure
dig: couldn't get address for 'ns1.dns.nic.club': no more
einverne@sys ~ % dig techfm.club +trace @1.1.1.1

; <<>> DiG 9.16.1-Ubuntu <<>> techfm.club +trace @1.1.1.1
;; global options: +cmd
.                       511583  IN      NS      a.root-servers.net.
.                       511583  IN      NS      b.root-servers.net.
.                       511583  IN      NS      c.root-servers.net.
.                       511583  IN      NS      d.root-servers.net.
.                       511583  IN      NS      e.root-servers.net.
.                       511583  IN      NS      f.root-servers.net.
.                       511583  IN      NS      g.root-servers.net.
.                       511583  IN      NS      h.root-servers.net.
.                       511583  IN      NS      i.root-servers.net.
.                       511583  IN      NS      j.root-servers.net.
.                       511583  IN      NS      k.root-servers.net.
.                       511583  IN      NS      l.root-servers.net.
.                       511583  IN      NS      m.root-servers.net.
.                       511583  IN      RRSIG   NS 8 0 518400 20211020050000 20211007040000 14748 . Ivt+gf/MP9jMrhxG7kVEO6LfUeGvL6RaeaR4b19+hakqU2FplgG2DSMf ycLHYn2zaBPyyZysSh1AbgWO7L2nRZj5yMQB6A7IFR3ifp1ksCTDbtUf 4X0rzwzZcv2BVbJBsDAjVVdAFxVsnfX6siOx9JLxshe1/JECAaRoXo4X Fl5JTeEN+s+WBZdOShKmvkILGRt9UkMeFton3dIP47ZBvnlgmMGkv9Jw VZHQmzdufQSfta0HtjPwN+/mzlH6nnGs4beqlhsIAttzQALgzcspCjP+ NenqtiXTxg7jvtP8Dy/JkTYbecQX+mcL19ySGDoBkGov2RSfJURdXgrN PN7QZA==
;; Received 1097 bytes from 1.1.1.1#53(1.1.1.1) in 4 ms

club.                   172800  IN      NS      ns5.dns.nic.club.
club.                   172800  IN      NS      ns6.dns.nic.club.
club.                   172800  IN      NS      ns3.dns.nic.club.
club.                   172800  IN      NS      ns1.dns.nic.club.
club.                   172800  IN      NS      ns2.dns.nic.club.
club.                   172800  IN      NS      ns4.dns.nic.club.
club.                   86400   IN      DS      29815 8 2 3B67F899B57454E924DD1EFAE729B8741D61BA9BC8D76CD888919E5C 0950CA23
club.                   86400   IN      DS      29815 8 1 7F2B8E1D8B715BB382111A84F4552A599462017A
club.                   86400   IN      RRSIG   DS 8 1 86400 20211020050000 20211007040000 14748 . AQaz5Kne3pWNMUOyrCJ67y3q8mN0fe2cukuTY0oiyMJNi/OuL7eGxqiq 3RlfRL+Y9+50jOkEdw6170xKqeU/XAdyYRI9R6xQYTCZE2y+YSnHW81k PGrFVb4N8RfmD8/AX0RckRMzu4DqokMXnfYd2WFGqrNJtvWMGxDkdkxU PfJv0jHHBzV0s1YyS/UuFC9joaYGeZ8L81HVeQV0aZn7pz3+u794OQgf 0SpqbiiSuYJDGXvldA7ZkXA9Nd+pQAzd+DjJK8F4b68cuNrlmS3W923D iVUqFfPXXqx03pNuUfJPp7XAZNGsGrfrMEQSSl0LI01ct7FM2YilJkUx fF+thg==
couldn't get address for 'ns5.dns.nic.club': failure
couldn't get address for 'ns6.dns.nic.club': failure
couldn't get address for 'ns3.dns.nic.club': failure
couldn't get address for 'ns1.dns.nic.club': failure
couldn't get address for 'ns2.dns.nic.club': failure
couldn't get address for 'ns4.dns.nic.club': failure
dig: couldn't get address for 'ns5.dns.nic.club': no more

并且 club 默认的 6 台 NS 全部都返回 failure。而正常的域名会返回默认配置的 NS：

einverne@sys ~ % dig gtk.pw +trace @1.1.1.1

; <<>> DiG 9.16.1-Ubuntu <<>> gtk.pw +trace @1.1.1.1
;; global options: +cmd
.                       518159  IN      NS      a.root-servers.net.
.                       518159  IN      NS      b.root-servers.net.
.                       518159  IN      NS      c.root-servers.net.
.                       518159  IN      NS      d.root-servers.net.
.                       518159  IN      NS      e.root-servers.net.
.                       518159  IN      NS      f.root-servers.net.
.                       518159  IN      NS      g.root-servers.net.
.                       518159  IN      NS      h.root-servers.net.
.                       518159  IN      NS      i.root-servers.net.
.                       518159  IN      NS      j.root-servers.net.
.                       518159  IN      NS      k.root-servers.net.
.                       518159  IN      NS      l.root-servers.net.
.                       518159  IN      NS      m.root-servers.net.
.                       518159  IN      RRSIG   NS 8 0 518400 20211020050000 20211007040000 14748 . Ivt+gf/MP9jMrhxG7kVEO6LfUeGvL6RaeaR4b19+hakqU2FplgG2DSMf ycLHYn2zaBPyyZysSh1AbgWO7L2nRZj5yMQB6A7IFR3ifp1ksCTDbtUf 4X0rzwzZcv2BVbJBsDAjVVdAFxVsnfX6siOx9JLxshe1/JECAaRoXo4X Fl5JTeEN+s+WBZdOShKmvkILGRt9UkMeFton3dIP47ZBvnlgmMGkv9Jw VZHQmzdufQSfta0HtjPwN+/mzlH6nnGs4beqlhsIAttzQALgzcspCjP+ NenqtiXTxg7jvtP8Dy/JkTYbecQX+mcL19ySGDoBkGov2RSfJURdXgrN PN7QZA==
;; Received 1097 bytes from 1.1.1.1#53(1.1.1.1) in 0 ms

pw.                     172800  IN      NS      ns1.nic.pw.
pw.                     172800  IN      NS      ns6.nic.pw.
pw.                     172800  IN      NS      ns2.nic.pw.
pw.                     172800  IN      NS      ns5.nic.pw.
pw.                     86400   IN      DS      26645 7 2 7EF397EDF4D7CA228C0F5111F5E1696CDBF279C0B6AFA48FC7E71A12 E07E5880
pw.                     86400   IN      DS      26645 7 1 58EE332D303E2A64B7449C43AB770DAA1CA74C40
pw.                     86400   IN      RRSIG   DS 8 1 86400 20211020050000 20211007040000 14748 . ZKSbdDYOAuZYYX7LFUI6fZn6GtHJHrA04nENEPp6oGcGIh7IliGFyJai MkV6OfwYhyk6npWLaSNkYaU2Kv9mif6Bu1RBPbGbVaQphhFeqxmFRtf8 5B/Q+V6dYZJ8cnMZEMeuqlvfBzT6m+Dv6zsgvJ3dZ2Yly9ehkd9i2pXT F9Hv4mj+35B4r6H0/e1hlD8a0AmMITFPIAZ+ZQLkGaCf+d8jAP9oMIEG 2uezoE4PLybmCsovtT/zFcyrIXv0CLphN1Ky6yCkwu1nDMvWi3eoyunK ANPojlC6i3OCa7zmBuR+4qJWQeb9o5mqz+QXHkrPY/LEK8Vs9+t+xuzG ZzRc6Q==
;; Received 686 bytes from 192.5.5.241#53(f.root-servers.net) in 288 ms

gtk.pw.                 3600    IN      NS      vera.ns.cloudflare.com.
gtk.pw.                 3600    IN      NS      phil.ns.cloudflare.com.
5njihdv29htfqesp4s66h5ia7mau40g2.pw. 3600 IN NSEC3 1 1 1 - 5NJN8B0GFH3C6U7E54SIUSFMKRA3164C NS SOA RRSIG DNSKEY NSEC3PARAM
5njihdv29htfqesp4s66h5ia7mau40g2.pw. 3600 IN RRSIG NSEC3 7 2 3600 20211014233500 20210914093758 20159 pw. cGysLwA8FKKv9t+B0ywJA1yUNvytR6vINedx6Lz4ZPwsdBX0DTkn0OUM xR97Mxo58SoGCzTImM8JFsXJGid6j6txWh5KYN0NsmOd52sAOYXTz6uz m/fTDFMIXdLp8XJeRP8hGGAsdd7W7dhQTo8r4V1Rsc1JT3n33AEX7CAq Z5g=
vum0mlvs55o2lfpa00pfb93sl2dc98de.pw. 3600 IN NSEC3 1 1 1 - VUMSNHHGG0TDGRB3VN24B7GKEAA1IVGG TXT RRSIG
vum0mlvs55o2lfpa00pfb93sl2dc98de.pw. 3600 IN RRSIG NSEC3 7 2 3600 20211018221437 20210918161358 20159 pw. BPjMNyd1u4ci+m+FkCaVI+nW6gA+MPNPtNHdSJWwmCJN0GqYVgFNvj97 qTI1Jc/TiorDmURxE7zORU5IaI4K6XJG2ckpiq6xw+khy850dvAs2WVE ZI+uDc+nX4yFj7pvDJBiiNZR+Z9yAtDdvm1EomB0E91KBnGdZbBhYOsd qJk=
;; Received 601 bytes from 212.18.249.12#53(ns6.nic.pw) in 16 ms

gtk.pw.                 300     IN      A       104.21.51.157
gtk.pw.                 300     IN      A       172.67.182.127
;; Received 67 bytes from 2606:4700:50::adf5:3a93#53(vera.ns.cloudflare.com) in 0 ms

立马登录 Google Domains 查看 NS 设置，页面上还是 Cloudflare 提供的两个 NS 服务器地址，看着也没有问题，所以又联系了 Google Domains 的 Help，Google Domains 的帮助人员还是非常快的就能联系上，帮忙查询了一下 NS 设置，用 https://www.whatsmydns.net/#NS/ 查询了一下了全球的 NS，全部失败：

客服解释说需要时间等待配置传播生效，但问题在于我没有更改过任何配置。这个时候我就有看到相关的消息出来(source1, source2，source3)，这才发现不是我一个人的问题。无奈好像我也无法解决，只能等上游解决了。

终于从 10月7号下午 6:52 开始，到 9:23 分为止，宕机了近 3 小时。


2021-10-07 domain , name-server , google-domains , cloudflare , dns , network

Rime 输入法中的快捷键

今天在整理 Rime 插件使用的时候，想起来整理一下 Rime 输入法的快捷键。

在之前整理 Rime 基础配置 的时候稍微带到一下。

通过配合这些快捷键可以在输入很长一段句子的时候提升体验。

  • ctrl+grave (grave) tab 键上面，1 左边的那个键用来切换 Rime 输入方案
  • shift+delete 删除选中的候选词，一般用来调整不希望在候选词前的词
  • ctrl+ n/p 上下翻页选择候选词
  • Ctrl+b/f 类似于左箭头，右箭头，可以快速调整输入，在输入很长一段后调整之前的输入时非常有效
  • Ctrl+a/e 贯标快速跳转到句首或者句末
  • Ctrl+d 删除光标后内容
  • Ctrl+h 回退，删除光标前内容
  • Ctrl+g 清空输入
  • Ctrl+k 删词，等效于 Shift + delete（macOS 上可以使用 ⌘+k）
  • -/+ 或者 tab 来翻页

更多的快捷键可以在 default.yaml 配置中看到。

key_binder:
  bindings:
    - {accept: "Control+p", send: Up, when: composing}
    - {accept: "Control+n", send: Down, when: composing}
    - {accept: "Control+b", send: Left, when: composing}
    - {accept: "Control+f", send: Right, when: composing}
    - {accept: "Control+a", send: Home, when: composing}
    - {accept: "Control+e", send: End, when: composing}
    - {accept: "Control+d", send: Delete, when: composing}
    - {accept: "Control+k", send: "Shift+Delete", when: composing}
    - {accept: "Control+h", send: BackSpace, when: composing}
    - {accept: "Control+g", send: Escape, when: composing}
    - {accept: "Control+bracketleft", send: Escape, when: composing}
    - {accept: "Alt+v", send: Page_Up, when: composing}
    - {accept: "Control+v", send: Page_Down, when: composing}
    - {accept: ISO_Left_Tab, send: Page_Up, when: composing}
    - {accept: "Shift+Tab", send: Page_Up, when: composing}
    - {accept: Tab, send: Page_Down, when: composing}
    - {accept: minus, send: Page_Up, when: has_menu}
    - {accept: equal, send: Page_Down, when: has_menu}
    - {accept: comma, send: Page_Up, when: paging}
    - {accept: period, send: Page_Down, when: has_menu}
    - {accept: "Control+Shift+1", select: .next, when: always}
    - {accept: "Control+Shift+2", toggle: ascii_mode, when: always}
    - {accept: "Control+Shift+3", toggle: full_shape, when: always}
    - {accept: "Control+Shift+4", toggle: simplification, when: always}
    - {accept: "Control+Shift+5", toggle: extended_charset, when: always}
    - {accept: "Control+Shift+exclam", select: .next, when: always}
    - {accept: "Control+Shift+at", toggle: ascii_mode, when: always}
    - {accept: "Control+Shift+numbersign", toggle: full_shape, when: always}
    - {accept: "Control+Shift+dollar", toggle: simplification, when: always}
    - {accept: "Control+Shift+percent", toggle: extended_charset, when: always}
    - {accept: "Shift+space", toggle: full_shape, when: always}
    - {accept: "Control+period", toggle: ascii_punct, when: always}

自定义快捷键

在上面的配置中可以看到 Rime 默认就定义了非常多的快捷键绑定，并且这些快捷键都可以通过配置改变。

这里做一个例子，比如平时用 Vim 较多，想要更换成更加舒服的 Vim 绑定，可以在 Rime 配置根目录中 vi default.custom.yaml 中配置：

# default.custom.yaml
patch:
	# 其他配置...
	key_binder:
		bindings:
      	- { when: has_menu, accept: "Control+k", send: Page_Up }
      	- { when: has_menu, accept: "Control+j", send: Page_Down }
      	- { when: has_menu, accept: "Control+h", send: Left }
      	- { when: has_menu, accept: "Control+l", send: Right }

这样就可以使用 Ctrl+j/k 来上下翻页，而使用 Ctrl+h/l 来左右切换候选词。不过我个人还是还是习惯默认设置的快捷键。

配置说明

在上面的例子中可以看到 bindings 配置中有三个配置选项。每一条 binding 下面可以包含：

  • accept，实际接受的按键
  • send，输出效果
  • toggle，切换开关
  • when，作用范围

toggle 的候选项有：

ascii_mode
ascii_punct
full_shape 全角字符
simplification 繁简
extended_charset

when 可以接受的选项有：

paging	翻页
has_menu	操作候选项用
composing	操作输入码用
always	全域

accept 和 send 可用字段除A-Za-z0-9外，还可以包含键盘上实际的所有按键：

BackSpace	退格
Tab	水平定位符
Linefeed	换行
Clear	清除
Return	回車
Pause	暫停
Sys_Req	印屏
Escape	退出
Delete	刪除
Home	原位
Left	左箭頭
Up	上箭頭
Right	右箭頭
Down	下箭頭
Prior、Page_Up	上翻
Next、Page_Down	下翻
End	末位
Begin	始位
Shift_L	左Shift
Shift_R	右Shift
Control_L	左Ctrl
Control_R	右Ctrl
Meta_L	左Meta
Meta_R	右Meta
Alt_L	左Alt
Alt_R	右Alt
Super_L	左Super
Super_R	右Super
Hyper_L	左Hyper
Hyper_R	右Hyper
Caps_Lock	大寫鎖
Shift_Lock	上檔鎖
Scroll_Lock	滾動鎖
Num_Lock	小鍵板鎖
Select	選定
Print	列印
Execute	執行
Insert	插入
Undo	還原
Redo	重做
Menu	菜單
Find	蒐尋
Cancel	取消
Help	幫助
Break	中斷
space
exclam	!
quotedbl	"
numbersign	#
dollar	$
percent	%
ampersand	&
apostrophe	'
parenleft	(
parenright	)
asterisk	*
plus	+
comma	,
minus	-
period	.
slash	/
colon	:
semicolon	;
less	<
equal	=
greater	>
question	?
at	@
bracketleft	[
backslash	
bracketright	]
asciicircum	^
underscore	_
grave	`
braceleft	{
bar	|
braceright	}
asciitilde	~
KP_Space	小鍵板空格
KP_Tab	小鍵板水平定位符
KP_Enter	小鍵板回車
KP_Delete	小鍵板刪除
KP_Home	小鍵板原位
KP_Left	小鍵板左箭頭
KP_Up	小鍵板上箭頭
KP_Right	小鍵板右箭頭
KP_Down	小鍵板下箭頭
KP_Prior、KP_Page_Up	小鍵板上翻
KP_Next、KP_Page_Down	小鍵板下翻
KP_End	小鍵板末位
KP_Begin	小鍵板始位
KP_Insert	小鍵板插入
KP_Equal	小鍵板等於
KP_Multiply	小鍵板乘號
KP_Add	小鍵板加號
KP_Subtract	小鍵板減號
KP_Divide	小鍵板除號
KP_Decimal	小鍵板小數點
KP_0	小鍵板0
KP_1	小鍵板1
KP_2	小鍵板2
KP_3	小鍵板3
KP_4	小鍵板4
KP_5	小鍵板5
KP_6	小鍵板6
KP_7	小鍵板7
KP_8	小鍵板8
KP_9	小鍵板9

通过上面的组合就可以实现非常多自定义的功能，比如有人喜欢将 ; 绑定到第二个候选词：

{ when: has_menu, accept: ";", send: 2 }

这样当候选词出现在第二位时，直接按下 ; 就可以输入。

reference


2021-10-01 rime , shortcut , keybinding

用 Gatsby 写了一个券商推荐注册列表

放假在家，刚好刷 Twitter 的时候看到有人写了一个券商注册的页面，一个简单的列表，挂上了目前常用的美港股做新人推荐，顺便就看了一下源码，发现使用 [[Gatsby]] 和 [[TailwindCSS]] 写的，于是就抱着学习的态度，上手了一下 Gatsby，简单的了解了一下 Gatsby 也是一个静态网页生成器，用来 React 和 [[GraphQL]]。而 [[TailwindCSS]] 是一个 CSS 框架，通过简单的 class 就能实现不错的界面效果。

从了解一个新的技术，到上手的过程就不多说了，官网的新手教程非常详细。这里就想记录一下中间遇到的一些问题，以及解决的过程。以及结合之前看过的 [[费曼学习法]] 聊一聊学习的过程。

费曼学习法

首先先说一下什么叫做费曼学习法，如果用简单的话来说就是将复杂的知识简单化，用最通俗的语言去解释。

费曼学习法的具体内容很细致，但如果将学习划分几个步骤来的话，可以简化成这样几部：

  • 确定学习目标
  • 理解学习对象
  • 以输出代替输入
  • 回顾
  • 简化学习内容，再吸收

套用我了解学习 Gatsby 的过程，首先我的目标非常明确，就是制作一个简单的页面可以展示列表。

理解学习对象，在我看来就是通过查看其官网，文档，以及简单的 Wiki 了解 Gatsby 是什么，可以做什么。我这里要了解的内容有两部分，一个便是静态网站生成器 Gatsby，另一个是 CSS 框架 [[TailwindCSS]]。

静态网站生成器和 CSS 框架两个概念都不是很陌生，类似的技术也都非常多，当前的这个博客就是 Ruby 下的 Jekyll 生成的静态页面，而这个博客用的就是 Bootstrap CSS 框架。所以使用类比就能大致的对其有一定的了解。

第三步，用输出代替输入，这就是实践的部分。当然也是个人认为最重要的一步，再以前我往往就是忽视了这一步。所以直接根据官网的教程，先实现一遍新手任务，然后根据我的需要，先从官网初始化了一个最基本的项目，然后在本地跑起来，引入 Tailwind CSS，然后尝试对页面进行修改，先构建了一个基本的样式，将图中的一个样式实现，研究如何获取数据，如何实现循环。

最后定下的方案就是通过 YAML 文件 ，将页面中需要显示的内容配置在其中，因为 Gatsby 通过插件的方式可以非常方便的引入不同类型的数据源，所以看一下插件的介绍。在实践中花了最多时间的就是将图片动态的显示出来，直接使用 StaticImage 只能将固定的图片显示出来。所以继续阅读官网的文档。以 image 为关键字把所有搜出来的结果都看了，还是一头雾水，并且昨天状态也不太好就直接先睡了。今天起来从原理上简单的了解了一下 Gatsby 的插件，然后逐渐就有了一个思路。

在 Gatsby 中有三类插件：

  • 数据源插件，一般名字中会带 source，数据源插件负责从外部数据获取，然后将数据放在数据层中，方便应用通过 GraphQL 来获取使用
  • 数据转化插件, 名字中带 transformer，转换特定的格式，比如将 markdown 文件内容转换为对象
  • 功能插件，一般就叫做某某 plugin

我已经通过 gatsby-transformer-yaml 将 YAML 文件内容可以在界面中读取，剩下的就是将 YAML 配置中配置的文件路径在界面中展示出来，Gatsby 这一块做过一些 API 的调整，需要通过 GraphQL 查询出来之后再使用 GatsbyImage 来展示。

整个上面的过程完成之后就大致做了一个类似的列表页。

回到费曼学习法的第四步，回顾，这一步也是正是我当前正在做的事情。

第五步，简化学到的内容，如果让我现在再去回忆我学到了什么，我脑海里首先会蹦出几个关键字，不是 Gatsby，也不是 [[TailwindCSS]]，而是 React，GraphQL，基础的 CSS 长宽模型。我之前没有接触过 React，但是在使用的过程中大概的了解了其模块化的设计，并且界面和数据分离，通过 GraphQL 做数据绑定和交互整个这个过程就形成了 Gatsby 这个技术。而在使用 Tailwind CSS 的过程中最费我时间的就是调整页面中元素的位置。如果之前学习基础 CSS 的时候能够对 margin，padding 有更多的了解就好了。

什么是好的学习

在费曼学习法这本书中对学习的解释，让我对[[教育]]有了更加深刻的理解。上周末在吃饭的时候，朋友顺口聊起了什么是你认为的「好的教育」，在去探讨什么是「好的教育」之前，什么是学习，在过去的时间里，我常常认为记得比别人多，学的比人快就是好的学习。但学习，不是去比拼知识的储备，也不是去竞争学位的高低，而是思维方式的培养。学习不是为了记住什么，而是通过学习建立自己行之有效的思维方式，然后将知识应用到实际生活中去解决问题。那么回到我认为的「好的教育」，学习如果是主动发起的，那么往往会收获不错的结果。那么好的教育就是要让人激发出学习的兴趣。

在没有了解 Gatsby 之前我对静态网站的印象就停留在了 markdown 文件的渲染，但是我在了解的过程中发现 Gatsby 使用了一套不一样的实现思路，通过 GraphQL 的帮助，Gatsby 让 markdown 成为了其可以选择的一个数据源，只要做一层数据转换，那么其内容可以从任何的数据源中获取，比如从 WordPress 的数据库，从其他任何 CMS 的数据源。这样就使得 Gatsby 拥有了其他静态网站不一样的能力。

最后

代码在 https://github.com/einverne/broker 界面在 https://broker.einverne.info。


2021-10-01 broker , invest , static-site , gatsby , react , graphql

推荐几个 Rime 插件

切换到 Rime 输入法也好多年了，陆陆续续积累了不少的配置和词库，不过最近看到有朋友在 GitHub 上 star 了一个 Rime 的配置，点进去了一下，让我眼前一亮的是 Rime 通过插件的方式实现了一些非常不错的特性，虽然之前也陆陆续续的配置过 lua 扩展，但是这次看到还能让 Rime 加载预先训练的统计语言模型，所以就再次激起了我的兴趣。

之前的几篇文章，如果感兴趣也可以去看看：

接下来就整理一下目前我用到的三个 Rime 插件。

librime-lua

librime-lua 是我发现的第一个插件，之前看到有人提的一个 Feature Request 说到，能不能通过输入 date 或 「rq」这样的短语自动在候选词中出现当前的日期，后来发现果然可以。librime-lua 就是用来实现这样的功能的。

librime-lua 通过 Lua 扩展了 Rime 的能力，使得用户可以编写一定的 Lua 脚本来更改 Rime 候选词的结果。最常见的使用方式，比如当输入 date 的时候，在候选词中直接显示出当前的日期。

插件地址：https://github.com/hchunhui/librime-lua

安装 librime-octagram 插件

librime-octagram 可以让 Rime 使用训练好的统计语言模型。

插件地址： https://github.com/lotem/librime-octagram

安装过程也比较简单，把插件以及模型放到 Rime 的配置文件夹中，然后在输入法配置方案，比如小鹤双拼 double_pinyin_flypy.custom.yaml 中加入：

patch:
  __include: grammar:/hant

如果之前有别的 patch，直接加入 __include 那一行即可。然后重新部署 Rime 输入法。

可以通过如下的方式验证是否安装成功，直接一次性输入下面的句子：

  • 各個國家有各個國家的國歌
  • 充滿希望的跋涉比到達目的地更能給人樂趣

BlindingDark/rime-lua-select-character

这一个以词定字的插件是在这一次再学习的过程中发现的，在某些特定的时候，往往是通过组词去输入某个单字的，因为汉语中同音字还是很多的，如果只用拼音输入一个字的话可能会需要翻页很多次才能找到对的那个字，但是如果这个字出现在词语里面可能可以一次性命中，这个插件就是为了解决这个问题的。

以词定字插件可以让你在输入一个词组后，选取这个词组的开头或结尾的一个字直接上屏，比如想要打“嫉”这个字，可以先打“嫉妒”再按 [ 键选择第一个字，如果要输入词语的第二个字，可以在词语出现之后按下 ]。

插件地址：https://github.com/BlindingDark/rime-lua-select-character

在这个模式下，当候选词出现在第二个的时候，我就使用 Tab 来将候选词位置挪到第二位，然后使用 [ 或 ] 选择。不过默认情况下 Tab 绑定的快捷键是翻页：

        - {accept: Tab, send: Page_Down, when: composing}

所以需要在 default.custom.yaml 中做一下调整：

patch:
  key_binder:
    bindings:
      - {accept: "Control+p", send: Up, when: composing}
      - {accept: "Control+n", send: Down, when: composing}
      - {accept: "Control+b", send: Left, when: composing}
      - {accept: "Control+f", send: Right, when: composing}
      - {accept: "Control+a", send: Home, when: composing}
      - {accept: "Control+e", send: End, when: composing}
      - {accept: "Control+d", send: Delete, when: composing}
      - {accept: "Control+k", send: "Shift+Delete", when: composing}
      - {accept: "Control+h", send: BackSpace, when: composing}
      - {accept: "Control+g", send: Escape, when: composing}
      - {accept: "Control+bracketleft", send: Escape, when: composing}
      - {accept: "Alt+v", send: Page_Up, when: composing}
      - {accept: "Control+v", send: Page_Down, when: composing}
      - {accept: ISO_Left_Tab, send: Page_Up, when: composing}
      - {accept: "Shift+Tab", send: Page_Up, when: composing}
      - {accept: Tab, send: Page_Down, when: composing}
      - {accept: Tab, send: Right, when: has_menu}
      - {accept: minus, send: Page_Up, when: has_menu}
      - {accept: equal, send: Page_Down, when: has_menu}
      - {accept: comma, send: Page_Up, when: paging}
      - {accept: period, send: Page_Down, when: has_menu}
      - {accept: "Control+Shift+1", select: .next, when: always}
      - {accept: "Control+Shift+2", toggle: ascii_mode, when: always}
      - {accept: "Control+Shift+4", toggle: simplification, when: always}
      - {accept: "Control+Shift+5", toggle: extended_charset, when: always}
      - {accept: "Control+Shift+exclam", select: .next, when: always}
      - {accept: "Control+Shift+at", toggle: ascii_mode, when: always}
      - {accept: "Control+Shift+numbersign", toggle: full_shape, when: always}
      - {accept: "Control+Shift+dollar", toggle: simplification, when: always}
      - {accept: "Control+Shift+percent", toggle: extended_charset, when: always}
      - {accept: "Control+period", toggle: ascii_punct, when: always}

注意其中的

      - {accept: Tab, send: Right, when: has_menu}

这样就可以使用 Tab 来切换候选词了。更多的快捷键自定义可以查看这篇文章。

总结

使用这些插件请保证：

  • 鼠须管在 0.12.0 及以上版本
  • Linux 需根据需要自行编译安装 librime
  • Windows 没有在用，管不了了

2021-09-30 rime , librime , librime-lua , input-method , squirrel , macos

rTorrent 和 ruTorrent 中自动下载 RSS Feed

自从在 QNAP 上遇到 ruTorrent 之后就发现这是我用过的最好用的 BitTorrent 客户端了，rTorrent 结合 ruTorrent 界面

可以参考我的 docker-compose.yml 进行安装。然后照之前的文章 启用 MaterialDesign，界面就非常漂亮。

rutorrent-20210910210121.png

RSS

首先 RSS 就不用多说了，在互联网早期就存在的一个分享格式，可以用于内容的聚合，虽然 Google Reader 关闭多年，但我个人依然还在重度的使用，从 InoReader 到自建 Tiny Tiny RSS 然后最终心属最简洁的 miniflux 可以说过去的 10 年里面一直都在使用 RSS。

这也使得在 Private Tracker 中使用 RSS 变得非常的容易，大部分的站点都是提供个人的 RSS feed 流的，我使用的 AvistaZ, PrivateHD，都是可以通过关键字订阅来生成自定义的 Feed 流的。

那就以 wishlist feed 流做一个例子，到对应的网站管理后台获取个人的 wishlist RSS feed, 一般是一个链接，当中包含了该 Feed 流的内容，比如说我的 Wishlist 就包含了我在网站中收藏的内容，这样只要我在浏览网站的时候将影片添加到 Wishlist，那么 Feed 中会自动添加该影片。

一般在界面中找这样的图标即可。

添加 RSS 链接到 ruTorrent

右击 ruTorrent 中的 Feeds 板块：

然后点击添加 RSS Feed，输入框中填入 Feed URL，以及 Custom Alias。

![[rutorrent-add-rss-feed-20210910211430.png]]

那新添加的 Feed 会自动出现在 Feeds 板块。在 Feed 板块中可以点击查看到 Feed 中的内容。但是这个时候 Feed 中的内容不会自动下载。如果需要配置自动下载需要使用下面的 RSS Manager（或者也被称为 Download Manager）。

配置 RSS Manager

然后右击 Feeds，打开 RSS Manager

这个界面中有一些内容需要配置，可以新建一个 Filter，点击左边的 ADD

右边的配置分别是：

  • Filter, 过滤器，可以使用正则表达式来过滤 Feed 中需要下载的内容，使用 /^/ 就表示下载所有。
  • Exclude，排除，包含那些关键字的内容不会下载，也可以使用正则。
  • Check title field，上面配置的正则表达式，是否检查标题
  • Check description field，检查描述
  • Check link field，检查链接
  • RSS，选项选择刚刚添加的 RSS URL
  • Directory，下载目录
  • Label，自动添加设置的 Label
  • Min interval，最小间隔
  • RatioGroup, 分享率设置
  • Channel，通道

点击保存，过一会儿就能看到 RSS 中的种子自动开始下载了。

不过这里需要特别注意，千万不要把一个全站的 RSS Feed 添加到自动下载，并配置下载全部，除非你知道这样做的意义。

另外如果要更加详细的设置 RSS 的刷新频率，则需要修改 rTorrent 的配置，如果有需要再更新吧。

另外如果使用的是类似于 Transmission 这样的客户端，并没有自带 RSS 管理，那也可以使用 Flexget 来间接实现 RSS 自动下载。配合 crontab，也可以实现相同的效果。


2021-09-10 rtorrent , rutorrent , linux , docker , rss , feed , private-tracker , torrent , bt

使用 Archive Box 制作自己的互联网存档

在很多年前，我经常听到一句话—-互联网是有记忆的—-当然这么多年过去了，见过了无数的网站关停，也见到了中文互联网上无处不在的删贴，而常常上一秒才看过的内容之后便再也找不到。我的 WizNote 笔记中曾经摘录的豆瓣书评、影评，当我想再去看一下作者的状态的时候，大多评论已经找不到了。有的时候拿着网页 URL，还能从 Internet Archive 找到有幸被保存下来的珍贵文字，但那些还没有被爬虫，或Google索引的文章就这样从互联网上消失了。而这些被删除的内容里面有一些内容却值得被记住，那些发人深省的话值得被再一次阅读。

而这两天正好买了hosthatch 2核8G的VPS，在调查可以部署哪些服务的时候看到了 Archive Box。这是一个可供个人搭建的互联网存档，它可以用来记录网页链接、媒体资源等等，只需要提供一个链接便可以得到截图，PDF，影评，视频等等内容。完全可以还原当时的网页情况。

Docker install

Archive Box 使用 Python 编写，所以可以直接用 pip 安装，不过个人还是推荐用官方提供的镜像 Docker 安装。

使用 Docker compose 来安装，可以参考我的配置 或直接参考官方的文档。

添加存档

在网页中添加

Archive Box 在启动之后会提供一个 HTTP 服务，我配置了一个域名 https://box.einverne.info 在界面上使用 + 号即可添加。

在手机上快速添加网址

虽然官方已经提供了非常多的添加方式，包括命令行，网页，桌面版，甚至 Python API，但是目前 RESTful 的接口暂时还是 alpha 阶段，所以在手机上目前也只能用网页版来保存。

如果有发现更好的方法欢迎告知。

查看存档

我使用 Docker 安装，将其数据映射到了 ${DATA_PATH} 目录中，然后使用 Syncthing 同步了，这样在这个目录中直接访问 index.html 即可在本地打开备份的网页。

延伸阅读

  • Hunchly，这是一款可以自动记录访问过的所有网页的工具，非常强大但是需要付费。

2021-08-27 archive , web-archive , archive-box , docker , linux , notes

HostHatch VPS 测评及使用

两个礼拜前买过一个月 A400 互联 的 VPS，但是因为其提供商不是非常靠谱，所以尽管在使用，但还只是用作流量转发，并没有把重要的数据放在上面。这两天在 LowEndTalk 上正好看到 HostHatch 扩展新加坡业务，发布新机器 2核4G 1T流量的机器只需要 35$ 一年，而且两年付还可以得到两倍的内存，空间和流量，所以就立即下了一单。

2 CPU cores (50% dedicated, burstable up to 200%)
4 GB RAM
20 GB NVMe SSD
1 TB bandwidth
$35 per year
Pay for two years - get doubled RAM, storage, and bandwidth

中间还发生了一点小小问题，因为付款的 Paypal 很久没有使用，付款之后 HostHatch 没有处理，开了 Ticket 之后回复说因为 Paypal on-hold 了这笔订单需要等待 24 小时，等 Paypal 处理之后 HostHatch 才会开始处理。所以等待的期间我又用信用卡下了一单，然后过了一天，我突然发现账号下面有两台机器。不过也好，两台机器做个主备。

机器性能

bench 的结果：

----------------------------------------------------------------------
 CPU Model             : Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz
 CPU Cores             : 2
 CPU Frequency         : 3000.000 MHz
 CPU Cache             : 16384 KB
 Total Disk            : 39.0 GB (18.0 GB Used)
 Total Mem             : 7976 MB (2120 MB Used)
 Total Swap            : 1023 MB (5 MB Used)
 System uptime         : 24 days, 17 hour 59 min
 Load average          : 0.21, 0.12, 0.10
 OS                    : Ubuntu 18.04.5 LTS
 Arch                  : x86_64 (64 Bit)
 Kernel                : 4.15.0-20-generic
 TCP CC                : cubic
 Virtualization        : Dedicated
 Organization          : AS63473 HostHatch, LLC
 Location              : Singapore / SG
 Region                : Singapore
----------------------------------------------------------------------
 I/O Speed(1st run)    : 495 MB/s
 I/O Speed(2nd run)    : 731 MB/s
 I/O Speed(3rd run)    : 715 MB/s
 Average I/O speed     : 647.0 MB/s
----------------------------------------------------------------------
 Node Name        Upload Speed      Download Speed      Latency     
 Speedtest.net    3295.69 Mbps      2583.03 Mbps        0.65 ms     
 Shanghai   CU    219.87 Mbps       629.33 Mbps         214.01 ms   
 Guangzhou  CT    18.45 Mbps        113.17 Mbps         229.08 ms   
 Guangzhou  CU    424.10 Mbps       587.32 Mbps         203.09 ms   
 Hongkong   CN    2560.67 Mbps      1094.98 Mbps        33.92 ms    
 Tokyo      JP    294.63 Mbps       614.84 Mbps         74.30 ms    
----------------------------------------------------------------------

YABS 的结果：

# ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## #
#              Yet-Another-Bench-Script              #
#                     v2021-06-05                    #
# https://github.com/masonr/yet-another-bench-script #
# ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## #

Wed Aug 25 00:46:05 BST 2021

Basic System Information:
---------------------------------
Processor  : Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz
CPU cores  : 2 @ 2999.998 MHz
AES-NI     : ✔ Enabled
VM-x/AMD-V : ❌ Disabled
RAM        : 3.9 GiB
Swap       : 1024.0 MiB
Disk       : 18.7 GiB

fio Disk Speed Tests (Mixed R/W 50/50):
---------------------------------
Block Size | 4k            (IOPS) | 64k           (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 237.97 MB/s  (59.4k) | 1.78 GB/s    (27.9k)
Write      | 238.59 MB/s  (59.6k) | 1.79 GB/s    (28.0k)
Total      | 476.57 MB/s (119.1k) | 3.58 GB/s    (55.9k)
           |                      |
Block Size | 512k          (IOPS) | 1m            (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 2.85 GB/s     (5.5k) | 2.87 GB/s     (2.8k)
Write      | 3.00 GB/s     (5.8k) | 3.07 GB/s     (2.9k)
Total      | 5.85 GB/s    (11.4k) | 5.94 GB/s     (5.8k)

iperf3 Network Speed Tests (IPv4):
---------------------------------
Provider        | Location (Link)           | Send Speed      | Recv Speed
                |                           |                 |
Clouvider       | London, UK (10G)          | 1.11 Gbits/sec  | 412 Mbits/sec
Online.net      | Paris, FR (10G)           | 1.37 Gbits/sec  | 993 Mbits/sec
WorldStream     | The Netherlands (10G)     | 788 Mbits/sec   | 638 Mbits/sec
Biznet          | Jakarta, Indonesia (1G)   | 3.41 Gbits/sec  | 2.55 Gbits/sec
Clouvider       | NYC, NY, US (10G)         | 628 Mbits/sec   | 562 Mbits/sec
Velocity Online | Tallahassee, FL, US (10G) | 476 Mbits/sec   | 238 Mbits/sec
Clouvider       | Los Angeles, CA, US (10G) | 930 Mbits/sec   | 908 Mbits/sec
Iveloz Telecom  | Sao Paulo, BR (2G)        | busy            | 348 Mbits/sec

Geekbench 5 Benchmark Test:
---------------------------------
Test            | Value
                |
Single Core     | 593
Multi Core      | 1191
Full Test       | https://browser.geekbench.com/v5/cpu/9485985

使用

数据库

因为看 LET 上对 HostHatch 的评价还好，并且这是一家长期做生意的提供商，所以我就陆陆续续把其他平台上的 MySQL 数据迁移过来了，并且正好两台机器配置了一下Master Master Replication。

应用

和之前在 A400 的机器一样，用 Docker 来管理各个服务。基本上也是同步一下数据，更改一下配置就可以起来。

reference

  • [[HostHatch]]

2021-08-24 vps , linux , hosthatch , management , ubuntu

限制 Docker 容器日志的大小

今天回到家突然发现刚买的一台 VPS 根目录空间 100% 被占用了，使用 du 一层层查看占用最后发现是 /var/lib/docker/containers 下有一个 json 日志文件占用了 20G 大小。

简单的查了一下发现 Docker 容器的日志都会被记录在宿主机的 /var/lib/docker/containers/ 路径下。而我有一个容器因为不停地输出日志，没多久就占了很大空间。

Docker 容器日志

在默认情况下 Docker 容器的日志会输出到一个 json-file 文件中，容器输出到 stdout 和 stderr 的内容加上时间戳会被记录到宿主机。

这些日志文件在宿主机的 /var/lib/docker/containers/ 文件夹下，以这样的形式命名：

/var/lib/docker/containers/<container id>/<container id>-json.log

限制 Docker 容器日志大小

修改 Docker 配置 vi /etc/docker/daemon.json

{
  "log-driver": "json-file",
  "log-opts": {"max-size": "10m", "max-file": "3"}
}

或者针对个别容器设置，在 docker-compose.yml 中：

注意需要版本2及以上

version: '2'
services:
  app:
    container_name: app
    image: node
    restart: always
    logging:
      driver: "json-file"
      options:
       max-file: "5"     // number of files or file count
       max-size: "10m"  // file size

或者命令行：

docker run --log-opt max-size=10m --log-opt max-file=5 my-app:latest

Docker 日志策略和最佳实践

通过应用自己管理日志

应用自己去管理自己的日志，比如使用 Logging Framework，在 Java 中通常使用 log4j 将日志打印到一个远端的中心化地方，这样就可以绕过 Docker 和操作系统。这种方式给予了开发者更多的控制权。

为了保存日志数据，你可以配置一个持久化的存储或将日志转发到一个远程日志的系统，比如 Elastic Stack 或 Sematext Cloud，但是基于应用的日志框架存在的问题便是如果部署了多个容器，那么你需要一个方式来告诉日志系统，哪些日志属于哪个容器。

通过 Data Volumes 记录日志

你可以在容器内部创建一个目录，然后将该目录挂载到宿主机上，那么一些长期或共享使用的数据可以长久的存储。你可以复制，备份，或者从其他容器访问这些数据。也可以在多个容器之间共享这些 volume。

但是使用 Data Volume 存在的问题是，很难将这些容器迁移到其他宿主机而不丢失数据。

通过 Docker Logging Driver 记录日志

在 Docker 下，另外一个记录日志的方式是使用 logging drivers。不像 Data Volumes, Docker logging driver 会从容器的 stdout 和 stderr 输出中直接读取数据。默认的配置会将这些日志记录到宿主机的一个文件中，但是改变 logging driver 可以允许你将事件转发给 syslog, gelf, journald 或其他 endpoints。

因为容器不再需要读写日志文件，可以提升一定的性能。但是也有一些弊端，Docker log 命令只能在 json-file log driver 下使用；log diver 有一些功能限制，日志文件只能被传输而不能被解析；当 TCP 服务不可达时，容器会 shut down。

使用专用的日志容器记录日志

另一个解决方案是通过一个专用的、独立的日志容器来记录和手机日志，这非常适用于微服务架构。这个优势在于这完全不依赖与宿主机。相反，专用的日志容器可以允许你在 Docker 的环境中管理日志文件。他会自动从其他容器收集日志，监控，分析，并且将他们转存到一个中心存储上。

这种方式使得我们可以轻易地将容器在不同的宿主机中移动，并且可以非常轻松的扩展日志基础设施，只需要增加日志容器即可。

Logging Using the Sidecar Approach

和专用的日志容器类似，使用日志容器，但是不同点在于，每一个应用容器都有专用的日志容器，允许你对每一个应用的日志进行自定义。第一个容器会将日志文件打印到 volume，然后日志文件会日志容器打上标签，然后再被传送到日志管理系统。

使用 sidecar 的一个主要的优势是，你可以为每一个 log 增加额外自定义的标签，可以更好地确定其来源。

同样也有一些劣势，设置或扩容可能会变得非常复杂和困难，并且需要更多的资源。你需要确保应用容器和 sidecar 容器是一起进行工作的，否则可能会造成数据丢失。

复习一下日志相关命令：

  • docker logs containerName
  • docker logs -f containerName
  • 显示 CPU 和内存使用 docker stats
  • 显示具体容器的 CPU 和内存使用 docker stats containerName1 Name2
  • 显示容器中运行的进程 docker top containerName
  • Docker events: docker events
  • 显示存储使用：docker system df

Logging Driver

Logging driver 是 Docker 用来才运行的容器和服务中收集数据的机制，这使得数据更容易进行分析。当一个新的容器被创建，Docker 会自动使用 json-file log driver 作为默认。同时，你可以使用 logging driver plugins 来和其他日志工具进行交互。

下面是一个通过自定义 logging driver 来和 syslog 交互的例子：

docker run -–log-driver syslog –-log-opt syslog-address=udp://syslog-server:514  alpine echo hello world

如何配置 Docker Logging Driver

有两个选项：

  • 为所有的容器设置默认的 logging driver
  • 为每一个容器设置 logging driver

上面提过，默认的 logging driver 是 JSON 文件，其他选项有 logagent, syslog, fluentd, journald, splunk 等等。你可以通过修改 Docker configuration 文件 来进行配置：

# /etc/docker/daemon.json
{
  "log-driver": "journald"
}

然后再执行：

systemctl restart docker

使之生效。

或者，你可以通过命令来为每一个容器单独设置

docker run --log-driver syslog --log-opt syslog-address=udp://syslog-server:514 alpine echo hello word

Logging Driver 选项

选项解释：

  • logagent：这是一个通用的 log shipper，Logagent Docker image 是一个提前配置好 Log 收集的镜像，Logagent 不仅会收集日志，还会收集诸如镜像名字，容器ID，容器名字，Swarm service 等 meta-data 或 Kubernetes meta-data。并且它可以处理多行日志，可以解析容器的日志等等
  • syslog: 将日志转发到 syslog 服务
  • journald:将容器日志发送到 systemd journal
  • fluentd: 将日志信息发送到 Fluentd 收集器
  • elf：将容器的日志写到 Graylog Extended Log Format(GELF) 端，比如 GrayLog 或 Logstash
  • awslogs：将日志发送到 AWS CloudWatch Logs
  • splunk：通过 HTTP Event Collector（HEC）将日志写到 Splunk
  • cplogs：将日志发送到 Google Cloud Platform（GCP）Logging
  • logentries: 将日志写到 Rapid7 Logentries
  • etwlogs: 将日志写到 Event Tracing for Windows（ETW）

reference


2021-08-20 docker , log , log-framework , vps , linux , du , file-size

电子书

文章分类

最近文章

  • So you Start 独服 Proxmox VE 虚拟机配置 Failover IP 最近买了一台 [[so-you-start So you Start]] 的独立服务器，开始的时候安装了 Ubuntu 没有充分利用独立服务器的优势，所以这两天把系统重新安装成了 Proxmox VE，然后在上面又安装了 Ubuntu 20.04，So you Start 提供了额外可以购买的 16 个 [[Failover IPs]]，Failover IP 本来是为了可以将服务器迁移到另外的服务器而提供的机制，但在 Proxmox VE 虚拟化技术系统下，可以给虚拟机也分配不同的 IP，这样就实现了从一台服务器虚拟化多个 VPS 的操作。
  • 使用 Remark42 替换博客的 Disqus 评论系统 前两天用隐身窗口打开自己的博客的时候突然发现 Disqus 评论框上一大片广告，没想到现在 Disqus 已经这样了，并且之前还暴露出过隐私问题。所以就想着什么时候替换掉它。
  • club 域名宕机近 3 小时故障回顾 刚开始的时候收到了报警，说网站挂了，我的第一反应是 VPS 出问题了，赶紧 SSH 登录上去看，好像都正常。难道是 VPS 网络问题，于是看了看同一台机器上的其他服务，一切都没问题。
  • Rime 输入法中的快捷键 今天在整理 Rime 插件使用的时候，想起来整理一下 Rime 输入法的快捷键。
  • 用 Gatsby 写了一个券商推荐注册列表 放假在家，刚好刷 Twitter 的时候看到有人写了一个券商注册的页面，一个简单的列表，挂上了目前常用的美港股做新人推荐，顺便就看了一下源码，发现使用 [[Gatsby]] 和 [[TailwindCSS]] 写的，于是就抱着学习的态度，上手了一下 Gatsby，简单的了解了一下 Gatsby 也是一个静态网页生成器，用来 React 和 [[GraphQL]]。而 [[TailwindCSS]] 是一个 CSS 框架，通过简单的 class 就能实现不错的界面效果。