Barman: rsync wal archival blockiert einige Dateien

Ich archiviere Wal-Dateien von einem Postgres-Server über rsync. Die meiste Zeit funktioniert die Archivierung einwandfrei und ist schnell. Der Geschwindigkeitstest für die Verbindung ist hier: (dies geht über das Internet)

[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  9.30 MBytes  78.0 Mbits/sec    0    395 KBytes
[  4]   1.00-2.00   sec  66.3 MBytes   556 Mbits/sec   14   1.05 MBytes
[  4]   2.00-3.00   sec  75.0 MBytes   629 Mbits/sec    0   1.16 MBytes
[  4]   3.00-4.00   sec  81.2 MBytes   682 Mbits/sec    0   1.24 MBytes
[  4]   4.00-5.00   sec  86.2 MBytes   724 Mbits/sec    0   1.30 MBytes
[  4]   5.00-6.00   sec  88.8 MBytes   744 Mbits/sec    0   1.34 MBytes
[  4]   6.00-7.00   sec  91.2 MBytes   765 Mbits/sec    0   1.37 MBytes
[  4]   7.00-8.00   sec  92.5 MBytes   776 Mbits/sec    0   1.38 MBytes
[  4]   8.00-9.00   sec  93.8 MBytes   786 Mbits/sec    0   1.39 MBytes
[  4]   9.00-10.00  sec  63.8 MBytes   535 Mbits/sec   22    535 KBytes

Es steht also mehr als genug Bandbreite zur Verfügung.

Bei einigen WAL-Dateien wird jedoch nur langsam gecrawlt, und es dauert 30 bis 50 Sekunden, bis die 16-MB-Datei übertragen wird, und ich weiß nicht , wo ich das Problem beheben / suchen soll.

Der Befehl rsync sieht folgendermaßen aus:

rsync -p --chmod=Fg+r,Fo+r --timeout 10 -e /usr/bin/ssh -i /var/lib/pgsql/.ssh/id_rsa -a pg_wal/000000080000A5500000005D [email protected]_host/data/database/pg/incoming/000000080000A5500000005D

Ich habe rsync via strace auf der empfangenden Seite angesehen, und es scheint, dass nur die Pakete von der sendenden Seite nicht schnell genug ankamen. Ich habe versucht, die Datei über ssh zu katzen und auf meiner Konsole auszugeben, die vor der rsync-Übertragung beendet wurde. Ich habe versucht, es auf / dev / null zu setzen, das war sofort.

Ich gehe also davon aus, dass das Quelllaufwerk schnell genug ist.

Ich habe einen Großteil der WAL-Dateien (60 GB) über einen einzigen rsync-Befehl übertragen, der ebenfalls schnell war und durchschnittlich 65 MB / s betrug. Das würde mir also sagen, dass alles gut funktioniert, aber einige Dateien sind langsam.

Was kann ich mir noch ansehen? Wie kann ich herausfinden, ob das Problem die Sende-, Internet- und Empfangsseite ist? Gibt es spezielle Protokolle, die ich auf rsync aktivieren kann? Kann ich das Timing der Syscalls per Strace überprüfen?

ls -l 000000080000A578000000E8
-rw-------. 1 postgres postgres 16777216 Jul 19 07:32 000000080000A578000000E8
bash-4.2$ du -sh 000000080000A578000000E8 11M 000000080000A578000000E8 bash-4.2$ du -sh 000000080000A578000000E8 --apparent-size
16M 000000080000A578000000E8

WAL-Laufwerk ist ein ZFS mit aktiver Komprimierung, daher der Unterschied.

Auch zur Vervollständigung alle zfs-Eigenschaften:

storage/database  type                  filesystem                       -
storage/database  creation              Thu Apr 19 12:22 2018            -
storage/database  used                  1.33T                            -
storage/database  available             369G                             -
storage/database  referenced            1.33T                            -
storage/database  compressratio         2.13x                            -
storage/database  mounted               yes                              -
storage/database  quota                 none                             default
storage/database  reservation           none                             default
storage/database  recordsize            16K                              inherited from storage
storage/database  mountpoint            /data/                        
local
storage/database  sharenfs              off                              default
storage/database  checksum              on                               default
storage/database  compression           lz4                              inherited from storage
storage/database  atime                 off                              inherited from storage
storage/database  devices               on                               default
storage/database  exec                  on                               default
storage/database  setuid                on                               default
storage/database  readonly              off                              default
storage/database  zoned                 off                              default
storage/database  snapdir               hidden                           default
storage/database  aclinherit            restricted                       default
storage/database  createtxg             1159021                          -
storage/database  canmount              on                               default
storage/database  xattr                 sa                               inherited from storage
storage/database  copies                1                                default
storage/database  version               5                                -
storage/database  utf8only              off                              -
storage/database  normalization         none                             -
storage/database  casesensitivity       sensitive                        -
storage/database  vscan                 off                              default
storage/database  nbmand                off                              default
storage/database  sharesmb              off                              default
storage/database  refquota              none                             default
storage/database  refreservation        none                             default
storage/database  guid                  8214081110063784152              -
storage/database  primarycache          all                              default
storage/database  secondarycache        all                              default
storage/database  usedbysnapshots       0B                               -
storage/database  usedbydataset         1.33T                            -
storage/database  usedbychildren        0B                               -
storage/database  usedbyrefreservation  0B                               -
storage/database  logbias               throughput                       inherited from storage
storage/database  dedup                 off                              default
storage/database  mlslabel              none                             default
storage/database  sync                  disabled                         local
storage/database  dnodesize             legacy                           default
storage/database  refcompressratio      2.13x                            -
storage/database  written               1.33T                            -
storage/database  logicalused           2.82T                            -
storage/database  logicalreferenced     2.82T                            -
storage/database  volmode               default                          default
storage/database  filesystem_limit      none                             default
storage/database  snapshot_limit        none                             default
storage/database  filesystem_count      none                             default
storage/database  snapshot_count        none                             default
storage/database  snapdev               hidden                           default
storage/database  acltype               off                              default
storage/database  context               none                             default
storage/database  fscontext             none                             default
storage/database  defcontext            none                             default
storage/database  rootcontext           none                             default
storage/database  relatime              off                              default
storage/database  redundant_metadata    all                              default
storage/database  overlay               off                              default

In den letzten Tagen hat sich auf dem ZFS-Laufwerk nichts geändert - und diese ganze Ausgabe hat erst am Freitag (17. Juli) begonnen.

Wenn ich den Befehl kopiere, einfüge und erneut ausführe, wird er sofort beendet - der noch laufende Befehl bleibt weiterhin hängen.

Mit ls -lah können Sie verfolgen, wie die temporäre Datei immer größer wird (ca. 150 KB / s).

Vielen Dank, dass sich jemand die Zeit genommen hat, dies zu lesen!

Bearbeiten: Ich habe dem Wal-Archivierungsprozess eine Timing-Aufzeichnung hinzugefügt. Hier ist das Ergebnis:

000000080000A57C00000034 1
000000080000A57C00000035 0
000000080000A57C00000036 0
000000080000A57C00000037 1
000000080000A57C00000038 1
000000080000A57C00000039 119
000000080000A57C0000003A 2
000000080000A57C0000003B 1
000000080000A57C0000003C 127
000000080000A57C0000003D 2
000000080000A57C0000003E 1
000000080000A57C0000003F 1
000000080000A57C00000040 1
000000080000A57C00000041 1
000000080000A57C00000042 1
000000080000A57C00000043 1
000000080000A57C00000044 1
000000080000A57C00000045 1
000000080000A57C00000046 1
000000080000A57C00000047 1
000000080000A57C00000048 1
000000080000A57C00000049 105
000000080000A57C0000004A 2
000000080000A57C0000004B 2
000000080000A57C0000004C 1
000000080000A57C0000004D 1
000000080000A57C0000004E 118
000000080000A57C0000004F 2
000000080000A57C00000050 1
000000080000A57C00000051 120
000000080000A57C00000052 2
000000080000A57C00000053 1

Die Zahl rechts gibt Sekunden an, die zum Ausführen des Rsync-Befehls für die angegebene Datei benötigt wurden.

Bearbeiten 2:

Ich habe das Problem mit 2 RAM-Laufwerken auf jeder Seite neu erstellt. Ich habe die verwendeten Ports extrahiert und festgestellt, dass sie alle gerade sind (könnte ein Hinweis sein).

Ich habe auf meiner Seite (Ziel) zwischen Internetverbindungen gewechselt und das Problem ist behoben. Basierend auf Diskussionen scheint es sich um ein Netzwerkproblem über einen bestimmten Pfad zu handeln (möglicherweise aufgrund des Lastausgleichs).

Ich werde mit der endgültigen Auflösung aktualisieren.

Edit 3:

Unser Anbieter ist Hetzner, sie hatten einen Fehler in einem ihrer DECIX-Module (https://www.hetzner-status.de/#16045). Nach der Deaktivierung verschwand das Problem.

Da der Fehler wie ursprünglich angenommen netzwerkbedingt war, würde ich jedem empfehlen, die gleichen Schritte auszuführen.

1. Wiederholen Sie dieselbe Übertragung außerhalb Ihrer Anwendung, erfassen Sie Metriken für die Laufzeit, die verwendeten Ports und die Routing-Pfade
2. Wiederholen Sie diesen Vorgang für mehrere verschiedene Internetverbindungen, die unterschiedlich geroutet sind
3. Wenden Sie sich mit den Informationen an Ihren Internetprovider / Hosting-Provider

Diese Frage offen zu halten macht keinen Sinn, da es sich um ein zeitweiliges Problem handelt, aber vielleicht hat jemand in der Zukunft das gleiche.