Barman: rsync wal archival blockiert einige Dateien

1
Thoro 2020-07-19 22:59.

Ich archiviere Wal-Dateien von einem Postgres-Server über rsync. Die meiste Zeit funktioniert die Archivierung einwandfrei und ist schnell. Der Geschwindigkeitstest für die Verbindung ist hier: (dies geht über das Internet)

[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  9.30 MBytes  78.0 Mbits/sec    0    395 KBytes
[  4]   1.00-2.00   sec  66.3 MBytes   556 Mbits/sec   14   1.05 MBytes
[  4]   2.00-3.00   sec  75.0 MBytes   629 Mbits/sec    0   1.16 MBytes
[  4]   3.00-4.00   sec  81.2 MBytes   682 Mbits/sec    0   1.24 MBytes
[  4]   4.00-5.00   sec  86.2 MBytes   724 Mbits/sec    0   1.30 MBytes
[  4]   5.00-6.00   sec  88.8 MBytes   744 Mbits/sec    0   1.34 MBytes
[  4]   6.00-7.00   sec  91.2 MBytes   765 Mbits/sec    0   1.37 MBytes
[  4]   7.00-8.00   sec  92.5 MBytes   776 Mbits/sec    0   1.38 MBytes
[  4]   8.00-9.00   sec  93.8 MBytes   786 Mbits/sec    0   1.39 MBytes
[  4]   9.00-10.00  sec  63.8 MBytes   535 Mbits/sec   22    535 KBytes

Es steht also mehr als genug Bandbreite zur Verfügung.

Bei einigen WAL-Dateien wird jedoch nur langsam gecrawlt, und es dauert 30 bis 50 Sekunden, bis die 16-MB-Datei übertragen wird, und ich weiß nicht , wo ich das Problem beheben / suchen soll.

Der Befehl rsync sieht folgendermaßen aus:

rsync -p --chmod=Fg+r,Fo+r --timeout 10 -e /usr/bin/ssh -i /var/lib/pgsql/.ssh/id_rsa -a pg_wal/000000080000A5500000005D [email protected]_host/data/database/pg/incoming/000000080000A5500000005D

Ich habe rsync via strace auf der empfangenden Seite angesehen, und es scheint, dass nur die Pakete von der sendenden Seite nicht schnell genug ankamen. Ich habe versucht, die Datei über ssh zu katzen und auf meiner Konsole auszugeben, die vor der rsync-Übertragung beendet wurde. Ich habe versucht, es auf / dev / null zu setzen, das war sofort.

Ich gehe also davon aus, dass das Quelllaufwerk schnell genug ist.

Ich habe einen Großteil der WAL-Dateien (60 GB) über einen einzigen rsync-Befehl übertragen, der ebenfalls schnell war und durchschnittlich 65 MB / s betrug. Das würde mir also sagen, dass alles gut funktioniert, aber einige Dateien sind langsam.

Was kann ich mir noch ansehen? Wie kann ich herausfinden, ob das Problem die Sende-, Internet- und Empfangsseite ist? Gibt es spezielle Protokolle, die ich auf rsync aktivieren kann? Kann ich das Timing der Syscalls per Strace überprüfen?

ls -l 000000080000A578000000E8
-rw-------. 1 postgres postgres 16777216 Jul 19 07:32 000000080000A578000000E8
bash-4.2$ du -sh 000000080000A578000000E8 11M 000000080000A578000000E8 bash-4.2$ du -sh 000000080000A578000000E8 --apparent-size
16M 000000080000A578000000E8

WAL-Laufwerk ist ein ZFS mit aktiver Komprimierung, daher der Unterschied.

Auch zur Vervollständigung alle zfs-Eigenschaften:

storage/database  type                  filesystem                       -
storage/database  creation              Thu Apr 19 12:22 2018            -
storage/database  used                  1.33T                            -
storage/database  available             369G                             -
storage/database  referenced            1.33T                            -
storage/database  compressratio         2.13x                            -
storage/database  mounted               yes                              -
storage/database  quota                 none                             default
storage/database  reservation           none                             default
storage/database  recordsize            16K                              inherited from storage
storage/database  mountpoint            /data/                        
local
storage/database  sharenfs              off                              default
storage/database  checksum              on                               default
storage/database  compression           lz4                              inherited from storage
storage/database  atime                 off                              inherited from storage
storage/database  devices               on                               default
storage/database  exec                  on                               default
storage/database  setuid                on                               default
storage/database  readonly              off                              default
storage/database  zoned                 off                              default
storage/database  snapdir               hidden                           default
storage/database  aclinherit            restricted                       default
storage/database  createtxg             1159021                          -
storage/database  canmount              on                               default
storage/database  xattr                 sa                               inherited from storage
storage/database  copies                1                                default
storage/database  version               5                                -
storage/database  utf8only              off                              -
storage/database  normalization         none                             -
storage/database  casesensitivity       sensitive                        -
storage/database  vscan                 off                              default
storage/database  nbmand                off                              default
storage/database  sharesmb              off                              default
storage/database  refquota              none                             default
storage/database  refreservation        none                             default
storage/database  guid                  8214081110063784152              -
storage/database  primarycache          all                              default
storage/database  secondarycache        all                              default
storage/database  usedbysnapshots       0B                               -
storage/database  usedbydataset         1.33T                            -
storage/database  usedbychildren        0B                               -
storage/database  usedbyrefreservation  0B                               -
storage/database  logbias               throughput                       inherited from storage
storage/database  dedup                 off                              default
storage/database  mlslabel              none                             default
storage/database  sync                  disabled                         local
storage/database  dnodesize             legacy                           default
storage/database  refcompressratio      2.13x                            -
storage/database  written               1.33T                            -
storage/database  logicalused           2.82T                            -
storage/database  logicalreferenced     2.82T                            -
storage/database  volmode               default                          default
storage/database  filesystem_limit      none                             default
storage/database  snapshot_limit        none                             default
storage/database  filesystem_count      none                             default
storage/database  snapshot_count        none                             default
storage/database  snapdev               hidden                           default
storage/database  acltype               off                              default
storage/database  context               none                             default
storage/database  fscontext             none                             default
storage/database  defcontext            none                             default
storage/database  rootcontext           none                             default
storage/database  relatime              off                              default
storage/database  redundant_metadata    all                              default
storage/database  overlay               off                              default

In den letzten Tagen hat sich auf dem ZFS-Laufwerk nichts geändert - und diese ganze Ausgabe hat erst am Freitag (17. Juli) begonnen.

Wenn ich den Befehl kopiere, einfüge und erneut ausführe, wird er sofort beendet - der noch laufende Befehl bleibt weiterhin hängen.

Mit ls -lah können Sie verfolgen, wie die temporäre Datei immer größer wird (ca. 150 KB / s).

Vielen Dank, dass sich jemand die Zeit genommen hat, dies zu lesen!

Bearbeiten: Ich habe dem Wal-Archivierungsprozess eine Timing-Aufzeichnung hinzugefügt. Hier ist das Ergebnis:

000000080000A57C00000034 1
000000080000A57C00000035 0
000000080000A57C00000036 0
000000080000A57C00000037 1
000000080000A57C00000038 1
000000080000A57C00000039 119
000000080000A57C0000003A 2
000000080000A57C0000003B 1
000000080000A57C0000003C 127
000000080000A57C0000003D 2
000000080000A57C0000003E 1
000000080000A57C0000003F 1
000000080000A57C00000040 1
000000080000A57C00000041 1
000000080000A57C00000042 1
000000080000A57C00000043 1
000000080000A57C00000044 1
000000080000A57C00000045 1
000000080000A57C00000046 1
000000080000A57C00000047 1
000000080000A57C00000048 1
000000080000A57C00000049 105
000000080000A57C0000004A 2
000000080000A57C0000004B 2
000000080000A57C0000004C 1
000000080000A57C0000004D 1
000000080000A57C0000004E 118
000000080000A57C0000004F 2
000000080000A57C00000050 1
000000080000A57C00000051 120
000000080000A57C00000052 2
000000080000A57C00000053 1

Die Zahl rechts gibt Sekunden an, die zum Ausführen des Rsync-Befehls für die angegebene Datei benötigt wurden.

Bearbeiten 2:

Ich habe das Problem mit 2 RAM-Laufwerken auf jeder Seite neu erstellt. Ich habe die verwendeten Ports extrahiert und festgestellt, dass sie alle gerade sind (könnte ein Hinweis sein).

Ich habe auf meiner Seite (Ziel) zwischen Internetverbindungen gewechselt und das Problem ist behoben. Basierend auf Diskussionen scheint es sich um ein Netzwerkproblem über einen bestimmten Pfad zu handeln (möglicherweise aufgrund des Lastausgleichs).

Ich werde mit der endgültigen Auflösung aktualisieren.

Edit 3:

Unser Anbieter ist Hetzner, sie hatten einen Fehler in einem ihrer DECIX-Module (https://www.hetzner-status.de/#16045). Nach der Deaktivierung verschwand das Problem.

1 answers

0
Thoro 2020-07-24 06:26.

Da der Fehler wie ursprünglich angenommen netzwerkbedingt war, würde ich jedem empfehlen, die gleichen Schritte auszuführen.

  1. Wiederholen Sie dieselbe Übertragung außerhalb Ihrer Anwendung, erfassen Sie Metriken für die Laufzeit, die verwendeten Ports und die Routing-Pfade
  2. Wiederholen Sie diesen Vorgang für mehrere verschiedene Internetverbindungen, die unterschiedlich geroutet sind
  3. Wenden Sie sich mit den Informationen an Ihren Internetprovider / Hosting-Provider

Diese Frage offen zu halten macht keinen Sinn, da es sich um ein zeitweiliges Problem handelt, aber vielleicht hat jemand in der Zukunft das gleiche.

Related questions

MORE COOL STUFF

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett widersetzte sich typischen Dating-Ratschlägen, als sie ihren Ehemann traf.

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Michael Sheen ist ein gemeinnütziger Schauspieler, aber was genau bedeutet das?

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sprach über spannende Fan-Begegnungen bei RomaDrama Live! plus sein INSPIRE-Programm auf der Convention.

Warum Sie „Northern Exposure“ nicht online streamen können

Warum Sie „Northern Exposure“ nicht online streamen können

Sie müssen einen Blu-ray- oder DVD-Player abstauben, um zu sehen, warum Northern Exposure zu einer der beliebtesten Shows der 90er Jahre wurde.

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie Ihr Papierhandtuch, Toilettenpapier und Geschenkpapierrollen nicht in den Müll. Geben Sie ihnen stattdessen mit einem dieser 10 Hacks ein zweites Leben.

Schlafen Fische?

Schlafen Fische?

Es ist schwer vorstellbar, dass Nemo im Great Barrier Reef ein paar Zs fängt. Aber Fische brauchen Ruhe. Schlafen sie so wie wir?

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Haarteile aus Salons und persönliche Spenden können als Matten wiederverwendet werden, die Ölverschmutzungen aufsaugen und zum Schutz der Umwelt beitragen.

Welche Utility-Apps installieren Sie auf jedem neuen Computer?

Welche Utility-Apps installieren Sie auf jedem neuen Computer?

Foto von Ade Olu Eletu /nappy Es gibt ein paar Programme, die jeder kennt, um sie einem neuen Computer hinzuzufügen: Chrome, Spotify, Dropbox, einige Arbeits-Apps wie Excel oder Photoshop. Aber viele von uns haben auch unsere bevorzugten Hilfs-Apps und Dienstprogramme, um unseren Workflow anzupassen.

Jugend-Hockey-Trainer gefeuert für völlig verdammte Bonkers Pregame Rant

Jugend-Hockey-Trainer gefeuert für völlig verdammte Bonkers Pregame Rant

Bild über Spittin 'Chiclets / Facebook Die Littleton Hockey Association hat einen Trainer aus ihrem Bantam-Reiseteam entfernt, nachdem in den sozialen Medien ein Video aufgetaucht ist, das nur als eines der unglaublichsten und ungehindertesten Motivations-Rants vor dem Spiel in der Geschichte des Jugendhockeys bezeichnet werden kann. Hockey und in der Tat Sport: „Du wirst sie drei schlagen - keine! Ich will sehen, wie du deine Hände in die Ärsche dieser Jungs steckst und sie wie eine verdammte Marionette arbeitest! “ Ein Tippgeber leitete eine E-Mail von Brian TenEyck, Director of Hockey Operations bei Littleton Youth Hockey, an die Eltern weiter und erläuterte die offizielle Antwort auf das Video: Ich kann nur davon ausgehen, dass die Littleton Hawks dieses Spiel mit 998-0 gewonnen haben.

Ihre lächerlich tollen Porsche 911 und Aston Martin DB11 Wallpaper sind da

Ihre lächerlich tollen Porsche 911 und Aston Martin DB11 Wallpaper sind da

Wir freuen uns, wenn Ihre Leser uns Ihre Weekend Wallpaper-Beiträge senden. Aber Sie haben uns in letzter Zeit zu viele verdammte BMWs geschickt! Hör zu, Freund, ich bin super froh, dass du deinen M4 genießt.

So erstellen Sie einen Globus von Grund auf neu

So erstellen Sie einen Globus von Grund auf neu

Zeit, Geduld, Zeit, Engagement und Zeit sind nur einige der Dinge, die Peter Bellerby brauchte, um Bellerby & Co. Globemakers zu gründen und anschließend zu betreiben, eines der wenigen Unternehmen auf der Erde, das noch Globen von Hand herstellt.

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon hat am Dienstag die Vorwahlen von Michigan zum Gouverneur gewonnen, nachdem er eine späte Bestätigung des ehemaligen Präsidenten Donald Trump erhalten hatte

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Rothschild's luggage got lost, but luckily she has an incredible closet to shop: Sister Paris Hilton's!

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr. Von Hollywood bis New York und überall dazwischen, sehen Sie, was Ihre Lieblingsstars vorhaben!

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

Die Ermittler prüfen, ob sich die Gruppe und der Verdächtige vor dem Angriff kannten

-11 聯軍 國 聯軍 - 台灣 還沒 能 有 太陽

-11 聯軍 國 聯軍 - 台灣 還沒 能 有 太陽

2 練習 part2- 沒 沒 的 台灣 x 日本 x 德國 x 奧地利.

Start- und Landebahnen

Start- und Landebahnen

Spätsommer und Herbst sind nostalgische Jahreszeiten. Straßenlaternen werfen ihr Licht über regennasse Straßen, und die Blätter unter den Füßen – gedämpft rot-orange im Schatten der Dämmerung – erinnern an vergangene Tage.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Im Jahr 2021 ermutige ich Sie, alles zu überdenken, was Sie über die Kunden, die Sie bedienen, und die Geschichten, die Sie ihnen erzählen, wissen. Zurücktreten.

Ein Mammutverlust öffnete mein Herz für die Liebe

Ein Mammutverlust öffnete mein Herz für die Liebe

Am Tag des 9. Geburtstags von Felix The Cat erinnere ich mich an einen der größten Verluste meines Erwachsenenlebens – meine Sophie im Jahr 2013. Ich habe diesen Essay geschrieben und ihn kurz im Jahr 2013 auf dieser Plattform geteilt.

Language