Linux: rsync zum Spiegeln des SMB-Mount auf die lokale Festplatte ist sehr langsam

2
TylerDurden 2019-10-02 03:22.

Ich versuche, eine über SMB gemountete Freigabe in ein lokales Verzeichnis zu spiegeln. Die Freigabe wird auf einem Windows 2016-Server gehostet, auf den ich keinen Zugriff habe und auf dem ich keine Tools installieren kann. Ich habe also nur eine SMB-Aktie.

Die Freigabe enthält rund 350 GB Daten, meist kleine Dateien (4 MB). Jede Nacht wird ein rsyncJob ausgeführt und alle Updates an ein lokales Verzeichnis übertragen. Dies dauert ewig. Das Senden der inkrementellen Dateiliste dauert ungefähr 10 bis 15 Minuten (ich muss dies überprüfen), aber dann muss rsync ein paar MB (ungefähr 20 Dateien, die pro Nacht geändert werden) satte 12 Stunden übertragen.

Vielleicht habe ich ein Missverständnis darüber, wie es rsyncfunktioniert. Ich habe jedoch den Eindruck, dass nach Erhalt der inkrementellen Dateiliste rsyncherausgefunden werden kann, welche Dateien übertragen werden müssen. Sie müssen also nur noch die geänderten Dateien auswählen und übertragen, was nicht länger als ein paar Minuten bis maximal eine Stunde dauern sollte.

Ich konnte die Übertragungszeit von 12 auf 9 Stunden verkürzen, indem ich die SMB-Freigabe mit actimeo=600Option bereitstellte. Aber es dauert immer noch viel länger als erwartet.

Das ist also der Mount (auf einem Synology NAS):

mount -t cifs //remote.server/share /volume1/sysadmin/share -o vers=3.0,username=john,password='***',domain=EXAMPLE,ro,soft,uid=1026,forceuid,gid=100,forcegid,addr=remote.server,file_mode=0777,dir_mode=0777,iocharset=utf8,nocase,cache=none,noserverino,actimeo=600

Und das ist der rsync-Job:

rsyncOptions=(
    --delete
    --human-readable
    --itemize-changes
    "--modify-window=1"
    --partial
    --protect-args
    --recursive
    --stats
    --times
    --verbose
)
rsyncExclusions=(
    --exclude=.DS_Store
    --exclude=.Trash
    --exclude=.TemporaryItems
    --exclude=._*
    --exclude=.AppleDB
    --exclude=.AppleDouble
    --exclude=__MACOSX
    --exclude=.AppleDesktop
    --exclude=.~lock*
    --exclude=.fseventsd
    --exclude=.lock
    --exclude=.afpDeleted*
    --exclude=.smbdelete*
    --exclude=.TEMP_*
    [email protected]
    --exclude=Thumbs.db
    --exclude='* '
    --exclude='*.'
)
/usr/bin/rsync "${rsyncOptions[@]}" "${rsyncExclusions[@]}" "/volume1/sysadmin/share/" "/volume1/share/

Hier die Statistiken der letzten Synchronisierung:

Number of files: 571170
Number of files transferred: 279
Total file size: 351.95G bytes
Total transferred file size: 387.34M bytes
Literal data: 387.34M bytes
Matched data: 0 bytes
File list size: 25.95M
File list generation time: 0.526 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 413.57M
Total bytes received: 223.89K

sent 413.57M bytes  received 223.89K bytes  13.11K bytes/sec
total size is 351.95G  speedup is 850.56

Wie könnte ich die Übertragung beschleunigen? Vielleicht sind andere Tools wie lftpbesser geeignet, um dies zu erreichen ... Alle Hinweise werden geschätzt.

UPDATE 1

  • lftpMit mirror --dry-run --no-perms --exclude-glob="*." --exclude-glob="* " --parallel --only-newerOption dauert die Fertigstellung ebenfalls etwa 9 bis 12 Stunden. Das ist also keine Alternative.

  • Eine einfache Kopie in der GUI oder über cpeine 4,7-MB-Datei dauert ca. 2-3 Sekunden.

  • Ich habe rsyncmit --dry-runOption begonnen. Ich werde diesen Beitrag aktualisieren, sobald ich die Ergebnisse habe.

UPDATE 2

  • rsyncmit --dry-runläuft jetzt seit mehr als 6 stunden. Ich denke, es ist sicher anzunehmen, dass es auch 9 Stunden plus dauern wird. Der einzige Eintrag im Protokoll ist sending incremental file list. Heute ist hier ein Feiertag (daher keine Änderungen an Dateien / Verzeichnissen), daher bin ich mir nicht sicher, wie lange es gedauert hat, diesen Teil des Prozesses abzuschließen.

UPDATE 3

Wenn mehr Protokollierung aktiviert ist, sieht das Ergebnis folgendermaßen aus:

2019/10/04 04:00:03 [20771] building file list
2019/10/04 05:42:16 [20771] .d..t...... dir1/
2019/10/04 05:42:17 [20771] >f+++++++++ dir1/file1
2019/10/04 05:42:44 [20771] .d..t...... dir1/subdir1/
2019/10/04 05:42:44 [20771] >f.st...... dir1/subdir1/file1
2019/10/04 05:43:19 [20771] >f..t...... dir1/subdir1/file2
2019/10/04 05:43:20 [20771] >f.st...... dir1/subdir1/file3
2019/10/04 05:43:20 [20771] .d..t...... dir1/subdir2/
2019/10/04 05:43:21 [20771] >f+++++++++ dir1/subdir2/file1
2019/10/04 10:16:38 [20771] .d..t...... dir2/subdir1/

...

Beachten Sie die enorme Zeitlücke zwischen dir1 und dir2, die entweder rsyncviel Zeit benötigt, um den Verzeichnisbaum zu durchlaufen, oder ich habe etwas anderes vor.

1 answers

1
TylerDurden 2020-09-16 10:09.

Ich dachte, dass die einzige Möglichkeit, meine Probleme zu lösen, darin bestand, auf beiden Seiten einen Daemon laufen zu lassen. Da ich Cygwin oder WSL nicht auf dem entfernten Windows Server installieren wollte (nicht unter meiner Kontrolle), habe ich Unison verwendet, was bisher einwandfrei funktioniert. Die Synchronisierung dauert jetzt 10-15 Minuten. Verwenden Sie also Unison mit SSH. Ich habe die SSH-Binärdatei aus dem PowerShell-Repository auf GitHub heruntergeladen. Ich hatte also zwei Binärdateien / tragbare Apps, die ich einfach auf den Server legen und zum Laufen bringen konnte. Stellen Sie sicher, dass Sie bei Verwendung von Unison dieselbe Version von Unison und OCAML verwenden.

Related questions

MORE COOL STUFF

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett widersetzte sich typischen Dating-Ratschlägen, als sie ihren Ehemann traf.

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Michael Sheen ist ein gemeinnütziger Schauspieler, aber was genau bedeutet das?

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sprach über spannende Fan-Begegnungen bei RomaDrama Live! plus sein INSPIRE-Programm auf der Convention.

Warum Sie „Northern Exposure“ nicht online streamen können

Warum Sie „Northern Exposure“ nicht online streamen können

Sie müssen einen Blu-ray- oder DVD-Player abstauben, um zu sehen, warum Northern Exposure zu einer der beliebtesten Shows der 90er Jahre wurde.

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie Ihr Papierhandtuch, Toilettenpapier und Geschenkpapierrollen nicht in den Müll. Geben Sie ihnen stattdessen mit einem dieser 10 Hacks ein zweites Leben.

Schlafen Fische?

Schlafen Fische?

Es ist schwer vorstellbar, dass Nemo im Great Barrier Reef ein paar Zs fängt. Aber Fische brauchen Ruhe. Schlafen sie so wie wir?

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Haarteile aus Salons und persönliche Spenden können als Matten wiederverwendet werden, die Ölverschmutzungen aufsaugen und zum Schutz der Umwelt beitragen.

Alles, was Sie über das Driften in Mario Kart 8 Deluxe nicht wussten

Alles, was Sie über das Driften in Mario Kart 8 Deluxe nicht wussten

Jedes Mal, wenn Sie in Mario Kart einen Drift ausführen, laden Sie einen Geschwindigkeitsschub auf, der beim Verlassen des Drifts ausgelöst wird. Aber es passiert noch viel mehr unter der Haube, wenn es um diesen Geschwindigkeitsschub geht: wie schnell er aufgeladen wird, wie lange er dauert und ob er sich tatsächlich um Sekunden Ihrer letzten Zeit rasiert oder nicht.

Gerichtsbestimmungen Die FCC muss Aufzeichnungen veröffentlichen, die betrügerische Kommentare zur Netzneutralität erklären könnten

Gerichtsbestimmungen Die FCC muss Aufzeichnungen veröffentlichen, die betrügerische Kommentare zur Netzneutralität erklären könnten

FCC-Vorsitzender Ajit Pai. Ein Bundesrichter entschied letzte Woche, dass die von den Republikanern kontrollierte Federal Communications Commission (derzeit unter Vorsitz von Donald Trump-Beauftragten Ajit Pai) Aufzeichnungen über Millionen betrügerischer öffentlicher Kommentare veröffentlichen muss, bevor die Agentur im vergangenen Jahr die Richtlinien zur Netzneutralität aufhob, berichtete Ars Technica.

Schlafen Sie nicht auf Heathcliff, der anderen orangefarbenen Katze im Internet

Schlafen Sie nicht auf Heathcliff, der anderen orangefarbenen Katze im Internet

Garfield, die lasagne-liebende Comic-Katze, die Montags hasst, ist im Zeitalter des Internets merkwürdig relevant geblieben. Die existenzielle Verzweiflung des Ablegers Garfield Without Garfield oder vielleicht die seltsame Flut ernsthafter Nachforschungen über die Feinheiten von Garfields Existenz.

Jimmy Jackson aus Waterbury, Conn., "Das auch packen" und Clapback-fähig zu sein, ist das schwärzeste, was ich je in dieser Woche gesehen habe

Jimmy Jackson aus Waterbury, Conn., "Das auch packen" und Clapback-fähig zu sein, ist das schwärzeste, was ich je in dieser Woche gesehen habe

WTNH-TV-Screenshot Haben Sie jemals mit dem Teufel im blassen Mondlicht getanzt? Wahrscheinlich nicht. Und du wolltest es wahrscheinlich nie.

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon hat am Dienstag die Vorwahlen von Michigan zum Gouverneur gewonnen, nachdem er eine späte Bestätigung des ehemaligen Präsidenten Donald Trump erhalten hatte

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Rothschild's luggage got lost, but luckily she has an incredible closet to shop: Sister Paris Hilton's!

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr. Von Hollywood bis New York und überall dazwischen, sehen Sie, was Ihre Lieblingsstars vorhaben!

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

Die Ermittler prüfen, ob sich die Gruppe und der Verdächtige vor dem Angriff kannten

Wie ich schreibe

Wie ich schreibe

Für mich dreht sich alles um diese erste Linie und wohin sie dich führt. Einige Autoren werden von der Handlung, der feinen Anordnung von Schachfiguren, angetrieben, während andere von einer Figur und der Fähigkeit, mit einem neuen fiktiven Freund auf eine Reise zu gehen, angezogen werden.

Start- und Landebahnen

Start- und Landebahnen

Spätsommer und Herbst sind nostalgische Jahreszeiten. Straßenlaternen werfen ihr Licht über regennasse Straßen, und die Blätter unter den Füßen – gedämpft rot-orange im Schatten der Dämmerung – erinnern an vergangene Tage.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Im Jahr 2021 ermutige ich Sie, alles zu überdenken, was Sie über die Kunden, die Sie bedienen, und die Geschichten, die Sie ihnen erzählen, wissen. Zurücktreten.

Ein Mammutverlust öffnete mein Herz für die Liebe

Ein Mammutverlust öffnete mein Herz für die Liebe

Am Tag des 9. Geburtstags von Felix The Cat erinnere ich mich an einen der größten Verluste meines Erwachsenenlebens – meine Sophie im Jahr 2013. Ich habe diesen Essay geschrieben und ihn kurz im Jahr 2013 auf dieser Plattform geteilt.

Language