Wie kann ich einfach (z. B. so einfach wie rsync oder SCP) eine Hochgeschwindigkeitsübertragung (1 gpbs) über eine Internet-Latenz-Verbindung durchführen?

1
john01dav 2019-12-18 19:13.

Einige Male im Jahr muss ich massive Dateien (20 + GB) über das Internet übertragen (Latenz 20-100 ms), aber mit relativ schnellen Verbindungen in der Größenordnung von 1 Gbit / s zwischen Servern. Wenn ich dazu rsync verwende, treten leider alle möglichen Probleme auf und die Verbindung wird wiederholt nicht gesättigt. Es wird nur jeweils für den Bruchteil einer Sekunde und häufig minutenlang keine (<1 MBit / s, möglicherweise Null) verwendet am Ende. Weder meine Festplatte noch die CPU an beiden Enden sind zu 100% ausgelastet, sodass keiner von beiden der Engpass sein kann. SCP verhält sich genauso.

Geschwindigkeitstests schaffen es jedoch, meine Verbindung für die Dauer des Tests vollständig zu überlasten ( viel länger als rsync). Ich kann einige Erfolge erzielen, wenn ich HTTP über Cloudflare mit einem Multithread-Downloader (aria2c) verwende, aber meine Verbindung wird dadurch immer noch nicht gesättigt - es wird lediglich verhindert, dass sie gegen Null geht. Interessanterweise wird aria2c meine Verbindung auch dann nicht überlasten, wenn Cloudflare nicht durchlaufen wird.

Bei meinen Recherchen vor dem Stellen dieser Frage scheint es, dass das TCP-Fenster möglicherweise etwas damit zu tun hat, aber ich verstehe nicht genau, was das ist, und ich weiß auch nicht, wie ich es ändern soll (die einzigen Informationen, die ich finden kann im Internet ist im Zusammenhang mit Geschwindigkeitstests, bei denen der Geschwindigkeitstest ein Befehlszeilenflag hat, aber weder rsync noch SCP solche Flags in ihren Manpages dokumentiert haben). Dies ist jedoch nicht sinnvoll, da ich keine Ahnung habe, wie ich dieses Wissen verwenden kann, um meine Download-Geschwindigkeit zu korrigieren.

Daher frage ich mich, wie ich meine schnellen Verbindungen für Massendateiübertragungen problemlos sättigen kann (z. B. ohne mit benutzerdefinierter Kompilierung herumzuspielen oder für proprietäre Produkte zu bezahlen), wie ich es jetzt mit rsync, scp oder http (über nginx) kann ? Eine ideale Antwort gibt mir eine Reihe von Rsync-Flags, die ich verwenden kann, um dieses Problem vollständig zu lösen. Eine vielleicht realistischere Antwort, die immer noch nützlich wäre, wäre ein bestimmtes Standard-Linux-Dienstprogramm, das das erreichen kann, was ich will, ohne wesentliche Änderungen vorzunehmen. Ich bin mir sicher, dass es so etwas gibt, da ich sicher bin, dass ich nicht der einzige bin, der große Dateien über das Internet übertragen muss.

1 answers

1
user343272 2020-01-22 21:34.

Wenn lftpich meine Verbindung auf ihre volle Kapazität (900 Mbit / s) bringen konnte, benötigen Sie so etwas - lftp -e 'mirror --parallel=10 --use-pget-n=10 /var/vtemp /var/vtemp' sftp://[email protected]. Das einzige Problem, mit dem ich konfrontiert war, war, dass sich der Durchsatz nach einigen Stunden Betrieb verschlechterte.

MORE COOL STUFF

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett widersetzte sich typischen Dating-Ratschlägen, als sie ihren Ehemann traf.

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Michael Sheen ist ein gemeinnütziger Schauspieler, aber was genau bedeutet das?

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sprach über spannende Fan-Begegnungen bei RomaDrama Live! plus sein INSPIRE-Programm auf der Convention.

Warum Sie „Northern Exposure“ nicht online streamen können

Warum Sie „Northern Exposure“ nicht online streamen können

Sie müssen einen Blu-ray- oder DVD-Player abstauben, um zu sehen, warum Northern Exposure zu einer der beliebtesten Shows der 90er Jahre wurde.

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie Ihr Papierhandtuch, Toilettenpapier und Geschenkpapierrollen nicht in den Müll. Geben Sie ihnen stattdessen mit einem dieser 10 Hacks ein zweites Leben.

Schlafen Fische?

Schlafen Fische?

Es ist schwer vorstellbar, dass Nemo im Great Barrier Reef ein paar Zs fängt. Aber Fische brauchen Ruhe. Schlafen sie so wie wir?

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Haarteile aus Salons und persönliche Spenden können als Matten wiederverwendet werden, die Ölverschmutzungen aufsaugen und zum Schutz der Umwelt beitragen.

Die tiefen Spaltungen unseres Landes haben einen Silberstreifen: kürzeres Thanksgiving-Abendessen

Die tiefen Spaltungen unseres Landes haben einen Silberstreifen: kürzeres Thanksgiving-Abendessen

Unabhängig von Ihrer politischen Zugehörigkeit sind die Vereinigten Staaten derzeit nicht so einig. Wir leben in einem us-vs.

Südwestflug umgeleitet, nachdem Passagier versucht hatte, dem Mile-High Weed Club beizutreten

Südwestflug umgeleitet, nachdem Passagier versucht hatte, dem Mile-High Weed Club beizutreten

Flugzeuge von Southwest Airlines sitzen am 15. August 2015 in Baltimore vor ihren Toren am internationalen Flughafen Baltimore-Washington.

Welt erträgt einen weiteren schlampigen Auszug

Welt erträgt einen weiteren schlampigen Auszug

Präsident Donald Trump hat seinen Gipfel mit dem nordkoreanischen Diktator Kim Jong Un mit einem Brief abgesagt, der ohne Übertreibung eines der seltsamsten Dinge ist, die ich je in meinen 28 Jahren auf Erden gelesen habe. In dem unglücklichen Stück Geschichte, das Sie oben sehen, verwendet das Weiße Haus von Trump eine bizarre Mischung aus liebevollem, fast sinnlichem Bedauern, der Gefahr einer globalen Atomkatastrophe und grammatikalischen Fehlern, um seinem nordkoreanischen Amtskollegen öffentlich mitzuteilen, dass das Treffen nicht stattfindet.

Wissenschaftler finden eine weitere mögliche Erklärung dafür, warum Haare grau werden

Wissenschaftler finden eine weitere mögliche Erklärung dafür, warum Haare grau werden

Das grizzled Fell dieser Maus könnte uns eines Tages helfen zu erklären, warum Menschen eine seltene Krankheit namens Vitiligo entwickeln können. Wissenschaftler glauben, auf einen neu entdeckten Mechanismus gestoßen zu sein, der erklären könnte, warum die Haare einiger Menschen grau werden und andere von Flecken unpigmentierter Haut befallen werden, einer seltenen, stigmatisierten Erkrankung namens Vitiligo.

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon hat am Dienstag die Vorwahlen von Michigan zum Gouverneur gewonnen, nachdem er eine späte Bestätigung des ehemaligen Präsidenten Donald Trump erhalten hatte

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Rothschild's luggage got lost, but luckily she has an incredible closet to shop: Sister Paris Hilton's!

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr. Von Hollywood bis New York und überall dazwischen, sehen Sie, was Ihre Lieblingsstars vorhaben!

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

Die Ermittler prüfen, ob sich die Gruppe und der Verdächtige vor dem Angriff kannten

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Im Jahr 2021 ermutige ich Sie, alles zu überdenken, was Sie über die Kunden, die Sie bedienen, und die Geschichten, die Sie ihnen erzählen, wissen. Zurücktreten.

Ein Mammutverlust öffnete mein Herz für die Liebe

Ein Mammutverlust öffnete mein Herz für die Liebe

Am Tag des 9. Geburtstags von Felix The Cat erinnere ich mich an einen der größten Verluste meines Erwachsenenlebens – meine Sophie im Jahr 2013. Ich habe diesen Essay geschrieben und ihn kurz im Jahr 2013 auf dieser Plattform geteilt.

Wenn Sie nicht die Person sein können, die das Internet von Ihnen will

Wenn Sie nicht die Person sein können, die das Internet von Ihnen will

Ich hasse das Wort „Zugwrack“. Die Menschen trösten sich mit ihrem eigenen moralischen Kompass und treffen dabei auf ein Urteil.

Die dezentralisierte Cloud-Vision der DFINITY Blockchain

Anmerkung des Herausgebers: Sie sehen veraltetes Material aus dem DFINITY-Blog, das zu Archivierungszwecken aufbewahrt wird.

Die dezentralisierte Cloud-Vision der DFINITY Blockchain

Dieser Beitrag untersucht die dezentralisierte Cloud-Vision des DFINITY-Teams und ihre Beziehung zu traditioneller Blockchain und bestehenden Cloud-Anbietern wie Amazon Web Services. Demonstrationen der DFINITY-Technologie, die von einem groß angelegten Netzwerk angewendet wird, werden im Herbst 2017 durchgeführt, gefolgt von einer Hauptfinanzierung für die unterstützende gemeinnützige Stiftung, wobei das „offene Cloud“-Netzwerk voraussichtlich im Frühsommer 2018 starten wird .

Language