メモリ制限なしでphpで大きなファイルを読み取る方法

user3391056 2019-04-01 14:09.

ファイルを1行ずつ読み取ろうとしています。問題は、ファイルが大きすぎて（500000行を超えている）、メモリ制限に達していることです。メモリ制限なしでファイルを読み取る方法を知りたいです。

マルチスレッド（ファイルを小さなグループに分割して（グループごとに100000行）マルチスレッドで読み取るなど）ソリューションについて考えていますが、詳細な方法がわかりません。助けてください（英語が下手でごめんなさい）。

これが私のコードです

$fn = fopen("myfile.txt", "r"); while(!feof($fn)) {
    $result = fgets($fn);
    echo $result; } fclose($fn);

php file memory-limit

3 answers

Mihai Matei 2019-04-01 21:35.

ジェネレータを使用してメモリ使用量を処理できます。これは、ユーザーがドキュメントページに書いた例にすぎません。

function getLines($file) { $f = fopen($file, 'r'); try { while ($line = fgets($f)) { yield $line;
        }
    } finally {
        fclose($f); } } foreach (getLines("file.txt") as $n => $line) {
    // insert the line into db or do whatever you want with it.
}

ジェネレーターを使用すると、メモリ内に配列を作成しなくても、foreachを使用してデータセットを反復処理するコードを記述できます。これにより、メモリ制限を超えたり、生成にかなりの処理時間が必要になる場合があります。代わりに、ジェネレーター関数を作成できます。これは通常の関数と同じですが、ジェネレーターは1回返す代わりに、反復する値を提供するために必要な回数だけ生成できる点が異なります。

Tschallacka 2019-04-01 21:31.

私の経験では、スコープがクリアされたときにPHPがメモリを最適にクリーンアップします。ループはスコープとしてカウントされませんが、関数はカウントされます。
したがって、ファイルポインタを関数に渡し、関数内でデータベースの処理を行ってから、ループの関数を終了します。ここで呼び出すことができるgc_collect_cycles()ので、メモリの管理とphpのクリーンアップを強制できます。

また、エコーをオフにすることをお勧めしますが、ファイルにログを記録します。次に、コマンドtail -f filenameを使用してそのログ出力を読み取ることができます（windows linuxサブシステム、Windows bashの場合はgit、またはlinuxの場合）

以下と同様の方法を使用して、数百万のエントリを含む大きなファイルを処理します。これは、メモリ制限を下回るのに役立ちます。

function dostuff($fn) { $result = fgets($fn); // store database, do transforms, whatever echo $result;
}

$fn = fopen("myfile.txt", "r"); while(!feof($fn)) {
    dostuff($fn); flush(); // only need this if you do the echo thing. gc_collect_cycles(); } fclose($fn);

Allema_s 2019-04-01 21:39.

readfileとob_get_levelを使用して、メモリと出力バッファリングを管理できます。

readfile（）は、大きなファイルを送信する場合でも、それ自体ではメモリの問題を引き起こしません。メモリ不足エラーが発生した場合は、ob_get_level（）を使用して出力バッファリングがオフになっていることを確認してください。

読み取りの実行中も、PHP出力バッファリングがアクティブになっている可能性があります。

それを確認してください：

スクリプトの開始時に以下を使用して、すでに開始されている場合は出力バッファリングを停止できます。

if (ob_get_level()) {
  ob_end_clean();
}

Japanese Thai Russian Vietnamese Korean Hindi

MORE COOL STUFF

メーガン・マークルは、自然な髪のスタイリングをめぐってマライア・キャリーと結ばれました

メーガン・マークルとマライア・キャリーが自然な髪の上でどのように結合したかについて、メーガンの「アーキタイプ」ポッドキャストのエピソードで学びましょう.

2022-12-23.

ハリー王子は家族との関係を修復できるという「希望を持っている」：「彼は父親と兄弟を愛している」

ハリー王子が家族、特にチャールズ王とウィリアム王子との関係について望んでいると主張したある情報源を発見してください。

2022-12-17.

ワイノナ・ジャッドは、パニックに陥った休暇の瞬間に、彼女がジャッド家の家長であることを認識しました

ワイノナ・ジャッドが、母親のナオミ・ジャッドが亡くなってから初めての感謝祭のお祝いを主催しているときに、彼女が今では家長であることをどのように認識したかを学びましょう.

2022-12-09.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナ島のジェイコブズラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

2022-09-08.

スタートレックの50周年を称えるための最良の方法

来年は、スペースオペラの最も壮大で野心的なメディアシリーズの50周年を迎えます。しかし、スタートレックはその誇り高い遺産に沿って50歳の誕生日を迎えますか？スタートレックの誕生日を祝う方法はたくさんあります。

2023-03-20 03:53.

更新：合法的な大統領候補は数百万人を怒らせ、美しい女性は苦しむ

（画像提供：ゲッティイメージズ）ドナルド・トランプは、アメリカ合衆国大統領の立候補者となる比類のない外交的洞察力を示し、何百万人もの人々を怒らせ、彼の時代遅れの客体化に対する評価の主要な情報源を失いました。彼が立候補を発表し終える前にパレード。トランプ氏は演説の中で、この国で最も高い役職に選出された場合、米国との南の国境に壁を建設すると述べた一連の声明を発表した。

2023-03-20 01:35.