パンダでデータフレームをループする最も効率的な方法は何ですか?[複製]

340
Muppet 2011-10-21 04:46.

データフレーム内の財務データに対して、独自の複雑な操作を順番に実行したいと思います。

たとえば、私はから取られた次MSFT CSVファイル使用していますヤフーファイナンス:

Date,Open,High,Low,Close,Volume,Adj Close
2011-10-19,27.37,27.47,27.01,27.13,42880000,27.13
2011-10-18,26.94,27.40,26.80,27.31,52487900,27.31
2011-10-17,27.11,27.42,26.85,26.98,39433400,26.98
2011-10-14,27.31,27.50,27.02,27.27,50947700,27.27

....

次に、次のことを行います。

#!/usr/bin/env python
from pandas import *

df = read_csv('table.csv')

for i, row in enumerate(df.values):
    date = df.index[i]
    open, high, low, close, adjclose = row
    #now perform analysis on open/close based on date, etc..

それが最も効率的な方法ですか?パンダの速度に焦点を当てていることを考えると、インデックスも取得するように(おそらくメモリ効率を高めるためにジェネレータを介して)値を反復処理するための特別な関数が必要だと思いますか?df.iteritems残念ながら、列ごとに繰り返すだけです。

10 answers

386
Nick Crawford 2012-07-24 07:09.

パンダの最新バージョンには、行を反復処理するための組み込み関数が含まれています。

for index, row in df.iterrows():

    # do some logic here

または、より速く使用したい場合 itertuples()

ただし、行の反復を回避するためにnumpy関数を使用するという、unutbuの提案は、最速のコードを生成します。

156
unutbu 2011-10-21 05:02.

PandasはNumPyアレイに基づいています。NumPy配列を高速化するための鍵は、行ごとまたは項目ごとではなく、配列全体に対して一度に操作を実行することです。

たとえばclose、が1次元配列であり、日ごとのパーセント変化が必要な場合、

pct_change = close[1:]/close[:-1]

これにより、変化率の配列全体が、代わりに1つのステートメントとして計算されます。

pct_change = []
for row in close:
    pct_change.append(...)

したがって、Pythonループをfor i, row in enumerate(...)完全に回避し、行ごとではなく、配列全体(またはデータフレーム)全体に対する操作を使用して計算を実行する方法を検討してください。

100
Richard Wong 2015-12-17 01:39.

前に述べたように、パンダオブジェクトは配列全体を一度に処理するときに最も効率的です。しかし、私のようにパンダのDataFrameをループして何かを実行する必要がある人のために、少なくとも3つの方法を見つけました。3つのうちどれが最も時間がかからないかを確認するために短いテストを行いました。

t = pd.DataFrame({'a': range(0, 10000), 'b': range(10000, 20000)})
B = []
C = []
A = time.time()
for i,r in t.iterrows():
    C.append((r['a'], r['b']))
B.append(time.time()-A)

C = []
A = time.time()
for ir in t.itertuples():
    C.append((ir[1], ir[2]))    
B.append(time.time()-A)

C = []
A = time.time()
for r in zip(t['a'], t['b']):
    C.append((r[0], r[1]))
B.append(time.time()-A)

print B

結果:

[0.5639059543609619, 0.017839908599853516, 0.005645036697387695]

これはおそらく時間消費を測定するための最良の方法ではありませんが、私にとっては迅速です。

ここにいくつかの賛否両論があります私見:

  • .iterrows():インデックスと行アイテムを別々の変数で返しますが、大幅に遅くなります
  • .itertuples():. iterrows()より高速ですが、行アイテムと一緒にインデックスを返します。ir[0]はインデックスです。
  • zip:最速ですが、行のインデックスにアクセスできません

編集2020/11/10

価値があるものとして、ここにいくつかの他の選択肢を備えた更新されたベンチマークがあります(MacBookPro 2,4 GHz Intel Core i98コア32Go 2667 MHz DDR4を使用したパフォーマンス)

import sys
import tqdm
import time
import pandas as pd

B = []
t = pd.DataFrame({'a': range(0, 10000), 'b': range(10000, 20000)})
for _ in tqdm.tqdm(range(10)):
    C = []
    A = time.time()
    for i,r in t.iterrows():
        C.append((r['a'], r['b']))
    B.append({"method": "iterrows", "time": time.time()-A})

    C = []
    A = time.time()
    for ir in t.itertuples():
        C.append((ir[1], ir[2]))
    B.append({"method": "itertuples", "time": time.time()-A})

    C = []
    A = time.time()
    for r in zip(t['a'], t['b']):
        C.append((r[0], r[1]))
    B.append({"method": "zip", "time": time.time()-A})

    C = []
    A = time.time()
    for r in zip(*t.to_dict("list").values()):
        C.append((r[0], r[1]))
    B.append({"method": "zip + to_dict('list')", "time": time.time()-A})

    C = []
    A = time.time()
    for r in t.to_dict("records"):
        C.append((r["a"], r["b"]))
    B.append({"method": "to_dict('records')", "time": time.time()-A})

    A = time.time()
    t.agg(tuple, axis=1).tolist()
    B.append({"method": "agg", "time": time.time()-A})

    A = time.time()
    t.apply(tuple, axis=1).tolist()
    B.append({"method": "apply", "time": time.time()-A})

print(f'Python {sys.version} on {sys.platform}')
print(f"Pandas version {pd.__version__}")
print(
    pd.DataFrame(B).groupby("method").agg(["mean", "std"]).xs("time", axis=1).sort_values("mean")
)

## Output

Python 3.7.9 (default, Oct 13 2020, 10:58:24) 
[Clang 12.0.0 (clang-1200.0.32.2)] on darwin
Pandas version 1.1.4
                           mean       std
method                                   
zip + to_dict('list')  0.002353  0.000168
zip                    0.003381  0.000250
itertuples             0.007659  0.000728
to_dict('records')     0.025838  0.001458
agg                    0.066391  0.007044
apply                  0.067753  0.006997
iterrows               0.647215  0.019600
74
Wes McKinney 2011-10-22 03:04.

iteritemsを転置してから呼び出すことにより、行をループできます。

for date, row in df.T.iteritems():
   # do some logic here

その場合の効率についてはよくわかりません。反復アルゴリズムで可能な限り最高のパフォーマンスを得るには、Cythonでの記述を検討することをお勧めします。そうすれば、次のようなことができます。

def my_algo(ndarray[object] dates, ndarray[float64_t] open,
            ndarray[float64_t] low, ndarray[float64_t] high,
            ndarray[float64_t] close, ndarray[float64_t] volume):
    cdef:
        Py_ssize_t i, n
        float64_t foo
    n = len(dates)

    for i from 0 <= i < n:
        foo = close[i] - open[i] # will be extremely fast

最初に純粋なPythonでアルゴリズムを記述し、それが機能することを確認して、その速度を確認することをお勧めします-十分に高速でない場合は、最小限の作業でこのようにCythonに変換して、手書きのCとほぼ同じ速度のものを取得します/ C ++。

48
Fifi 2018-02-04 23:28.

3つのオプションがあります。

インデックス(最も簡単):

>>> for index in df.index:
...     print ("df[" + str(index) + "]['B']=" + str(df['B'][index]))

iterrows(最も使用):

>>> for index, row in df.iterrows():
...     print ("df[" + str(index) + "]['B']=" + str(row['B']))

itertuples(最速):

>>> for row in df.itertuples():
...     print ("df[" + str(row.Index) + "]['B']=" + str(row.B))

3つのオプションは次のように表示されます。

df[0]['B']=125
df[1]['B']=415
df[2]['B']=23
df[3]['B']=456
df[4]['B']=189
df[5]['B']=456
df[6]['B']=12

出典:neural-networks.io

25
beardc 2012-07-29 18:53.

Nick Crawfordの回答iterrowsに気付いた後でチェックアウトしましたが、(インデックス、シリーズ)タプルが生成されることがわかりました。どちらが最適かはわかりませんが、(index、row_value1 ...)タプルを生成する問題のメソッドを使用することになりました。itertuples

iterkv(列、シリーズ)タプルを反復処理するもあります。

22
Carst 2013-10-17 12:38.

小さな追加と同じように、単一の列に適用する複雑な関数がある場合は、適用を実行することもできます。

http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.apply.html

df[b] = df[a].apply(lambda col: do stuff with col here)
14
GoingMyWay 2017-11-07 22:58.

以下のよう@jorisは指摘し、iterrowsはるかに遅いよりitertuplesitertuples約100倍faterよりもiterrows、私は5027505件のレコードをデータフレームの両方のメソッドの速度をテストした結果は用でiterrows、それは1200it / sであり、itertuples120000it / sです。

を使用する場合itertuples、forループ内のすべての要素が名前付きタプルであることに注意してください。したがって、各列の値を取得するには、次のサンプルコードを参照できます。

>>> df = pd.DataFrame({'col1': [1, 2], 'col2': [0.1, 0.2]},
                      index=['a', 'b'])
>>> df
   col1  col2
a     1   0.1
b     2   0.2
>>> for row in df.itertuples():
...     print(row.col1, row.col2)
...
1, 0.1
2, 0.2
10
Vlad 2018-03-23 15:51.

確かに、データフレームを反復処理する最も速い方法は、df.values(あなたが行うように)または各列に個別にアクセスすることによって、基礎となるnumpyndarrayにアクセスすることですdf.column_name.values。インデックスにもアクセスしたいのでdf.index.values、そのために使用できます。

index = df.index.values
column_of_interest1 = df.column_name1.values
...
column_of_interestk = df.column_namek.values

for i in range(df.shape[0]):
   index_value = index[i]
   ...
   column_value_k = column_of_interest_k[i]

pythonicではありませんか?承知しました。しかし、速い。

ループからさらにジュースを絞りたい場合は、cythonを調べてください。Cythonを使用すると、大幅なスピードアップが可能になります(10x-100xと考えてください)。最大のパフォーマンスを得るには、cythonのメモリビューを確認してください。

5
JoeCondron 2014-11-15 02:30.

別の提案は、行のサブセットが特性を共有している場合に、groupbyをベクトル化された計算と組み合わせることです。

Related questions

MORE COOL STUFF

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは、夫に会ったとき、典型的な交際のアドバイスに逆らいました。

マイケルシーンが非営利の俳優である理由

マイケルシーンが非営利の俳優である理由

マイケルシーンは非営利の俳優ですが、それは正確にはどういう意味ですか?

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

特徴的なスターのコリン・エッグレスフィールドは、RomaDrama Liveでのスリル満点のファンとの出会いについて料理しました!加えて、大会での彼のINSPIREプログラム。

「たどりつけば」をオンラインでストリーミングできない理由

「たどりつけば」をオンラインでストリーミングできない理由

ノーザンエクスポージャーが90年代の最も人気のある番組の1つになった理由を確認するには、Blu-rayまたはDVDプレーヤーをほこりで払う必要があります。

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖は、世界で2番目に大きいボイリング湖です。そこにたどり着くまでのトレッキングは大変で長いですが、努力する価値は十分にあります。

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

サロンからのヘアトリミングや個人的な寄付は、油流出を吸収して環境を保護するのに役立つマットとして再利用できます。

ホワイトハウスの最も記憶に残る結婚式を見てください

ホワイトハウスの最も記憶に残る結婚式を見てください

過去200年以上の間にホワイトハウスで結婚したのはほんの数人です。彼らは誰でしたか、そしてそこで結婚式を獲得するために何が必要ですか?

ジェイ・ブルースはどうやら子供を妊娠することによってメッツから離れて取引されていることを祝った

ジェイ・ブルースはどうやら子供を妊娠することによってメッツから離れて取引されていることを祝った

あなたが一時的に会っていなかったとき。シーズン11-1を開始したチームであるニューヨークメッツは、日曜日の午後にフィラデルフィアで行われた最後の11試合の9試合目を失いました。

スティーブンキングのアウトサイダーはトランプ時代のそれです

スティーブンキングのアウトサイダーはトランプ時代のそれです

スティーブン・キングのアウトサイダーは、多くの点で先祖返りの小説であり、80年代の全盛期から引き裂かれたように見える生き物の特徴であり、おそらくセル以来の彼の最もパルプのような本ですが、今日の恐怖の中で間違いなく設立された作品です。表面上は、形を変えるペニーワイズのような子供たちの殺人者を中心としており、その最も暗い脅威は、封じ込められず、神経質に平凡なものよりも幻想的で打ち負かされません。

スティーブンユニバースは、強烈な内部エピソードのペアで、それ自体のバックストーリーをさりげなく粉砕します

スティーブンユニバースは、強烈な内部エピソードのペアで、それ自体のバックストーリーをさりげなく粉砕します

スティーブンユニバースビーチシティのエピソードが実行されるたびに、いくつかのクライマックスイベントが発生し、スティーブンユニバースのより広い神話に対する理解の一部が失われます。これはあなたが期待していたことですか?今日のエピソードは両方とも、容赦なくゆっくりと、シーズンの終盤の主要な部分を設定する決定的な結論に向かって進みます。そして、ロナウドは、静かな納屋が倒れているのを発見した夜中にスティーブンを捕まえるためにやって来ます。月に。

ディズニーワールドの旅行のヒントを教えてください

ディズニーワールドの旅行のヒントを教えてください

「光が触れるものはすべて私たちの王国です。」今週のHackYour Cityでは、1つのテーマパークを取り上げます。

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya shared a sweet photo in honor of boyfriend Tom Holland's 26th birthday Wednesday

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

シーレン「Ms.JuicyBaby」ピアソンは、先月脳卒中で入院した後、「もう一度たくさんのことをする方法を学ばなければならない」ため、言語療法を受けていることを明らかにしました。

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

オスカー受賞者の世紀半ばの家には、3つのベッドルーム、2つのバス、オーシャンフロントの景色があります。

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、生後4か月の娘、モナコに母乳育児をしていると語った。

Come diventare Web Developer?

Come diventare Web Developer?

Vorresti diventare web developer e non sai da dove cominciare?! Qui troverai tutte le risposte necessarie, anche io non sapevo che strada intraprendere ma voglio aiutarti a non commettere i miei stessi errori. Cosa imparare? Le competenza essenziali per qualsiasi web developer sono almeno tre.

投資ノート:Bioscout AU$300万シード

投資ノート:Bioscout AU$300万シード

Bioscoutは、農家を運転席に置くという使命を負っています。Artesian(GrainInnovate)やUniseedと並んで、最新のシードラウンドでチームを支援できることをうれしく思います。問題真菌症による重大な作物の損失は、農民にとって試練であることが証明されています。

リトルマーケットリサーチ1| 2022年のクイックグリンプス遠隔医療市場

リトルマーケットリサーチ1| 2022年のクイックグリンプス遠隔医療市場

遠隔医療は、パンデミック後の時代では新しいものではなく、時代遅れの分野でもありません。しかし、業界を詳しく見ると、需要と供給の強力な持続可能性と、米国で絶え間ない革命となる強力な潜在的成長曲線を示しています。

スタートアップ資金調達環境:タイのスタートアップエコシステムの次は何ですか?

スタートアップ資金調達環境:タイのスタートアップエコシステムの次は何ですか?

2021年は、世界的なベンチャーキャピタル(VC)の資金調達にとって記録的な年でした。DealStreetAsiaによると、東南アジアも例外ではなく、この地域では年間で記録的な25の新しいユニコーンが採掘されました。

Language