日付範囲に基づくパンダデータフレームの条件付き累積合計

2
Pleastry 2020-10-10 11:09.

私はパンダのデータフレームを持っています:

         Date            Party    Status
-------------------------------------------
0        01-01-2018      John     Sent
1        13-01-2018      Lisa     Received
2        15-01-2018      Will     Received
3        19-01-2018      Mark     Sent
4        02-02-2018      Will     Sent
5        28-02-2018      John     Received

を実行する新しい列を追加したい.cumsum()のですが、日付を条件としています。次のようになります。

                                                Num of Sent         Num of Received
         Date            Party    Status        in Past 30 Days     in Past 30 Days
-----------------------------------------------------------------------------------
0        01-01-2018      John     Sent          1                   0
1        13-01-2018      Lisa     Received      1                   1
2        15-01-2018      Will     Received      1                   2
3        19-01-2018      Mark     Sent          2                   2
4        02-02-2018      Will     Sent          2                   2
5        28-02-2018      John     Received      1                   1

次のコードを書くことで、必要なものを実装することができました。

def inner_func(date_var, status_var, date_array, status_array):
    sent_increment = 0
    received_increment = 0

    for k in range(0, len(date_array)):
        if((date_var - date_array[k]).days <= 30):
            if(status_array[k] == "Sent"):
                sent_increment += 1
            elif(status_array[k] == "Received"):
                received_increment += 1

    return sent_increment, received_increment
import pandas as pd
import time
df = pd.DataFrame({"Date": pd.to_datetime(["01-01-2018", "13-01-2018", "15-01-2018", "19-01-2018", "02-02-2018", "28-02-2018"]),
                   "Party": ["John", "Lisa", "Will", "Mark", "Will", "John"],
                   "Status": ["Sent", "Received", "Received", "Sent", "Sent", "Received"]})

df = df.sort_values("Date")
date_array = []
status_array = []

for i in range(0, len(df)):
        date_var = df.loc[i,"Date"]
        date_array.append(date_var)
        status_var = df.loc[i,"Status"]
        status_array.append(status_var)
        sent_count, received_count = inner_func(date_var, status_var, date_array, status_array)
        df.loc[i, "Num of Sent in Past 30 days"] = sent_count
        df.loc[i, "Num of Received in Past 30 days"] = received_count

ただし、dfネストされたループはデータフレームを2回通過するため、プロセスは計算コストが高く、が大きい場合は非常に遅くなります。私が行っている方法でデータフレームを反復処理せずに、達成しようとしていることを実装するためのよりPython的な方法はありますか?

アップデート2

Michaelは、私が探しているものに対する解決策を提供してくれました:ここ。groupbyオブジェクトにソリューションを適用したいとします。たとえば、ローリングソリューションを使用して、各パーティに基づいて累積合計を計算します。

                                                Sent past 30       Received past 30
         Date            Party    Status        days by party      days by party
-----------------------------------------------------------------------------------
0        01-01-2018      John     Sent          1                   0
1        13-01-2018      Lisa     Received      0                   1
2        15-01-2018      Will     Received      0                   1
3        19-01-2018      Mark     Sent          1                   0
4        02-02-2018      Will     Sent          1                   1
5        28-02-2018      John     Received      0                   1

groupby以下の方法を使用して、ソリューションを再生成しようとしました。

l = []
grp_obj = df.groupby("Party")
grp_obj.rolling('30D',  min_periods=1)["dummy"].apply(lambda x: l.append(x.value_counts()) or 0)
df.reset_index(inplace=True)

しかし、私は間違った値になってしまいました。データの順序が異なるため、このconcatメソッドがインデックスを考慮せずgroupbyにデータフレームを結合しているために発生していることを私は知っています。value_countsデータフレームを元のインデックスにマージ/結合できるように、元のインデックスを含めるようにリストの追加を変更する方法はありますか?

1 answers

2
Michael Szczesny 2020-10-10 19:21.

Dateインデックスとして設定し、Status一時的なものをカテゴリカルに変換するpd.rollingと、ちょっとしたトリックで使用できます

df = df.set_index('Date')
df['dummy'] = df['Status'].astype('category',copy=False).cat.codes
l = []
df.rolling('30D', min_periods=1)['dummy'].apply(lambda x: l.append(x.value_counts()) or 0)
df.reset_index(inplace=True)
pd.concat(
    [df,
    (pd.DataFrame(l)
        .rename(columns={1.0: "Sent past 30 Days", 0.0: "Received past 30 Days"})
        .fillna(0)
        .astype('int'))
    ], axis=1).drop('dummy', 1)

アウト:

        Date Party    Status  Received past 30 Days  Sent past 30 Days
0 2018-01-01  John      Sent                      0                  1
1 2018-01-13  Lisa  Received                      1                  1
2 2018-01-15  Will  Received                      2                  1
3 2018-01-19  Mark      Sent                      2                  2
4 2018-02-02  Will      Sent                      2                  2
5 2018-02-28  John  Received                      1                  1

元のインデックスを維持して、その後のマージを可能にする

Dateとで異なるシーケンスを持つようにデータをわずかに調整しますindex

df = pd.DataFrame({"Date": pd.to_datetime(["01-01-2018", "13-01-2018", "03-01-2018", "19-01-2018", "08-02-2018", "22-02-2018"]),
                   "Party": ["John", "Lisa", "Will", "Mark", "Will", "John"],
                   "Status": ["Sent", "Received", "Received", "Sent", "Sent", "Received"]})
df

アウト:

        Date Party    Status
0 2018-01-01  John      Sent
1 2018-01-13  Lisa  Received
2 2018-03-01  Will  Received
3 2018-01-19  Mark      Sent
4 2018-08-02  Will      Sent
5 2018-02-22  John  Received

並べ替え後に元のインデックスをDate保存し、並べ替えられたデータフレームを操作した後にインデックスを再作成しますDate

df = df.sort_values('Date')
df = df.reset_index()
df = df.set_index('Date')
df['dummy'] = df['Status'].astype('category',copy=False).cat.codes
l = []
df.rolling('30D', min_periods=1)['dummy'].apply(lambda x: l.append(x.value_counts()) or 0)
df.reset_index(inplace=True)
df = pd.concat(
      [df,
      (pd.DataFrame(l)
          .rename(columns={1.0: "Sent past 30 Days", 0.0: "Received past 30 Days"})
          .fillna(0)
          .astype('int'))
      ], axis=1).drop('dummy', 1)
df.set_index('index')

アウト:

            Date Party    Status  Received past 30 Days  Sent past 30 Days
index                                                                     
0     2018-01-01  John      Sent                      0                  1
1     2018-01-13  Lisa  Received                      1                  1
3     2018-01-19  Mark      Sent                      1                  2
5     2018-02-22  John  Received                      1                  0
2     2018-03-01  Will  Received                      2                  0
4     2018-08-02  Will      Sent                      0                  1

グループで値を数える

並べ替えPartyDateグループ化されたカウントを追加する正しい順序を取得する最初の

df = pd.DataFrame({"Date": pd.to_datetime(["01-01-2018", "13-01-2018", "15-01-2018", "19-01-2018", "02-02-2018", "28-02-2018"]),
                   "Party": ["John", "Lisa", "Will", "Mark", "Will", "John"],
                   "Status": ["Sent", "Received", "Received", "Sent", "Sent", "Received"]})
df = df.sort_values(['Party','Date'])

その後concat、適切な行に追加する前にインデックスを再作成します

df = df.set_index('Date')
df['dummy'] = df['Status'].astype('category',copy=False).cat.codes
l = []
df.groupby('Party').rolling('30D', min_periods=1)['dummy'].apply(lambda x: l.append(x.value_counts()) or 0)
df.reset_index(inplace=True)

pd.concat(
      [df,
      (pd.DataFrame(l)
          .rename(columns={1.0: "Sent past 30 Days", 0.0: "Received past 30 Days"})
          .fillna(0)
          .astype('int'))
      ], axis=1).drop('dummy', 1).sort_values('Date')

アウト:

        Date Party    Status  Received past 30 Days  Sent past 30 Days
0 2018-01-01  John      Sent                      0                  1
2 2018-01-13  Lisa  Received                      1                  0
4 2018-01-15  Will  Received                      1                  0
3 2018-01-19  Mark      Sent                      0                  1
5 2018-02-02  Will      Sent                      1                  1
1 2018-02-28  John  Received                      1                  0

マイクロベンチマーク

このソリューションはデータセットに対しても反復しているため、両方のアプローチの実行時間を比較しました。元のソリューションのランタイムが急速に増加していたため、非常に小さなデータセットのみが使用されました。

結果

ベンチマークを再現するためのコード

import pandas as pd
import perfplot

def makedata(n=1):
  df = pd.DataFrame({"Date": pd.to_datetime(["01-01-2018", "13-01-2018", "15-01-2018", "19-01-2018", "02-02-2018", "28-02-2018"]*n),
                   "Party": ["John", "Lisa", "Will", "Mark", "Will", "John"]*n,
                   "Status": ["Sent", "Received", "Received", "Sent", "Sent", "Received"]*n})

  return df.sort_values("Date")

def rolling(df):
  df = df.set_index('Date')
  df['dummy'] = df['Status'].astype('category',copy=False).cat.codes
  l = []
  df.rolling('30D', min_periods=1)['dummy'].apply(lambda x: l.append(x.value_counts()) or 0)
  df.reset_index(inplace=True)
  return pd.concat(
      [df,
      (pd.DataFrame(l)
          .rename(columns={1.0: "Sent past 30 Days", 0.0: "Received past 30 Days"})
          .fillna(0)
          .astype('int'))
      ], axis=1).drop('dummy', 1)

def forloop(df):
  date_array = []
  status_array = []
  def inner_func(date_var, status_var, date_array, status_array):
      sent_increment = 0
      received_increment = 0

      for k in range(0, len(date_array)):
          if((date_var - date_array[k]).days <= 30):
              if(status_array[k] == "Sent"):
                  sent_increment += 1
              elif(status_array[k] == "Received"):
                  received_increment += 1

      return sent_increment, received_increment

  for i in range(0, len(df)):
          date_var = df.loc[i,"Date"]
          date_array.append(date_var)
          status_var = df.loc[i,"Status"]
          status_array.append(status_var)
          sent_count, received_count = inner_func(date_var, status_var, date_array, status_array)
          df.loc[i, "Num of Sent in Past 30 days"] = sent_count
          df.loc[i, "Num of Received in Past 30 days"] = received_count
  return df

perfplot.show(
    setup=makedata,
    kernels=[forloop, rolling],
    n_range=[x for x in range(5, 105, 5)],
    equality_check=None,
    xlabel='len(df)'
)

Related questions

MORE COOL STUFF

Reba McEntire は、彼女が息子の Shelby Blackstock と共有する「楽しい」クリスマスの伝統を明らかにしました:「私たちはたくさん笑います」

Reba McEntire は、彼女が息子の Shelby Blackstock と共有する「楽しい」クリスマスの伝統を明らかにしました:「私たちはたくさん笑います」

Reba McEntire が息子の Shelby Blackstock と共有しているクリスマスの伝統について学びましょう。

メーガン・マークルは、自然な髪のスタイリングをめぐってマライア・キャリーと結ばれました

メーガン・マークルは、自然な髪のスタイリングをめぐってマライア・キャリーと結ばれました

メーガン・マークルとマライア・キャリーが自然な髪の上でどのように結合したかについて、メーガンの「アーキタイプ」ポッドキャストのエピソードで学びましょう.

ハリー王子は家族との関係を修復できるという「希望を持っている」:「彼は父親と兄弟を愛している」

ハリー王子は家族との関係を修復できるという「希望を持っている」:「彼は父親と兄弟を愛している」

ハリー王子が家族、特にチャールズ王とウィリアム王子との関係について望んでいると主張したある情報源を発見してください。

ワイノナ・ジャッドは、パニックに陥った休暇の瞬間に、彼女がジャッド家の家長であることを認識しました

ワイノナ・ジャッドは、パニックに陥った休暇の瞬間に、彼女がジャッド家の家長であることを認識しました

ワイノナ・ジャッドが、母親のナオミ・ジャッドが亡くなってから初めての感謝祭のお祝いを主催しているときに、彼女が今では家長であることをどのように認識したかを学びましょう.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

誰かがこのナンバープレートを取得するために490万ドルを費やした

誰かがこのナンバープレートを取得するために490万ドルを費やした

著者による画像。(グラフィック:パガニ、エミレーツオークション)少数のナンバープレートは、UAEの主要なステータスシンボルです。

ドナルド・トランプは、攻撃用武器ではなく、シリア人に対する禁止案でオーランド銃乱射事件に対応します

ドナルド・トランプは、攻撃用武器ではなく、シリア人に対する禁止案でオーランド銃乱射事件に対応します

ドナルド・トランプは、「過激なイスラムテロに正直である」ことをすぐに祝福した後、トゥデイのショーに呼びかけ、日曜日の早朝に50人が死亡したような大量射殺を防ぐために何をすべきかについて話し合った。オーランドのパルスナイトクラブ。トランプは、情報収集の改善の必要性を強調しました(「何らかの理由で、彼らはこれらの人々を報告しておらず、間違っていることがたくさん起こっていることを知っています」と彼は言い、「彼ら」が誰であるかを明確にしませんでした)。

それにふたを置きます。実際、すべてに蓋をしてください。14ドルで12個のシリコンストレッチキッチン蓋を手に入れよう. [エクスクルーシブ]

それにふたを置きます。実際、すべてに蓋をしてください。14ドルで12個のシリコンストレッチキッチン蓋を手に入れよう. [エクスクルーシブ]

Tomorrow's Kitchen シリコンストレッチ蓋 12個パック | $14 | アマゾン | プロモーション コード 20OFFKINJALids は基本的にキッチンの靴下です。常に迷子になり、二度と閉じられない孤立したコンテナーが残ります。しかし、蓋が伸びて、残った容器、鍋、フライパン、さらには大きなスライスされた果物のすべてに適合するとしたらどうでしょうか? その非常に特殊な蓋を失うことを二度と心配する必要はありません。

あなたの最高のワシントン DC ハックを教えてください

あなたの最高のワシントン DC ハックを教えてください

このコラムでは、ロサンゼルスやラスベガスなど、いくつかの産業都市をハッキングしました。今こそ、軍産複合都市の時代です。

米国のフィギュア スケートは、チーム イベントでの最終決定の欠如に「苛立ち」、公正な裁定を求める

米国のフィギュア スケートは、チーム イベントでの最終決定の欠如に「苛立ち」、公正な裁定を求める

ロシアのフィギュアスケーター、カミラ・バリエバが関与したドーピング事件が整理されているため、チームは2022年北京冬季オリンピックで獲得したメダルを待っています。

Amazonの買い物客は、わずか10ドルのシルクの枕カバーのおかげで、「甘やかされた赤ちゃんのように」眠れると言っています

Amazonの買い物客は、わずか10ドルのシルクの枕カバーのおかげで、「甘やかされた赤ちゃんのように」眠れると言っています

何千人ものAmazonの買い物客がMulberry Silk Pillowcaseを推奨しており、現在販売中. シルクの枕カバーにはいくつかの色があり、髪を柔らかく肌を透明に保ちます。Amazonで最大46%オフになっている間にシルクの枕カバーを購入してください

パデュー大学の教授が覚醒剤を扱った疑いで逮捕され、女性に性的好意を抱かせる

パデュー大学の教授が覚醒剤を扱った疑いで逮捕され、女性に性的好意を抱かせる

ラファイエット警察署は、「不審な男性が女性に近づいた」という複数の苦情を受けて、12 月にパデュー大学の教授の捜査を開始しました。

コンセプト ドリフト: AI にとって世界の変化は速すぎる

コンセプト ドリフト: AI にとって世界の変化は速すぎる

私たちの周りの世界と同じように、言語は常に変化しています。以前の時代では、言語の変化は数年または数十年にわたって発生していましたが、現在では数日または数時間で変化する可能性があります。

SF攻撃で91歳のアジア人女性が殴られ、コンクリートに叩きつけられた

犯罪擁護派のオークランドが暴力犯罪者のロミオ・ロレンゾ・パーハムを釈放

SF攻撃で91歳のアジア人女性が殴られ、コンクリートに叩きつけられた

認知症を患っている 91 歳のアジア人女性が最近、47 番街のアウター サンセット地区でロメオ ロレンゾ パーハムに襲われました。伝えられるところによると、被害者はサンフランシスコの通りを歩いていたところ、容疑者に近づき、攻撃を受け、暴行を受けました。

ℝ

“And a river went out of Eden to water the garden, and from thence it was parted and became into four heads” Genesis 2:10. ? The heart is located in the middle of the thoracic cavity, pointing eastward.

メリック・ガーランドはアメリカに失敗しましたか?

バイデン大統領の任期の半分以上です。メリック・ガーランドは何を待っていますか?

メリック・ガーランドはアメリカに失敗しましたか?

人々にチャンスを与えることは、人生で少し遅すぎると私は信じています。寛大に。

Language