最初の質問に答えることから始めます：
質問1
なぜ私は得るのですか ValueError: Index contains duplicate entries, cannot reshape
これは、パンダが重複したエントリを持つオブジェクトcolumnsまたはindexオブジェクトのインデックスを再作成しようとしているために発生します。ピボットを実行できるさまざまな方法を使用できます。それらのいくつかは、ピボットするように求められているキーの重複がある場合にはあまり適していません。例えば。考えてみてくださいpd.DataFrame.pivot。rowとcol値を共有する重複エントリがあることを知っています。
df.duplicated(['row', 'col']).any()
True
だから私がpivot使うとき
df.pivot(index='row', columns='col', values='val0')
上記のエラーが発生します。実際、次のコマンドで同じタスクを実行しようとすると、同じエラーが発生します。
df.set_index(['row', 'col'])['val0'].unstack()
ピボットに使用できるイディオムのリストは次のとおりです
pd.DataFrame.groupby + pd.DataFrame.unstack
- ほぼすべてのタイプのピボットを実行するための優れた一般的なアプローチ
- 1つのグループのピボット行レベルと列レベルを構成するすべての列をで指定します。続いて、集計する残りの列と、集計を実行する関数を選択します。最後
unstackに、列インデックスに含めるレベルを指定します。
pd.DataFrame.pivot_table
groupbyより直感的なAPIを備えたの栄光バージョン。多くの人にとって、これは好ましいアプローチです。そして、それは開発者によって意図されたアプローチです。- 行レベル、列レベル、集計する値、および集計を実行する関数を指定します。
pd.DataFrame.set_index + pd.DataFrame.unstack
- 一部の人にとっては便利で直感的です（私自身も含まれます）。重複するグループ化されたキーを処理できません。
groupbyパラダイムと同様に、最終的に行レベルまたは列レベルになるすべての列を指定し、それらをインデックスに設定します。次にunstack、列に必要なレベルを指定します。残りのインデックスレベルまたは列レベルのいずれかが一意でない場合、このメソッドは失敗します。
pd.DataFrame.pivot
set_index重複キーの制限を共有するという点で非常に似ています。APIも非常に制限されています。それだけのためにスカラー値をとりindex、columns、values。pivot_tableピボットする行、列、および値を選択するという点で、この方法と同様です。ただし、集計することはできず、行または列のいずれかが一意でない場合、このメソッドは失敗します。
pd.crosstab
- これ
pivot_tableは、最も純粋な形式の特殊なバージョンであり、いくつかのタスクを実行するための最も直感的な方法です。
pd.factorize + np.bincount
- これは非常に高度な手法であり、非常にあいまいですが、非常に高速です。すべての状況で使用できるわけではありませんが、使用でき、快適に使用できる場合は、パフォーマンスの報酬を得ることができます。
pd.get_dummies + pd.DataFrame.dot
例
後続の回答と質問ごとに、を使用して回答しpd.DataFrame.pivot_tableます。次に、同じタスクを実行するための代替手段を提供します。
質問3
値が列、値がインデックス、平均が値、欠落値が値になるdfようにピボットするにはどうすればよいですか？colrowval00
pd.DataFrame.pivot_table
fill_valueデフォルトでは設定されていません。適切に設定する傾向があります。この場合、私はそれをに設定しました0。質問2をスキップしたことに注意してください。これは、この回答がない場合と同じです。fill_valueaggfunc='mean'はデフォルトであり、設定する必要はありませんでした。明確にするためにそれを含めました。
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc='mean')
col col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65
row2 0.13 0.000 0.395 0.500 0.25
row3 0.00 0.310 0.000 0.545 0.00
row4 0.00 0.100 0.395 0.760 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc='mean').fillna(0)
質問4
mean多分、以外のものを入手できますsumか？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc='sum')
col col0 col1 col2 col3 col4
row
row0 0.77 1.21 0.00 0.86 0.65
row2 0.13 0.00 0.79 0.50 0.50
row3 0.00 0.31 0.00 1.09 0.00
row4 0.00 0.10 0.79 1.52 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc='sum').fillna(0)
質問5
一度に複数の集計を行うことはできますか？
forpivot_tableとcrosstab私はcallableのリストを渡す必要があることに注意してください。一方、groupby.agg限られた数の特殊機能の文字列を取得することができます。 groupby.agg他の人に渡したのと同じ呼び出し可能オブジェクトも使用しますが、効率が上がるため、文字列関数名を利用する方が効率的です。
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc=[np.size, np.mean])
size mean
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 1 2 0 1 1 0.77 0.605 0.000 0.860 0.65
row2 1 0 2 1 2 0.13 0.000 0.395 0.500 0.25
row3 0 1 0 2 0 0.00 0.310 0.000 0.545 0.00
row4 0 1 2 2 1 0.00 0.100 0.395 0.760 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
質問6
複数の値列に集約できますか？
pd.DataFrame.pivot_table私たちは合格しvalues=['val0', 'val1']ましたが、それを完全にやめることができました
df.pivot_table(
values=['val0', 'val1'], index='row', columns='col',
fill_value=0, aggfunc='mean')
val0 val1
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02
row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79
row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00
row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
質問7
複数の列で細分化できますか？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns=['item', 'col'],
fill_value=0, aggfunc='mean')
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
row
row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65
row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00
row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00
pd.DataFrame.groupby
df.groupby(
['row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
質問8
複数の列で細分化できますか？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index=['key', 'row'], columns=['item', 'col'],
fill_value=0, aggfunc='mean')
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
key row
key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00
row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00
row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00
key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65
row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13
row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00
row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00
key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00
row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00
row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00
pd.DataFrame.groupby
df.groupby(
['key', 'row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
pd.DataFrame.set_index キーのセットは行と列の両方で一意であるため
df.set_index(
['key', 'row', 'item', 'col']
)['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
質問9
列と行が一緒に発生する頻度、別名「クロス集計」を集計できますか？
pd.DataFrame.pivot_table
df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
col col0 col1 col2 col3 col4
row
row0 1 2 0 1 1
row2 1 0 2 1 2
row3 0 1 0 2 0
row4 0 1 2 2 1
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)
pd.crosstab
pd.crosstab(df['row'], df['col'])
pd.factorize + np.bincount
# get integer factorization `i` and unique values `r`
# for column `'row'`
i, r = pd.factorize(df['row'].values)
# get integer factorization `j` and unique values `c`
# for column `'col'`
j, c = pd.factorize(df['col'].values)
# `n` will be the number of rows
# `m` will be the number of columns
n, m = r.size, c.size
# `i * m + j` is a clever way of counting the
# factorization bins assuming a flat array of length
# `n * m`. Which is why we subsequently reshape as `(n, m)`
b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
# BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
pd.DataFrame(b, r, c)
col3 col2 col0 col1 col4
row3 2 0 0 1 0
row2 1 2 1 0 2
row0 1 0 1 2 1
row4 2 2 0 1 1
pd.get_dummies
pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
col0 col1 col2 col3 col4
row0 1 2 0 1 1
row2 1 0 2 1 2
row3 0 1 0 2 0
row4 0 1 2 2 1
質問10
2つの列のみをピボットして、DataFrameをlongからwideに変換するにはどうすればよいですか？
最初のステップは、各行に番号を割り当てることです。この番号は、ピボットされた結果のその値の行インデックスになります。これは以下を使用して行われGroupBy.cumcountます。
df2.insert(0, 'count', df.groupby('A').cumcount())
df2
count A B
0 0 a 0
1 1 a 11
2 2 a 2
3 3 a 11
4 0 b 10
5 1 b 10
6 2 b 14
7 0 c 7
2番目のステップは、新しく作成された列を呼び出すインデックスとして使用することDataFrame.pivotです。
df2.pivot(*df)
# df.pivot(index='count', columns='A', values='B')
A a b c
count
0 0.0 10.0 7.0
1 11.0 10.0 NaN
2 2.0 14.0 NaN
3 11.0 NaN NaN
質問11
後で複数のインデックスを単一のインデックスにフラット化するにはどうすればよいですか pivot
文字列でcolumns入力objectする場合join
df.columns = df.columns.map('|'.join)
そうしないと format
df.columns = df.columns.map('{0[0]}|{0[1]}'.format)
![ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う！[エクスクルーシブ]](https://snews.pro/assets/images/2022-06/Colin-Egglesfield-640x360.jpg)
