Python-Pandas: Fügen Sie Zeilen für fehlende Daten und Zeitreihen in groupby dataframe ein

Ich habe einen Datenrahmen df:

   Serial_no       date  Index     x    y
           1 2014-01-01      1   2.0  3.0
           1 2014-03-01      2   3.0  3.0
           1 2014-04-01      3   6.0  2.0
           2 2011-03-01      1   5.1  1.3
           2 2011-04-01      2   5.8  0.6
           2 2011-05-01      3   6.5 -0.1
           2 2011-07-01      4   3.0  5.0
           3 2019-10-01      1   7.9 -1.5
           3 2019-11-01      2   8.6 -2.2
           3 2020-01-01      3  10.0 -3.6
           3 2020-02-01      4  10.7 -4.3
           3 2020-03-01      5   4.0  3.0

Hinweis: Die Daten werden nach gruppiert Serial_nound die dateDaten werden monatlich (jeden ersten Monats) gemeldet. Die IndexSpalte ist so eingestellt, dass jedes aufeinanderfolgende gemeldete Datum eine fortlaufende Nummer in der Reihe ist. Die Anzahl der gemeldeten Daten in jeder Gruppe Serial_noist unterschiedlich. Das Intervall der gemeldeten Daten dateist für jede Gruppe unterschiedlich Serial_no(sie beginnen oder enden nicht für jede Gruppe am selben Datum).

Das Problem: Für einige Daten datein der Zeitreihe wurden keine Daten gemeldet . Beachten Sie, dass in jeder Serial_noGruppe einige Daten fehlen . Ich möchte in jeder Gruppe eine Zeile für diese fehlenden Daten hinzufügen dateund die Daten xund ySpalten als 'NaN' melden .

Beispiel für den Datenrahmen, den ich brauche:

   Serial_no       date  Index       x       y
           1 2014-01-01      1     2.0     3.0
           1 2014-02-01      2     NaN     NaN
           1 2014-03-01      3     3.0     3.0
           1 2014-04-01      4     6.0     2.0
           2 2011-03-01      1     5.1     1.3
           2 2011-04-01      2     5.8     0.6
           2 2011-05-01      3     6.5    -0.1
           2 2011-06-01      4     NaN     NaN
           2 2011-07-01      5     3.0     5.0
           3 2019-10-01      1     7.9    -1.5
           3 2019-11-01      2     8.6    -2.2
           3 2019-12-01      3     NaN     NaN
           3 2020-01-01      4    10.0    -3.6
           3 2020-02-01      5    10.7    -4.3
           3 2020-03-01      6     4.0     3.0

Ich weiß, wie man die leeren Zellen durch NaNEinfügen der Zeilen mit fehlenden Daten ersetzt, indem ich den folgenden Code verwende:

import pandas as pd
import numpy as np

df['x'].replace('', np.nan, inplace=True)
df['y'].replace('', np.nan, inplace=True)

Ich weiß auch, wie man den Index zurücksetzt, sobald die Zeilen mit fehlenden Daten mit dem folgenden Code eingefügt wurden:

df["Index"] = df.groupby("Serial_no",).cumcount('date')

Ich bin mir jedoch nicht sicher, wie ich die fehlenden Daten in jeder Gruppe finden und die Zeile für diese (monatlich gemeldeten) Daten einfügen soll. Jede Hilfe wird geschätzt.

Verwenden Sie die benutzerdefinierte Funktion mit DataFrame.asfreqin GroupBy.applyund weisen Sie sie dann neu zu Indexdurch GroupBy.cumcount:

df['date'] = pd.to_datetime(df['date'])

df = (df.set_index('date')
        .groupby('Serial_no')
        .apply(lambda x: x.asfreq('MS'))
        .drop('Serial_no', axis=1))
df = df.reset_index()
df["Index"] = df.groupby("Serial_no").cumcount() + 1
print (df)
    Serial_no       date  Index     x    y
0           1 2014-01-01      1   2.0  3.0
1           1 2014-02-01      2   NaN  NaN
2           1 2014-03-01      3   3.0  3.0
3           1 2014-04-01      4   6.0  2.0
4           2 2011-03-01      1   5.1  1.3
5           2 2011-04-01      2   5.8  0.6
6           2 2011-05-01      3   6.5 -0.1
7           2 2011-06-01      4   NaN  NaN
8           2 2011-07-01      5   3.0  5.0
9           3 2019-10-01      1   7.9 -1.5
10          3 2019-11-01      2   8.6 -2.2
11          3 2019-12-01      3   NaN  NaN
12          3 2020-01-01      4  10.0 -3.6
13          3 2020-02-01      5  10.7 -4.3
14          3 2020-03-01      6   4.0  3.0

Alternative Lösung mit DataFrame.reindex:

df['date'] = pd.to_datetime(df['date'])

f = lambda x: x.reindex(pd.date_range(x.index.min(), x.index.max(), freq='MS', name='date'))
df = df.set_index('date').groupby('Serial_no').apply(f).drop('Serial_no', axis=1)
df = df.reset_index()
df["Index"] = df.groupby("Serial_no").cumcount() + 1