Python-Pandas: Fügen Sie Zeilen für fehlende Daten und Zeitreihen in groupby dataframe ein

1
cowboykevin05 2020-07-02 06:48.

Ich habe einen Datenrahmen df:

   Serial_no       date  Index     x    y
           1 2014-01-01      1   2.0  3.0
           1 2014-03-01      2   3.0  3.0
           1 2014-04-01      3   6.0  2.0
           2 2011-03-01      1   5.1  1.3
           2 2011-04-01      2   5.8  0.6
           2 2011-05-01      3   6.5 -0.1
           2 2011-07-01      4   3.0  5.0
           3 2019-10-01      1   7.9 -1.5
           3 2019-11-01      2   8.6 -2.2
           3 2020-01-01      3  10.0 -3.6
           3 2020-02-01      4  10.7 -4.3
           3 2020-03-01      5   4.0  3.0

Hinweis: Die Daten werden nach gruppiert Serial_nound die dateDaten werden monatlich (jeden ersten Monats) gemeldet. Die IndexSpalte ist so eingestellt, dass jedes aufeinanderfolgende gemeldete Datum eine fortlaufende Nummer in der Reihe ist. Die Anzahl der gemeldeten Daten in jeder Gruppe Serial_noist unterschiedlich. Das Intervall der gemeldeten Daten dateist für jede Gruppe unterschiedlich Serial_no(sie beginnen oder enden nicht für jede Gruppe am selben Datum).

Das Problem: Für einige Daten datein der Zeitreihe wurden keine Daten gemeldet . Beachten Sie, dass in jeder Serial_noGruppe einige Daten fehlen . Ich möchte in jeder Gruppe eine Zeile für diese fehlenden Daten hinzufügen dateund die Daten xund ySpalten als 'NaN' melden .

Beispiel für den Datenrahmen, den ich brauche:

   Serial_no       date  Index       x       y
           1 2014-01-01      1     2.0     3.0
           1 2014-02-01      2     NaN     NaN
           1 2014-03-01      3     3.0     3.0
           1 2014-04-01      4     6.0     2.0
           2 2011-03-01      1     5.1     1.3
           2 2011-04-01      2     5.8     0.6
           2 2011-05-01      3     6.5    -0.1
           2 2011-06-01      4     NaN     NaN
           2 2011-07-01      5     3.0     5.0
           3 2019-10-01      1     7.9    -1.5
           3 2019-11-01      2     8.6    -2.2
           3 2019-12-01      3     NaN     NaN
           3 2020-01-01      4    10.0    -3.6
           3 2020-02-01      5    10.7    -4.3
           3 2020-03-01      6     4.0     3.0

Ich weiß, wie man die leeren Zellen durch NaNEinfügen der Zeilen mit fehlenden Daten ersetzt, indem ich den folgenden Code verwende:

import pandas as pd
import numpy as np

df['x'].replace('', np.nan, inplace=True)
df['y'].replace('', np.nan, inplace=True)

Ich weiß auch, wie man den Index zurücksetzt, sobald die Zeilen mit fehlenden Daten mit dem folgenden Code eingefügt wurden:

df["Index"] = df.groupby("Serial_no",).cumcount('date')

Ich bin mir jedoch nicht sicher, wie ich die fehlenden Daten in jeder Gruppe finden und die Zeile für diese (monatlich gemeldeten) Daten einfügen soll. Jede Hilfe wird geschätzt.

1 answers

1
jezrael 2020-07-02 13:59.

Verwenden Sie die benutzerdefinierte Funktion mit DataFrame.asfreqin GroupBy.applyund weisen Sie sie dann neu zu Indexdurch GroupBy.cumcount:

df['date'] = pd.to_datetime(df['date'])

df = (df.set_index('date')
        .groupby('Serial_no')
        .apply(lambda x: x.asfreq('MS'))
        .drop('Serial_no', axis=1))
df = df.reset_index()
df["Index"] = df.groupby("Serial_no").cumcount() + 1
print (df)
    Serial_no       date  Index     x    y
0           1 2014-01-01      1   2.0  3.0
1           1 2014-02-01      2   NaN  NaN
2           1 2014-03-01      3   3.0  3.0
3           1 2014-04-01      4   6.0  2.0
4           2 2011-03-01      1   5.1  1.3
5           2 2011-04-01      2   5.8  0.6
6           2 2011-05-01      3   6.5 -0.1
7           2 2011-06-01      4   NaN  NaN
8           2 2011-07-01      5   3.0  5.0
9           3 2019-10-01      1   7.9 -1.5
10          3 2019-11-01      2   8.6 -2.2
11          3 2019-12-01      3   NaN  NaN
12          3 2020-01-01      4  10.0 -3.6
13          3 2020-02-01      5  10.7 -4.3
14          3 2020-03-01      6   4.0  3.0

Alternative Lösung mit DataFrame.reindex:

df['date'] = pd.to_datetime(df['date'])

f = lambda x: x.reindex(pd.date_range(x.index.min(), x.index.max(), freq='MS', name='date'))
df = df.set_index('date').groupby('Serial_no').apply(f).drop('Serial_no', axis=1)
df = df.reset_index()
df["Index"] = df.groupby("Serial_no").cumcount() + 1

MORE COOL STUFF

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett schlief nach 3 gemeinsamen Tagen mit ihrem Ehemann und ist 25 Jahre später immer noch mit ihm verheiratet

Cate Blanchett widersetzte sich typischen Dating-Ratschlägen, als sie ihren Ehemann traf.

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Warum Michael Sheen ein gemeinnütziger Schauspieler ist

Michael Sheen ist ein gemeinnütziger Schauspieler, aber was genau bedeutet das?

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sorgt für spannende Fan-Begegnungen bei RomaDrama Live! [Exklusiv]

Hallmark-Star Colin Egglesfield sprach über spannende Fan-Begegnungen bei RomaDrama Live! plus sein INSPIRE-Programm auf der Convention.

Warum Sie „Northern Exposure“ nicht online streamen können

Warum Sie „Northern Exposure“ nicht online streamen können

Sie müssen einen Blu-ray- oder DVD-Player abstauben, um zu sehen, warum Northern Exposure zu einer der beliebtesten Shows der 90er Jahre wurde.

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie diese Pappröhren nicht weg! 10 Möglichkeiten, sie wiederzuverwenden

Werfen Sie Ihr Papierhandtuch, Toilettenpapier und Geschenkpapierrollen nicht in den Müll. Geben Sie ihnen stattdessen mit einem dieser 10 Hacks ein zweites Leben.

Schlafen Fische?

Schlafen Fische?

Es ist schwer vorstellbar, dass Nemo im Great Barrier Reef ein paar Zs fängt. Aber Fische brauchen Ruhe. Schlafen sie so wie wir?

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Spenden Sie Ihr Haar, um unser Wasser sauber zu halten

Haarteile aus Salons und persönliche Spenden können als Matten wiederverwendet werden, die Ölverschmutzungen aufsaugen und zum Schutz der Umwelt beitragen.

Angesichts der bevorstehenden Umweltkatastrophen entscheiden sich viele für eine kinderlose Zukunft

Angesichts der bevorstehenden Umweltkatastrophen entscheiden sich viele für eine kinderlose Zukunft

Bild einer deutschen Entbindungsstation über Getty. In den letzten zehn Jahren waren die Geburtenraten in der U.

Der Leiter des Verbraucherschutzes von Präsident Trump schert sich nicht um die Untersuchung der Equifax-Verletzung

Der Leiter des Verbraucherschutzes von Präsident Trump schert sich nicht um die Untersuchung der Equifax-Verletzung

Foto: Getty In jeder normalen Gesellschaft würden die Spitzenmanager von Equifax vor den Kongress gezerrt, viele ins Gefängnis geworfen, das Unternehmen geschlossen und alle Vermögenswerte des Unternehmens beschlagnahmt. Aber wir leben nicht in einer normalen Gesellschaft, was heute noch deutlicher geworden ist.

Wir machen diesen Februar alle Liegestütze

Wir machen diesen Februar alle Liegestütze

Bild aus der Staatsbibliothek von Victoria. Bereit für das nächste Kapitel der Lifehacker Fitness Challenge? Im Januar haben wir an Klimmzügen gearbeitet, auf welcher Ebene auch immer für jeden von uns.

Kool-Aid, Steak-Umms oder Ramen-Nudeln: Nur 1 kann überleben. Welche wählen Sie aus?

Kool-Aid, Steak-Umms oder Ramen-Nudeln: Nur 1 kann überleben. Welche wählen Sie aus?

Oben: iStock; unten: Steak-umm Fleisch YouTube-Screenshot Sie sind zuverlässige Grundnahrungsmittel, obwohl sie mehr mit tatsächlichen Grundnahrungsmitteln gemeinsam haben als jede Lebensmittelgruppe. Köstliche Optionen an der Kreuzung von "Das ist höllisch lecker" und "Warten".

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon gewinnt Michigan GOP Primary und trifft nun auf die amtierende Demokratin Gretchen Whitmer

Tudor Dixon hat am Dienstag die Vorwahlen von Michigan zum Gouverneur gewonnen, nachdem er eine späte Bestätigung des ehemaligen Präsidenten Donald Trump erhalten hatte

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Rothschild's luggage got lost, but luckily she has an incredible closet to shop: Sister Paris Hilton's!

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr

Kate Middleton verbringt einen Tag am Wasser in London, plus Jennifer Lopez, Julianne Hough und mehr. Von Hollywood bis New York und überall dazwischen, sehen Sie, was Ihre Lieblingsstars vorhaben!

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

17-Jähriger erstochen, während 4 weitere bei einem Messerangriff am Wisconsin River verwundet wurden

Die Ermittler prüfen, ob sich die Gruppe und der Verdächtige vor dem Angriff kannten

Start- und Landebahnen

Start- und Landebahnen

Spätsommer und Herbst sind nostalgische Jahreszeiten. Straßenlaternen werfen ihr Licht über regennasse Straßen, und die Blätter unter den Füßen – gedämpft rot-orange im Schatten der Dämmerung – erinnern an vergangene Tage.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Stellen Sie sich vor, Sie erstellen eine Inhaltsstrategie, die tatsächlich KONVERTIERT. Es ist möglich.

Im Jahr 2021 ermutige ich Sie, alles zu überdenken, was Sie über die Kunden, die Sie bedienen, und die Geschichten, die Sie ihnen erzählen, wissen. Zurücktreten.

Ein Mammutverlust öffnete mein Herz für die Liebe

Ein Mammutverlust öffnete mein Herz für die Liebe

Am Tag des 9. Geburtstags von Felix The Cat erinnere ich mich an einen der größten Verluste meines Erwachsenenlebens – meine Sophie im Jahr 2013. Ich habe diesen Essay geschrieben und ihn kurz im Jahr 2013 auf dieser Plattform geteilt.

Wenn Sie nicht die Person sein können, die das Internet von Ihnen will

Wenn Sie nicht die Person sein können, die das Internet von Ihnen will

Ich hasse das Wort „Zugwrack“. Die Menschen trösten sich mit ihrem eigenen moralischen Kompass und treffen dabei auf ein Urteil.

Language