Llenado y cambio de valor de una columna basado en otros valores de columna

2
Baktaawar 2020-07-04 00:12.

Tengo un conjunto de datos como este

number  Shipment Date   service desc    amount
182692345   2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    561.01
            IMPORT EXPORT TAXES 600.47
1827975839  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express     
            DUTIES TAXES PAID   25
            FUEL SURCHARGE  3.28
1826995520  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express     
            FUEL SURCHARGE  0.72

En formato de imagen se ve a continuación:

Lo que quiero es que para las filas en las que el número y la fecha_envío estén presentes, verifiquemos el servicio donde está "Express". Luego, para tales filas, quiero levantar la fila "Recargo por combustible" en desc col a la misma fila que el número y shipment_datejunto con el valor de la cantidad correspondiente.

Entonces algo como a continuación:

number  Shipment Date   service desc    amount
182692345   2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    561.01
            IMPORT EXPORT TAXES 600.47
1827975839  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express FUEL SURCHARGE  3.28
            DUTIES TAXES PAID   25
                
1826995520  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express FUEL SURCHARGE  0.72

que se ve a continuación en formato de imagen.

Al final, solo me preocupan las filas donde el servicio es "Express", por lo que si nos deshacemos de todas las filas donde el servicio no es express y obtenemos el formato anterior (solo para valores Express), sería ideal.

Creo que pandas ffill()y transform serían las principales herramientas. Entonces estoy intentando algo como a continuación:

df1=df.copy()

df1[['number', 'shipment_date']]=df1[['number', 'shipment_date']].ffill()
df1.desc=df1.desc.fillna('')
df1.amount= df1.amount.fillna('')

s= df1.groupby(['number', 'shipment_date']).amount.transform(lambda x: ' '.join(str(x)))

df.loc[df.shipment_date.notnull(),'amount']=s
df.loc[df.shipment_date.isnull(),'amount']=''

3 answers

1
r-beginners 2020-07-04 09:16.

Llene una línea en blanco con fillna(method='ffill'), extraído por el servicio y obtenido por shift(-1). ¿Encaja esto con la intención de la pregunta?

df['service'] = df['service'].fillna(method='ffill')
df = df[df['service'] == 'Express']
df[['number','Shipment Date']] = df[['number','Shipment Date']].fillna(method='ffill')
df[['desc','amount']] = df[['desc','amount']].shift(-1)
df
    number  Shipment Date   service desc    amount
8   5.733894e+09    29/04/2020  Express DUTIES TAXES PAID   25.00
9   5.733894e+09    29/04/2020  Express FUEL SURCHARGE  3.28
10  5.733894e+09    29/04/2020  Express NaN NaN
14  2.998455e+09    4/5/20  Express FUEL SURCHARGE  0.72
15  2.998455e+09    4/5/20  Express NaN NaN
1
Rob Raymond 2020-07-04 09:36.

Lógicamente, tiene un conjunto de datos maestro / detallado clásico. Su conjunto de datos detallados no tiene una clave externa para el registro maestro. Agregue el FK y luego puede filtrar las condiciones en el maestro, filtrar las condiciones en los detalles y unir FK a PK

  1. han modificado los datos de origen para facilitar la construcción de DF a partir de ellos
  2. rellenar FK de registros de detalle con fillna
  3. seleccione registros maestros y detallados y únalos en PK / FK
import numpy as np
data = '''number  Shipment Date   service  desc    amount
182692345   2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT DUTIES    561.01
            -  -  IMPORT EXPORT TAXES  600.47
1827975839  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT TAXES 600.47
            -  -  IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express     
            -  -  DUTIES TAXES PAID   25
            -  -  FUEL SURCHARGE  3.28
1826995520  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT TAXES  600.47
            -  -  IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express     
            -  -  FUEL SURCHARGE  0.72'''
da = [[i for i in re.split("[ ][ ]+", l)] for l in data.split("\n")]
dfall = pd.DataFrame(da[1:], columns=da[0])

dfall["number"][dfall["number"]==""] = np.NaN
dfall = dfall.fillna(method="ffill")
pd.concat([dfall[dfall["desc"]=="FUEL SURCHARGE"], dfmaster[dfall["service"]=="Express"] ], 
          join="inner", keys="number"
         ).sort_values(by=["number","service"], ascending=[True,False])
1
jezrael 2020-07-06 12:23.

Puede reenviar el llenado de los valores faltantes en la servicecolumna, luego comparar las Expressúltimas shiftfilas y columnas coincidentes en la lista por DataFrame.shifty DataFrame.loc:

mask = df['service'].ffill().eq('Express')
df.loc[mask, ['desc','amount']] = df.loc[mask, ['desc','amount']].shift(-1)

print (df)   
        number Shipment Date         service                        desc  \
0    182692345       2/12/19  DUTIES & TAXES                               
1                        NaN             NaN        IMPORT EXPORT DUTIES   
2                        NaN             NaN         IMPORT EXPORT TAXES   
3   1827975839       2/12/19  DUTIES & TAXES                               
4                        NaN             NaN        IMPORT EXPORT DUTIES   
5   3229475633       2/12/19  DUTIES & TAXES                               
6                        NaN             NaN  IMPORT EXPORT TAXES 600.47   
7                        NaN             NaN        IMPORT EXPORT DUTIES   
8   5733894261    29/04/2020         Express           DUTIES TAXES PAID   
9                        NaN             NaN              FUEL SURCHARGE   
10                       NaN             NaN                               
11  1826995520       2/12/19  DUTIES & TAXES                               
12                       NaN             NaN         IMPORT EXPORT TAXES   
13                       NaN             NaN        IMPORT EXPORT DUTIES   
14  2998455062        4/5/20         Express              FUEL SURCHARGE   
15                       NaN             NaN                         NaN   

    amount  
0     None  
1   561.01  
2   600.47  
3     None  
4   160.19  
5     None  
6     None  
7   561.01  
8       25  
9     3.28  
10    None  
11    None  
12  600.47  
13  561.01  
14    0.72  
15     NaN         

Related questions

MORE COOL STUFF

La estrella de HGTV, Christina Hall, revela que tiene 'envenenamiento por mercurio y plomo' probablemente por voltear 'casas asquerosas'

La estrella de HGTV, Christina Hall, revela que tiene 'envenenamiento por mercurio y plomo' probablemente por voltear 'casas asquerosas'

La estrella de HGTV, Christina Hall, revela que le diagnosticaron envenenamiento por mercurio y plomo, probablemente debido a su trabajo como manipuladora de casas.

La estrella de 'Love Is Blind' Brennon Lemieux responde a los cargos de violencia doméstica

La estrella de 'Love Is Blind' Brennon Lemieux responde a los cargos de violencia doméstica

Recientemente salió a la luz un informe policial que acusa a la estrella de 'Love Is Blind', Brennon, de violencia doméstica. Ahora, Brennon ha respondido a los reclamos.

Wynonna Judd se dio cuenta de que ahora es la matriarca de la familia Judd en un momento festivo de pánico

Wynonna Judd se dio cuenta de que ahora es la matriarca de la familia Judd en un momento festivo de pánico

Conozca cómo Wynonna Judd se dio cuenta de que ahora es la matriarca de la familia mientras organizaba la primera celebración de Acción de Gracias desde que murió su madre, Naomi Judd.

Experto en lenguaje corporal explica los 'paralelos' entre Kate Middleton y la princesa Diana

Experto en lenguaje corporal explica los 'paralelos' entre Kate Middleton y la princesa Diana

Descubra por qué un destacado experto en lenguaje corporal cree que es fácil trazar "tales paralelismos" entre la princesa Kate Middleton y la princesa Diana.

Los láseres arrojan luz sobre por qué necesita cerrar la tapa antes de descargar

Los láseres arrojan luz sobre por qué necesita cerrar la tapa antes de descargar

Los inodoros arrojan columnas de aerosol invisibles con cada descarga. ¿Como sabemos? La prueba fue capturada por láseres de alta potencia.

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

¿Caduca el repelente de insectos?

¿Caduca el repelente de insectos?

¿Sigue siendo efectivo ese lote de repelente de insectos que te quedó del verano pasado? Si es así, ¿por cuánto tiempo?

La temporada de la NFL es solo un montón de multas de moda con juegos de fútbol ocasionales

La temporada de la NFL es solo un montón de multas de moda con juegos de fútbol ocasionales

Foto: Bill Kostroun / AP A veces parece que la NFL es una empresa dedicada al castigo, con algún que otro partido de fútbol americano. El receptor de Skins, DeSean Jackson, reveló a través de Instagram el miércoles que fue multado por usar tacos personalizados.

Ponle una tapa. En realidad, ponle una tapa a todo. Consigue 12 tapas de cocina elásticas de silicona por $14. [Exclusivo]

Ponle una tapa. En realidad, ponle una tapa a todo. Consigue 12 tapas de cocina elásticas de silicona por $14. [Exclusivo]

Tapas elásticas de silicona de Tomorrow's Kitchen, paquete de 12 | $14 | Amazonas | Código promocional 20OFFKINJALids son básicamente los calcetines de la cocina; siempre perdiéndose, dejando contenedores huérfanos que nunca podrán volver a cerrarse. Pero, ¿y si sus tapas pudieran estirarse y adaptarse a todos los recipientes, ollas, sartenes e incluso frutas en rodajas grandes que sobran? Nunca más tendrás que preocuparte por perder esa tapa tan específica.

Cuéntanos tus mejores trucos de Washington, DC

Cuéntanos tus mejores trucos de Washington, DC

Hemos pirateado algunas ciudades industriales en esta columna, como Los Ángeles y Las Vegas. Ahora es el momento de una ciudad militar-industrial-compleja.

Un minorista está eliminando su sección de tallas grandes y mezclando tallas más grandes con todo lo demás

Un minorista está eliminando su sección de tallas grandes y mezclando tallas más grandes con todo lo demás

Un minorista está enlatando su sección de tallas grandes. Pero no están tomando la categoría solo en línea o descontinuándola por completo.

Patinaje artístico de EE. UU. 'frustrado' por falta de decisión final en evento por equipos, pide una decisión justa

Patinaje artístico de EE. UU. 'frustrado' por falta de decisión final en evento por equipos, pide una decisión justa

El equipo está a la espera de las medallas que ganó en los Juegos Olímpicos de Invierno de 2022 en Beijing, ya que se está resolviendo un caso de dopaje que involucra a la patinadora artística rusa Kamila Valieva.

Los compradores de Amazon dicen que duermen 'como un bebé mimado' gracias a estas fundas de almohada de seda que cuestan tan solo $ 10

Los compradores de Amazon dicen que duermen 'como un bebé mimado' gracias a estas fundas de almohada de seda que cuestan tan solo $ 10

Miles de compradores de Amazon recomiendan la funda de almohada de seda Mulberry, y está a la venta en este momento. La funda de almohada de seda viene en varios colores y ayuda a mantener el cabello suave y la piel clara. Compre las fundas de almohada de seda mientras tienen hasta un 46 por ciento de descuento en Amazon

Se busca al corredor de los Bengals Joe Mixon por orden de arresto emitida por presuntamente apuntar con un arma de fuego a una mujer

Se busca al corredor de los Bengals Joe Mixon por orden de arresto emitida por presuntamente apuntar con un arma de fuego a una mujer

El jueves se presentó una denuncia de delito menor amenazante agravado contra Joe Mixon.

Profesor de la Universidad de Purdue arrestado por presuntamente traficar metanfetamina y proponer favores sexuales a mujeres

Profesor de la Universidad de Purdue arrestado por presuntamente traficar metanfetamina y proponer favores sexuales a mujeres

El Departamento de Policía de Lafayette comenzó a investigar a un profesor de la Universidad de Purdue en diciembre después de recibir varias denuncias de un "hombre sospechoso que se acercaba a una mujer".

Concept Drift: el mundo está cambiando demasiado rápido para la IA

Concept Drift: el mundo está cambiando demasiado rápido para la IA

Al igual que el mundo que nos rodea, el lenguaje siempre está cambiando. Mientras que en eras anteriores los cambios en el idioma ocurrían durante años o incluso décadas, ahora pueden ocurrir en cuestión de días o incluso horas.

India me está pateando el culo

India me está pateando el culo

Estoy de vuelta por primera vez en seis años. No puedo decirte cuánto tiempo he estado esperando esto.

Precios accesibles, nuestro aprendizaje desde la perspectiva iOS

Precios accesibles, nuestro aprendizaje desde la perspectiva iOS

Cómo mejoramos la accesibilidad de nuestro componente de precio, y cómo nos marcó el camino hacia nuevos saberes para nuestro sistema de diseño. Por Ana Calderon y Laura Sarmiento Leer esta historia en inglés.

ℝ

“And a river went out of Eden to water the garden, and from thence it was parted and became into four heads” Genesis 2:10. ? The heart is located in the middle of the thoracic cavity, pointing eastward.

Language