Llenado y cambio de valor de una columna basado en otros valores de columna

Tengo un conjunto de datos como este

number  Shipment Date   service desc    amount
182692345   2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    561.01
            IMPORT EXPORT TAXES 600.47
1827975839  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express     
            DUTIES TAXES PAID   25
            FUEL SURCHARGE  3.28
1826995520  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express     
            FUEL SURCHARGE  0.72

En formato de imagen se ve a continuación:

Lo que quiero es que para las filas en las que el número y la fecha_envío estén presentes, verifiquemos el servicio donde está "Express". Luego, para tales filas, quiero levantar la fila "Recargo por combustible" en desc col a la misma fila que el número y shipment_datejunto con el valor de la cantidad correspondiente.

Entonces algo como a continuación:

number  Shipment Date   service desc    amount
182692345   2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    561.01
            IMPORT EXPORT TAXES 600.47
1827975839  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express FUEL SURCHARGE  3.28
            DUTIES TAXES PAID   25
                
1826995520  2/12/19 DUTIES & TAXES      
            IMPORT EXPORT TAXES 600.47
            IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express FUEL SURCHARGE  0.72

que se ve a continuación en formato de imagen.

Al final, solo me preocupan las filas donde el servicio es "Express", por lo que si nos deshacemos de todas las filas donde el servicio no es express y obtenemos el formato anterior (solo para valores Express), sería ideal.

Creo que pandas ffill()y transform serían las principales herramientas. Entonces estoy intentando algo como a continuación:

df1=df.copy()

df1[['number', 'shipment_date']]=df1[['number', 'shipment_date']].ffill()
df1.desc=df1.desc.fillna('')
df1.amount= df1.amount.fillna('')

s= df1.groupby(['number', 'shipment_date']).amount.transform(lambda x: ' '.join(str(x)))

df.loc[df.shipment_date.notnull(),'amount']=s
df.loc[df.shipment_date.isnull(),'amount']=''

Llene una línea en blanco con fillna(method='ffill'), extraído por el servicio y obtenido por shift(-1). ¿Encaja esto con la intención de la pregunta?

df['service'] = df['service'].fillna(method='ffill')
df = df[df['service'] == 'Express']
df[['number','Shipment Date']] = df[['number','Shipment Date']].fillna(method='ffill')
df[['desc','amount']] = df[['desc','amount']].shift(-1)
df
    number  Shipment Date   service desc    amount
8   5.733894e+09    29/04/2020  Express DUTIES TAXES PAID   25.00
9   5.733894e+09    29/04/2020  Express FUEL SURCHARGE  3.28
10  5.733894e+09    29/04/2020  Express NaN NaN
14  2.998455e+09    4/5/20  Express FUEL SURCHARGE  0.72
15  2.998455e+09    4/5/20  Express NaN NaN

Lógicamente, tiene un conjunto de datos maestro / detallado clásico. Su conjunto de datos detallados no tiene una clave externa para el registro maestro. Agregue el FK y luego puede filtrar las condiciones en el maestro, filtrar las condiciones en los detalles y unir FK a PK

1. han modificado los datos de origen para facilitar la construcción de DF a partir de ellos
2. rellenar FK de registros de detalle con fillna
3. seleccione registros maestros y detallados y únalos en PK / FK

import numpy as np
data = '''number  Shipment Date   service  desc    amount
182692345   2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT DUTIES    561.01
            -  -  IMPORT EXPORT TAXES  600.47
1827975839  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT DUTIES    160.19
3229475633  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT TAXES 600.47
            -  -  IMPORT EXPORT DUTIES    561.01
5733894261  29/04/2020  Express     
            -  -  DUTIES TAXES PAID   25
            -  -  FUEL SURCHARGE  3.28
1826995520  2/12/19  DUTIES & TAXES      
            -  -  IMPORT EXPORT TAXES  600.47
            -  -  IMPORT EXPORT DUTIES    561.01
2998455062  4/5/20  Express     
            -  -  FUEL SURCHARGE  0.72'''
da = [[i for i in re.split("[ ][ ]+", l)] for l in data.split("\n")]
dfall = pd.DataFrame(da[1:], columns=da[0])

dfall["number"][dfall["number"]==""] = np.NaN
dfall = dfall.fillna(method="ffill")
pd.concat([dfall[dfall["desc"]=="FUEL SURCHARGE"], dfmaster[dfall["service"]=="Express"] ], 
          join="inner", keys="number"
         ).sort_values(by=["number","service"], ascending=[True,False])

Puede reenviar el llenado de los valores faltantes en la servicecolumna, luego comparar las Expressúltimas shiftfilas y columnas coincidentes en la lista por DataFrame.shifty DataFrame.loc:

mask = df['service'].ffill().eq('Express')
df.loc[mask, ['desc','amount']] = df.loc[mask, ['desc','amount']].shift(-1)

print (df)   
        number Shipment Date         service                        desc  \
0    182692345       2/12/19  DUTIES & TAXES                               
1                        NaN             NaN        IMPORT EXPORT DUTIES   
2                        NaN             NaN         IMPORT EXPORT TAXES   
3   1827975839       2/12/19  DUTIES & TAXES                               
4                        NaN             NaN        IMPORT EXPORT DUTIES   
5   3229475633       2/12/19  DUTIES & TAXES                               
6                        NaN             NaN  IMPORT EXPORT TAXES 600.47   
7                        NaN             NaN        IMPORT EXPORT DUTIES   
8   5733894261    29/04/2020         Express           DUTIES TAXES PAID   
9                        NaN             NaN              FUEL SURCHARGE   
10                       NaN             NaN                               
11  1826995520       2/12/19  DUTIES & TAXES                               
12                       NaN             NaN         IMPORT EXPORT TAXES   
13                       NaN             NaN        IMPORT EXPORT DUTIES   
14  2998455062        4/5/20         Express              FUEL SURCHARGE   
15                       NaN             NaN                         NaN   

    amount  
0     None  
1   561.01  
2   600.47  
3     None  
4   160.19  
5     None  
6     None  
7   561.01  
8       25  
9     3.28  
10    None  
11    None  
12  600.47  
13  561.01  
14    0.72  
15     NaN