SPARK：Sparkを使用してJSONオブジェクトの配列を解析する方法

通常の列と、次のようなJson文字列を含む列を持つファイルがあります。写真も添付。各行は、実際にはDemo（picでは表示されません）という名前の列に属しています。他の列は削除され、今のところ関係がないため、picで表示されません。

[{"key":"device_kind","value":"desktop"},{"key":"country_code","value":"ID"},{"key":"device_platform","value":"windows"}]

JSONの形式は、すべてが1行になっていることを除いて、データファイルでは上記のとおりであるため、変更しないでください。

各行には、JSONなどの列の下にそのようなオブジェクトが1つあります。オブジェクトはすべて1行ですが、配列になっています。sparkを使用してこの列を解析し、内部の各オブジェクトの値にアクセスしたいと思います。助けてください。

私が欲しいのは、キー「value」の値を取得することです。私の目的は、各JSONオブジェクトから「value」キーの値を別々の列に抽出することです。

get_json_objectを使ってみました。次の場合に機能します1）Json文字列ですが、JSONの場合はnullを返します2）

1. {"key"： "device_kind"、 "value"： "desktop"}
2. [{"key"： "device_kind"、 "value"： "desktop"}、{"key"： "country_code"、 "value"： "ID"}、{"key"： "device_platform"、 "value"： "ウィンドウズ"}]

私が試したコードは以下の通りです

val jsonDF1 = spark.range(1).selectExpr(""" '{"key":"device_kind","value":"desktop"}' as jsonString""")

jsonDF1.select(get_json_object(col("jsonString"), "$.value") as "device_kind").show(2)// prints desktop under column named device_kind val jsonDF2 = spark.range(1).selectExpr(""" '[{"key":"device_kind","value":"desktop"},{"key":"country_code","value":"ID"},{"key":"device_platform","value":"windows"}]' as jsonString""") jsonDF2.select(get_json_object(col("jsonString"), "$.[0].value") as "device_kind").show(2)// print null but expected is desktop under column named device_kind

次にfrom_Jsonを使用したかったのですが、JSONオブジェクトの配列のスキーマを構築する方法がわかりません。私が見つけたすべての例は、ネストされたJSONオブジェクトの例ですが、上記のJSON文字列に似たものはありません。

sparkR 2.2では、from_Jsonにブールパラメータがあり、trueに設定すると、上記のタイプのJSON文字列、つまりJSONオブジェクトの配列を処理しますが、そのオプションはSpark-Scala2.3.3では使用できません。

入力と期待される出力を明確にするには、次のようにする必要があります。

以下のi / p

+------------------------------------------------------------------------+
|Demographics                                                            |
+------------------------------------------------------------------------+
|[[device_kind, desktop], [country_code, ID], [device_platform, windows]]|
|[[device_kind, mobile], [country_code, BE], [device_platform, android]] |
|[[device_kind, mobile], [country_code, QA], [device_platform, android]] |
+------------------------------------------------------------------------+

以下の予想されるo / p

+------------------------------------------------------------------------+-----------+------------+---------------+
|Demographics                                                            |device_kind|country_code|device_platform|
+------------------------------------------------------------------------+-----------+------------+---------------+
|[[device_kind, desktop], [country_code, ID], [device_platform, windows]]|desktop    |ID          |windows        |
|[[device_kind, mobile], [country_code, BE], [device_platform, android]] |mobile     |BE          |android        |
|[[device_kind, mobile], [country_code, QA], [device_platform, android]] |mobile     |QA          |android        |
+------------------------------------------------------------------------+-----------+------------+---------------+

アレは答えてくれてありがとう。それはうまくいく。2.3.3 Sparkを使用しているため、少し異なる方法でソリューションを実行しました。

val sch = ArrayType(StructType(Array(
  StructField("key", StringType, true),
  StructField("value", StringType, true)
)))

val jsonDF3 = mdf.select(from_json(col("jsonString"), sch).alias("Demographics"))

val jsonDF4 = jsonDF3.withColumn("device_kind", expr("Demographics[0].value"))
  .withColumn("country_code", expr("Demographics[1].value"))
  .withColumn("device_platform", expr("Demographics[2].value"))

JSONを含む列が次のようになっている場合

    import spark.implicits._

    val inputDF = Seq(
      ("""[{"key":"device_kind","value":"desktop"},{"key":"country_code","value":"ID"},{"key":"device_platform","value":"windows"}]"""),
      ("""[{"key":"device_kind","value":"mobile"},{"key":"country_code","value":"BE"},{"key":"device_platform","value":"android"}]"""),
      ("""[{"key":"device_kind","value":"mobile"},{"key":"country_code","value":"QA"},{"key":"device_platform","value":"android"}]""")
    ).toDF("Demographics")

  inputDF.show(false)
+-------------------------------------------------------------------------------------------------------------------------+
|Demographics                                                                                                             |
+-------------------------------------------------------------------------------------------------------------------------+
|[{"key":"device_kind","value":"desktop"},{"key":"country_code","value":"ID"},{"key":"device_platform","value":"windows"}]|
|[{"key":"device_kind","value":"mobile"},{"key":"country_code","value":"BE"},{"key":"device_platform","value":"android"}] |
|[{"key":"device_kind","value":"mobile"},{"key":"country_code","value":"QA"},{"key":"device_platform","value":"android"}] |
+-------------------------------------------------------------------------------------------------------------------------+

次の方法で列の解析を試みることができます。

  val parsedJson: DataFrame = inputDF.selectExpr("Demographics", "from_json(Demographics, 'array<struct<key:string,value:string>>') as parsed_json")

  val splitted = parsedJson.select(
    col("parsed_json").as("Demographics"),
    col("parsed_json").getItem(0).as("device_kind_json"),
    col("parsed_json").getItem(1).as("country_code_json"),
    col("parsed_json").getItem(2).as("device_platform_json")
  )

  val result = splitted.select(
    col("Demographics"),
    col("device_kind_json.value").as("device_kind"),
    col("country_code_json.value").as("country_code"),
    col("device_platform_json.value").as("device_platform")
  )

  result.show(false)

次の出力が得られます。

+------------------------------------------------------------------------+-----------+------------+---------------+
|Demographics                                                            |device_kind|country_code|device_platform|
+------------------------------------------------------------------------+-----------+------------+---------------+
|[[device_kind, desktop], [country_code, ID], [device_platform, windows]]|desktop    |ID          |windows        |
|[[device_kind, mobile], [country_code, BE], [device_platform, android]] |mobile     |BE          |android        |
|[[device_kind, mobile], [country_code, QA], [device_platform, android]] |mobile     |QA          |android        |
+------------------------------------------------------------------------+-----------+------------+---------------+