連続確率変数の場合、この最適な分類器はどのように意味がありますか?

2
LE Anh Dung 2020-09-09 21:58.

私は教科書のベイズの問題について読んでいます。Devroyeらによるパターン認識の確率論

彼らは利用します $\eta(x)=\mathbb{P}\{Y=1 \mid X=x\}$ 証明全体。


私の理解では、条件付き確率 $\eta(x)=\mathbb{P}\{Y=1 \mid X=x\}$ 次の場合にのみ定義されます $\mathbb P \{X=x\} > 0$。場合$X$ たとえば、連続的です $X$ 正規分布に従い、その後 $\mathbb P[X=x]=0$ すべてのために $x \in \mathbb R$。次に$\eta(x)$ すべてに対して未定義です $x \in \mathbb R$、私を混乱させます。

この点について詳しく教えていただけますか?

3 answers

2
Lorenzo Najt 2020-09-10 13:44.

いくつかのコメント:

  1. 設定がそれであると仮定することから直感を得ることができます $(X,Y)$ いくつかのプロセスです $Y$ の実現に依存する分布からサンプリングされます $X$。たとえば、多分$X \sim Unif([0,1])$、および $Y$ バイアスのある独立したコインからのサンプルです $X$。条件付き$X = 1/2$$Y$公正なコインです。これはとにかく学習理論のコンテキストにかなり近いです-いくつかの機能があります、$X$、およびクラス $Y$ 機能のいくつかのランダムな関数です。

    この状況も本質的に一般的であり、3で正確に説明されています。したがって、これが分類子を学習しようとしているデータのストーリーであると想像しても害はありません。(以来$Y$ はバイナリ確率変数です。5までスキップできます。)

  2. 場合 $(X,Y)$ 継続的なPDFがあります $p(x,y)$、次に定義できます $p_x(y) = \frac{ p(x,y)}{ \int_{\mathbb{R}} p(x,y) dy }$ のPDFとして $Y$ 条件付き $X = x$。分母の積分がゼロ以外である必要がありますが、これはより弱い条件です$P(X = x) > 0$。この特定のケースでは、$Y$ はバイナリ変数なので、 $p_x(y) = \frac{ p(x,y)}{p(x,0) + p(x,1)}$。見るhttps://en.wikipedia.org/wiki/Conditional_probability_distribution#Conditional_continuous_distributions ただし、形式主義のいくつかについて説明します。

  3. メジャーゼロセットの条件付き確率の概念を定義できます。 https://en.wikipedia.org/wiki/Disintegration_theorem。理論を学ぶのに本当に必要ではなく、一般的にそれを構築することはかなり技術的であるため、興味がない限り心配することはありません(もしそうなら、チャンとポラードによるウィキペディアの調査は読む価値があります。ポラードの「ユーザーズガイド」の5)。ただし、重要なコメントの1つは、すべての条件付き分布を一度に構築する必要があるということです。これらは、上の分布のファミリーとして定義されています。$X$。そうしないと、次のような問題が発生します。https://en.wikipedia.org/wiki/Borel%E2%80%93Kolmogorov_paradox

    あなたはそれを確認することができます $p_x(y)$上で定義したように、実際には崩壊をもたらします。それ以外に、これを維持するためにどのような条件が必要かわかりません$p_x(y)$は明確に定義されており、その検証で書き留めたすべての積分は理にかなっています。特にそうは思いません$p(x,y)$ 連続PDFである必要がありますが、ダブルチェックへの参照を見つけたいと思います。

    これが表記のための検証のスケッチです $\mu_x, \nu$ウィキペディアを参照してください。(いくつかの表記クラスがあることに注意してください-彼らが呼ぶもの$Y$ ここでは $X \times Y$):プッシュフォワード測度は $d \nu(x) = (\int_{\mathbb{R}} p(x,y) dy) dx$$\mu_x(y) = p_x(y) dy$ ファイバー上 $\{x\} \times \mathbb{R}$。これをウィキペディアの数式にプラグインすると、$\int_X (\int_{\pi^{-1}(x)} f(x,y) d \mu_x(y) ) d\nu(x)$、あなたは得る:

$$\int_{\mathbb{R}} \int_{\mathbb{R}} f(x,y) \frac{ p(x,y)}{ \int_{\mathbb{R}} p(x,y) dy } dy (\int_{\mathbb{R}} p(x,y) dy) dx = \int_{\mathbb{R}^2} f(x,y) p(x,y) dxdy.$$

  1. 学習理論の観点からは、崩壊を修正するイメージングを行い、それを条件付き確率の概念として扱うことは理にかなっていると思います。 $Y$。で定義されているのはaeだけですが$X$、あなたはいくつかの恣意的な分類をしていません $X$、ただし、ディストリビューションから作成されたもの。したがって、崩壊の2つの異なる固定された選択の間の不一致を「見る」ことは決してありません。特に、あなたは式によって与えられる特に素晴らしい崩壊を取ることができます$p_x(y)$。また、これは、配布物を最初の箇条書きで説明した種類のものであるかのように扱うことができることを意味します。

  2. 場合 $Y$$\{0,1\}$ 確率変数、 $P(Y = 1) = \mathbb{E}[Y]$。定義できる別の方法$P ( Y = 1 | X = x) = E [ Y | X = x]$コンディショニングによるものです。確率変数$E [ Y |X ]$ です $\sigma(X)$ 測定可能、 https://en.wikipedia.org/wiki/Doob%E2%80%93Dynkin_lemma $f$$E [ Y |X ] = f(X)$。その後、定義することができます$E[Y | X = x] = f(x)$。崩壊のように、これはほぼ確実に同等になるまでしか定義されないことに注意してください。$E[Y|X]$ほぼ確実に同等になるまでは一意です。ただし、素敵な代表者を選ぶことができます。たとえば、$Y$ からの独立したコイントスです $X$ バイアスあり $p$、その後 $E[Y|X] = p$、だから私たちは取ることができます $E[ Y|X = x] = p$

2
littleO 2020-09-10 16:50.

いい質問だと思います。これが1つの答え、または少なくとも部分的な答えです。仮定$f$ 共同PDFです-PMF $X$ そして $Y$、 そのため $$f(x, y) \Delta x \approx P(X \in [x, x+\Delta x] \text{ and } Y = y).$$ 次に、式 $P(Y = 1 \mid X = x)$ を意味するように定義することができます $\frac{f(x, 1)}{f(x,0) + f(x,1)}$。なぜこれが合理的な定義なのですか?直感的に、$\Delta x$ は小さな正の数です $P(Y = 1 \mid X = x)$ほぼ等しくなければならない \開始{ALIGN} P(Y = 1 \半ばX \で[X、X + \デルタX])&= \ FRAC {P(Y = 1、[xのX \、X + \デルタX ])} {P(X \ in [x、x + \ Delta x])} \\&\ approx \ frac {f(x、1)\ Delta x} {f(x、0)\ Delta x + f( x、1)\ Delta x} \\&= \ frac {f(x、1)} {f(x、0)+ f(x、1)}。\ end {align} しかし、私はこの説明に完全には満足していません。

0
MONODA43 2020-09-10 10:49.

私はあなたの質問を理解していないので、私がそれに答えていない場合は私に知らせてください:あなたはについて誤解していると思います $\eta$。それは確率です$Y=1$ の値が与えられた $X$、したがって、一般的にはそうではありません $0$、あなたが与えた例でも。

あなたの例に基づいて: $Y$ パラメータ付きのベルヌーイとして配布されます $p$ とは独立 $X$、その後 $\eta(x) =p$ 0ではありません。

ちなみにそれは素晴らしい本です。そこには興味深い問題がたくさんあります。

Related questions

MORE COOL STUFF

「水曜日」シーズン1の中心には大きなミステリーがあります

「水曜日」シーズン1の中心には大きなミステリーがあります

Netflixの「水曜日」は、典型的な10代のドラマ以上のものであり、実際、シーズン1にはその中心に大きなミステリーがあります.

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ケイト・ミドルトンは、州の夕食会と州の訪問中にカミラ・パーカー・ボウルズからスポットライトを奪いたくなかった、と専門家は言う.

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンが、オリビア・ワイルドが彼女とハリー・スタイルズとの間の「難しい」が「非常に友好的」な分割を恒久的にすることを望んでいる理由を見つけてください.

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンが舞台裏で「非常に困難な時期」を過ごしていたと伝えられている理由を調べてください.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

Total War:Warhammer:Kotakuレビュー

Total War:Warhammer:Kotakuレビュー

私はこのゲームを嫌う準備ができていました。先週の前に、Total War:Warhammerについての私の考えがありました:それでもここに私は、私の手にある完成品であり、私は変わった男です。

涙の道:軍事化された帝国主義勢力がスタンディングロックキャンプを占領

涙の道:軍事化された帝国主義勢力がスタンディングロックキャンプを占領

スタンディングロックスー族のメンバーと水の保護者は、ノースダコタ州のスタンディングロックにあるオセティサコウィンキャンプを去ります。(Twitter経由のCNNスクリーンショット)火と煙がスカイラインを覆い、スタンディングロックスー族のメンバーと水の保護者が、聖なるものを守りながら建てた家、オセティサコウィン(セブンカウンシルファイアーズ)キャンプから行進し、太鼓を打ち、歌い、祈りました。ダコタアクセスパイプラインとしても知られる「ブラックスネーク」からの土地。

シアーズとKマートはイヴァンカ・トランプの商品を自分たちで取り除いています

シアーズとKマートはイヴァンカ・トランプの商品を自分たちで取り除いています

写真:APシアーズとKマートは、イヴァンカ・トランプのトランプホームアイテムのコレクションも、誰も購入したくないために削除しました。シアーズとKマートの両方の親会社であるシアーズホールディングスは、土曜日のABCニュースへの声明で、彼らが気にかけていると辛抱強く説明しましたトランプラインを売り続けるにはお金を稼ぐことについてあまりにも多く。

ポテトチップスでたった10分でスペインのトルティーヤを作る

ポテトチップスでたった10分でスペインのトルティーヤを作る

伝統的なスペインのトルティーヤは通常、オリーブオイルで柔らかくなるまで調理されたポテトから始まります(30分以上かかる場合があります)が、ケトルで調理されたポテトチップスの助けを借りてわずか10分でテーブルに置くことができます。上のビデオはすべてがバラバラにならないように裏返す方法を含め、レシピ全体を説明しますが、必要なのは4〜5個の卵と3カップのケトルチップスだけです。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

ホームオフィスのセットアップ術を極めよう!AppExert の開発者は、家族全員が一緒にいる場合でも、在宅勤務の技術を習得しています。祖父や曽祖父が共同家族で暮らしていた頃の記憶がよみがえりました。

2022 年、私たちのデジタル ライフはどこで終わり、「リアル ライフ」はどこから始まるのでしょうか?

20 年前のタイムトラベラーでさえ、日常生活におけるデジタルおよびインターネットベースのサービスの重要性に驚くことでしょう。MySpace、eBay、Napster などのプラットフォームは、高速化に焦点を合わせた世界がどのようなものになるかを示してくれました。

ニューロマーケティングの秘密科学

ニューロマーケティングの秘密科学

マーケティング担当者が人間の欲望を操作するために使用する、最先端の (気味が悪いと言う人もいます) メソッドを探ります。カートをいっぱいにして 3 桁の領収書を持って店を出る前に、ほんの数点の商品を買いに行ったことはありませんか? あなたは一人じゃない。

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

私たちが住んでいる世界を確実に理解するには、データが必要です。ただし、空間参照がない場合、このデータは地理的コンテキストがないと役に立たなくなる可能性があります。

Language