連続確率変数の場合、この最適な分類器はどのように意味がありますか?

2
LE Anh Dung 2020-09-09 21:58.

私は教科書のベイズの問題について読んでいます。Devroyeらによるパターン認識の確率論

彼らは利用します $\eta(x)=\mathbb{P}\{Y=1 \mid X=x\}$ 証明全体。


私の理解では、条件付き確率 $\eta(x)=\mathbb{P}\{Y=1 \mid X=x\}$ 次の場合にのみ定義されます $\mathbb P \{X=x\} > 0$。場合$X$ たとえば、連続的です $X$ 正規分布に従い、その後 $\mathbb P[X=x]=0$ すべてのために $x \in \mathbb R$。次に$\eta(x)$ すべてに対して未定義です $x \in \mathbb R$、私を混乱させます。

この点について詳しく教えていただけますか?

3 answers

2
Lorenzo Najt 2020-09-10 13:44.

いくつかのコメント:

  1. 設定がそれであると仮定することから直感を得ることができます $(X,Y)$ いくつかのプロセスです $Y$ の実現に依存する分布からサンプリングされます $X$。たとえば、多分$X \sim Unif([0,1])$、および $Y$ バイアスのある独立したコインからのサンプルです $X$。条件付き$X = 1/2$$Y$公正なコインです。これはとにかく学習理論のコンテキストにかなり近いです-いくつかの機能があります、$X$、およびクラス $Y$ 機能のいくつかのランダムな関数です。

    この状況も本質的に一般的であり、3で正確に説明されています。したがって、これが分類子を学習しようとしているデータのストーリーであると想像しても害はありません。(以来$Y$ はバイナリ確率変数です。5までスキップできます。)

  2. 場合 $(X,Y)$ 継続的なPDFがあります $p(x,y)$、次に定義できます $p_x(y) = \frac{ p(x,y)}{ \int_{\mathbb{R}} p(x,y) dy }$ のPDFとして $Y$ 条件付き $X = x$。分母の積分がゼロ以外である必要がありますが、これはより弱い条件です$P(X = x) > 0$。この特定のケースでは、$Y$ はバイナリ変数なので、 $p_x(y) = \frac{ p(x,y)}{p(x,0) + p(x,1)}$。見るhttps://en.wikipedia.org/wiki/Conditional_probability_distribution#Conditional_continuous_distributions ただし、形式主義のいくつかについて説明します。

  3. メジャーゼロセットの条件付き確率の概念を定義できます。 https://en.wikipedia.org/wiki/Disintegration_theorem。理論を学ぶのに本当に必要ではなく、一般的にそれを構築することはかなり技術的であるため、興味がない限り心配することはありません(もしそうなら、チャンとポラードによるウィキペディアの調査は読む価値があります。ポラードの「ユーザーズガイド」の5)。ただし、重要なコメントの1つは、すべての条件付き分布を一度に構築する必要があるということです。これらは、上の分布のファミリーとして定義されています。$X$。そうしないと、次のような問題が発生します。https://en.wikipedia.org/wiki/Borel%E2%80%93Kolmogorov_paradox

    あなたはそれを確認することができます $p_x(y)$上で定義したように、実際には崩壊をもたらします。それ以外に、これを維持するためにどのような条件が必要かわかりません$p_x(y)$は明確に定義されており、その検証で書き留めたすべての積分は理にかなっています。特にそうは思いません$p(x,y)$ 連続PDFである必要がありますが、ダブルチェックへの参照を見つけたいと思います。

    これが表記のための検証のスケッチです $\mu_x, \nu$ウィキペディアを参照してください。(いくつかの表記クラスがあることに注意してください-彼らが呼ぶもの$Y$ ここでは $X \times Y$):プッシュフォワード測度は $d \nu(x) = (\int_{\mathbb{R}} p(x,y) dy) dx$$\mu_x(y) = p_x(y) dy$ ファイバー上 $\{x\} \times \mathbb{R}$。これをウィキペディアの数式にプラグインすると、$\int_X (\int_{\pi^{-1}(x)} f(x,y) d \mu_x(y) ) d\nu(x)$、あなたは得る:

$$\int_{\mathbb{R}} \int_{\mathbb{R}} f(x,y) \frac{ p(x,y)}{ \int_{\mathbb{R}} p(x,y) dy } dy (\int_{\mathbb{R}} p(x,y) dy) dx = \int_{\mathbb{R}^2} f(x,y) p(x,y) dxdy.$$

  1. 学習理論の観点からは、崩壊を修正するイメージングを行い、それを条件付き確率の概念として扱うことは理にかなっていると思います。 $Y$。で定義されているのはaeだけですが$X$、あなたはいくつかの恣意的な分類をしていません $X$、ただし、ディストリビューションから作成されたもの。したがって、崩壊の2つの異なる固定された選択の間の不一致を「見る」ことは決してありません。特に、あなたは式によって与えられる特に素晴らしい崩壊を取ることができます$p_x(y)$。また、これは、配布物を最初の箇条書きで説明した種類のものであるかのように扱うことができることを意味します。

  2. 場合 $Y$$\{0,1\}$ 確率変数、 $P(Y = 1) = \mathbb{E}[Y]$。定義できる別の方法$P ( Y = 1 | X = x) = E [ Y | X = x]$コンディショニングによるものです。確率変数$E [ Y |X ]$ です $\sigma(X)$ 測定可能、 https://en.wikipedia.org/wiki/Doob%E2%80%93Dynkin_lemma $f$$E [ Y |X ] = f(X)$。その後、定義することができます$E[Y | X = x] = f(x)$。崩壊のように、これはほぼ確実に同等になるまでしか定義されないことに注意してください。$E[Y|X]$ほぼ確実に同等になるまでは一意です。ただし、素敵な代表者を選ぶことができます。たとえば、$Y$ からの独立したコイントスです $X$ バイアスあり $p$、その後 $E[Y|X] = p$、だから私たちは取ることができます $E[ Y|X = x] = p$

2
littleO 2020-09-10 16:50.

いい質問だと思います。これが1つの答え、または少なくとも部分的な答えです。仮定$f$ 共同PDFです-PMF $X$ そして $Y$、 そのため $$f(x, y) \Delta x \approx P(X \in [x, x+\Delta x] \text{ and } Y = y).$$ 次に、式 $P(Y = 1 \mid X = x)$ を意味するように定義することができます $\frac{f(x, 1)}{f(x,0) + f(x,1)}$。なぜこれが合理的な定義なのですか?直感的に、$\Delta x$ は小さな正の数です $P(Y = 1 \mid X = x)$ほぼ等しくなければならない \開始{ALIGN} P(Y = 1 \半ばX \で[X、X + \デルタX])&= \ FRAC {P(Y = 1、[xのX \、X + \デルタX ])} {P(X \ in [x、x + \ Delta x])} \\&\ approx \ frac {f(x、1)\ Delta x} {f(x、0)\ Delta x + f( x、1)\ Delta x} \\&= \ frac {f(x、1)} {f(x、0)+ f(x、1)}。\ end {align} しかし、私はこの説明に完全には満足していません。

0
MONODA43 2020-09-10 10:49.

私はあなたの質問を理解していないので、私がそれに答えていない場合は私に知らせてください:あなたはについて誤解していると思います $\eta$。それは確率です$Y=1$ の値が与えられた $X$、したがって、一般的にはそうではありません $0$、あなたが与えた例でも。

あなたの例に基づいて: $Y$ パラメータ付きのベルヌーイとして配布されます $p$ とは独立 $X$、その後 $\eta(x) =p$ 0ではありません。

ちなみにそれは素晴らしい本です。そこには興味深い問題がたくさんあります。

Related questions

MORE COOL STUFF

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは、夫に会ったとき、典型的な交際のアドバイスに逆らいました。

マイケルシーンが非営利の俳優である理由

マイケルシーンが非営利の俳優である理由

マイケルシーンは非営利の俳優ですが、それは正確にはどういう意味ですか?

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

特徴的なスターのコリン・エッグレスフィールドは、RomaDrama Liveでのスリル満点のファンとの出会いについて料理しました!加えて、大会での彼のINSPIREプログラム。

「たどりつけば」をオンラインでストリーミングできない理由

「たどりつけば」をオンラインでストリーミングできない理由

ノーザンエクスポージャーが90年代の最も人気のある番組の1つになった理由を確認するには、Blu-rayまたはDVDプレーヤーをほこりで払う必要があります。

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖は、世界で2番目に大きいボイリング湖です。そこにたどり着くまでのトレッキングは大変で長いですが、努力する価値は十分にあります。

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

サロンからのヘアトリミングや個人的な寄付は、油流出を吸収して環境を保護するのに役立つマットとして再利用できます。

ホワイトハウスの最も記憶に残る結婚式を見てください

ホワイトハウスの最も記憶に残る結婚式を見てください

過去200年以上の間にホワイトハウスで結婚したのはほんの数人です。彼らは誰でしたか、そしてそこで結婚式を獲得するために何が必要ですか?

グッドジョブ、ESPN

グッドジョブ、ESPN

今日のホワイトハウスの記者会見で、報道官のサラ・ハッカビー・サンダースは、スポーツセンターのホストであるイェメル・ヒルのドナルド・トランプに関する最近のツイートについてコメントするよう求められ、大統領と彼の政策を白人至上主義者として説明した。ヒルは彼女のつぶやきのためにESPNによって公に叱責されました。

アマゾンからのこのレミントンツールセールで髪を整える、スタイルを整える、乾かす、または取り除く

アマゾンからのこのレミントンツールセールで髪を整える、スタイルを整える、乾かす、または取り除く

基本的に頭のあらゆる部分から髪の毛を整えたり、ブロードライしたり、まっすぐにしたり、脱毛したりする必要がある場合は、このレミントンゴールドボックスが最適です。今日だけ、Amazonは、すでに人気のあるShortcut Pro Self-HaircutKitやPearlPro Ceramic Flat Ironのように、グルーミングをはるかに簡単にするヘアツールをマークダウンしています。

カナダの元桂冠詩人が、史上最高の文化の盗用でトゥパックとマヤアンジェロウから盗んだ

カナダの元桂冠詩人が、史上最高の文化の盗用でトゥパックとマヤアンジェロウから盗んだ

トゥパックシャクール(ティムモーゼンフェルダー/ゲッティイメージズ); マヤアンジェロウ(マーティンゴッドウィン/ゲッティイメージズ)移動、テイラースウィフト。ケンドールとカイリーは、必要な数の座席を持っています。

テスラは、ハリケーンイルマによる避難を容易にするために、フロリダでの車両の範囲を拡大しています

テスラは、ハリケーンイルマによる避難を容易にするために、フロリダでの車両の範囲を拡大しています

写真:Tesla Motorsフロリダに住んでいて、Tesla Model S、Model X 60、またはModel 60Dを使用している場合、車の自律性は50 km(約30マイル)高くなります。これは失敗ではなく、ハリケーンイルマによる避難作業を容易にするために会社自身が命じた自治権の一時的な延長です。

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya shared a sweet photo in honor of boyfriend Tom Holland's 26th birthday Wednesday

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

シーレン「Ms.JuicyBaby」ピアソンは、先月脳卒中で入院した後、「もう一度たくさんのことをする方法を学ばなければならない」ため、言語療法を受けていることを明らかにしました。

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

オスカー受賞者の世紀半ばの家には、3つのベッドルーム、2つのバス、オーシャンフロントの景色があります。

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、生後4か月の娘、モナコに母乳育児をしていると語った。

投資ノート:Bioscout AU$300万シード

投資ノート:Bioscout AU$300万シード

Bioscoutは、農家を運転席に置くという使命を負っています。Artesian(GrainInnovate)やUniseedと並んで、最新のシードラウンドでチームを支援できることをうれしく思います。問題真菌症による重大な作物の損失は、農民にとって試練であることが証明されています。

リトルマーケットリサーチ1| 2022年のクイックグリンプス遠隔医療市場

リトルマーケットリサーチ1| 2022年のクイックグリンプス遠隔医療市場

遠隔医療は、パンデミック後の時代では新しいものではなく、時代遅れの分野でもありません。しかし、業界を詳しく見ると、需要と供給の強力な持続可能性と、米国で絶え間ない革命となる強力な潜在的成長曲線を示しています。

スタートアップ資金調達環境:タイのスタートアップエコシステムの次は何ですか?

スタートアップ資金調達環境:タイのスタートアップエコシステムの次は何ですか?

2021年は、世界的なベンチャーキャピタル(VC)の資金調達にとって記録的な年でした。DealStreetAsiaによると、東南アジアも例外ではなく、この地域では年間で記録的な25の新しいユニコーンが採掘されました。

ムーアの法則を超えて

ムーアの法則を超えて

計算に対する私たちの欲求とムーアの法則が提供できるものとの間には、指数関数的に増大するギャップがあります。私たちの文明は計算に基づいています—建築と想像力の現在の限界を超える技術を見つけなければなりません。

Language