エントロピー(entropy)は確率分布の類似度を計算するKLダイバージェンスなど、統計学や機械学習の分野で様々な形で用いられる。当記事では「Pattern Recognition and Machine Learnin…
Hello Statisticians!
エントロピー(entropy)は確率分布の類似度を計算するKLダイバージェンスなど、統計学や機械学習の分野で様々な形で用いられる。当記事では「Pattern Recognition and Machine Learnin…
スターリングの近似(Stirling’s approximation)は$t$分布の極限やエントロピーを考える際に出てくるなど応用範囲が広い一方で、式のみが出てくることが多く、解説されている機会が少ないように思われる。そ…