QR法と逆反復法を組み合わせることで固有値・固有ベクトルの近似計算を行うことができます。QR法は別記事で取り扱ったので、当記事ではべき乗法や逆反復法に関して取りまとめ、QR法で得られた固有値を元に逆反復法を用いて固有ベク…
Hello Statisticians!
投稿者: lib-arts
グラム・シュミットの正規直交化に基づくQR分解とQR法を用いた固有値の近似計算の概要と実装
当記事ではQR分解(QR decomposition)に基づくQR法を用いた固有値の近似計算の概要とPythonを用いた実装に関して取り扱います。QR分解に関してはいくつか手法がありますが、当記事ではグラム・シュミットの…
正射影の式から理解するグラム・シュミット(Gram–Schmidt)の正規直交化法
グラム・シュミットの正規直交化法(Gram–Schmidt orthonormalization)は線型独立な有限個のベクトルで構成される部分空間と同様の部分空間を持つ正規直交系を作り出す手法です。当記事では正射影の式を…
統計学を学ぶにあたって必ず抑えておくべき微積分の定義・公式・基本事項
当記事では「統計学を学ぶにあたって必ず抑えておくべき微積分の定義・公式・基本事項」に関して取り扱います。特に微分の定義、$x^{n}$の微分の公式、微積分を用いた関数の最大・最小問題はあらゆるトピックで出てくるので、何度…
二重中心化(double centering)の概要と$n$次正方行列における導出
「統計学実践ワークブック」の$26$章で取り扱われる「多次元尺度法(MDS; Multi-Dimensional scaling)」の導出に関連して二重中心化(double centering)が唐突に出てくるので、当記…
正規分布からの標本に基づく母平均の二乗$\mu^2$の推定におけるバイアスとジャックナイフ推定量
「統計学実践ワークブック」の$8$章「統計的推定の基礎」のバイアスやジャックナイフ推定量に関する直感的な理解が難しいように思われたので、当記事では具体的に正規分布から標本を発生させることでいくつかの値の確認を行いました。…
正規分布間のKLダイバージェンス(KL-divergence)の値をグラフ化して把握する
確率分布の類似度を計算するにあたってKLダイバージェンスが用いられることが多いですが、式の解釈に関してわかりやすくまとめられていることが少ないように思われます。そこで当記事ではKLダイバージェンスの概略が把握できるように…
必ず抑えておくべき展開・因数分解(factorization)の基本公式
数式変形にあたって、統計学に限らずあらゆる分野で出てくるのが展開と因数分解(factorization)です。当記事では、因数分解の必ず抑えておくべき基本公式と抑えておくと良いその他の公式に関して、それぞれの導出なども合…
行列の基本事項まとめ 〜$2$次元正方行列の積、行列式、逆行列、固有値・固有ベクトル、対角化〜
当記事では$2$次元の行列に対して、「行列の積」、「行列式」、「逆行列」、「固有値・固有ベクトル」、「対角化」などの基本トピックを取り扱います。$2$次元の行列に関してはある程度シンプルな公式があるので、一通り抑えておく…
トレース(trace)を用いた行列のフロベニウスノルム・分類問題における二乗和誤差の計算
分類問題を考える際などに$1$of$K$表記を$N$個のサンプル毎に列挙することで$N \times K$行列を考えることがありますが、この際にトレースを用いて二乗和誤差が計算されることがあります。当記事ではトレースを用…