統計に関する用語、また、それと合わせて各種公式を解説します。
内容には十分注意していますが、何か気付いたことがありましたら連絡ください。
記述統計
・幹葉図
・ローレンツ曲線、ジニ係数
・スピアマンの順位相関係数の導出
・偏相関係数
・ラスパイレス指数
・モーメント
推測統計
・母集団分布・標本分布・統計量
・推測統計フローチャート
・点推定
・有意水準・検出力・サンプルサイズ設計
・標本調査法
検定
確率・確率変数・確率分布
確率分布
・期待値、分散の公式
・$V[X+Y] = V[X] + V[Y] + 2 \mathrm{Cov}(X,Y)$などの導出
・確率分布の表現方法
・離散型確率分布
・連続型確率分布
・正規分布の平均・分散・歪度・尖度の計算
・指数分布の平均・分散・歪度・尖度の計算
・対数正規分布
・確率分布の再生性
・多次元の確率変数の変換
・確率密度関数、確率エレメント、定積分に対する変数変換のフローチャート
・中心極限定理の概要、応用、導出
・正規分布のパラメータと確率密度関数の形状
・$X \sim \mathcal{N}(\mu_1,\sigma_1^2), Y \sim \mathcal{N}(\mu_2,\sigma_2^2) \implies X-Y \sim \mathcal{N}(\mu_1-\mu_2,\sigma_1^2+\sigma_2^2)$の導出
・超幾何分布
・ガンマ分布
・ベータ分布
・ワイブル分布
・ディリクレ分布
・$t$分布の自由度と正規分布やコーシー分布との対応
・正規分布間のKLダイバージェンスのグラフ化
・ソフトマックス関数とKLダイバージェンス
・JSダイバージェンスの定義と対称性
最尤法・GLM
ベイズ
・Pythonで学ぶ統計モデリング（運営者作成）
・共役事前分布
・ジェフリーズの事前分布
・ベイズ線形回帰と事後分布・予測分布
・ベイズ統計学の用語まとめ
多次元正規分布
・多次元正規分布の確率密度関数の直感的な理解
・多次元正規分布における条件付き確率分布の数式の導出
・$2$次元正規分布における条件付き確率分布・周辺分布の数式の導出
・二次形式の平方完成の計算の流れ
・シューア補行列に基づく逆行列の公式を用いた多次元正規分布の精度行列の導出
・多次元正規分布における周辺分布の数式の導出
・多次元正規分布におけるベイズの定理を用いた条件付き確率・周辺確率の導出
回帰
応用
擬似乱数の生成と活用
・乱数生成の基本アルゴリズム
・逆関数法の原理と指数分布に基づく乱数生成
・逆関数法を用いたワイブル分布、ロジスティック分布、コーシー分布の乱数生成
・ボックスミュラー法による標準正規分布に従う乱数の生成
・ガンマ分布に基づく乱数の生成
・モンテカルロ積分
・ランジュバンモンテカルロ法
・重点サンプリング
・ガンベル最大トリック(Gumbel-max trick)
・メルセンヌツイスタ法
最適化
・最適化数学の概要
・凸関数の最適性条件
・最急降下法と直線探索
・直線探索のプログラミング
・勾配法、ニュートン法
・テイラー展開とニュートン法
・多次元ニュートン法
・準ニュートン法、BFGS法
カルシュ・キューン・タッカー(KKT)条件
・逐次$2$次近似法(SOP; Successive Quadratic Programming)
・共役勾配法(Conjugate Gradient Method)の原理
・共役勾配法のPythonプログラム
・Hessian-free optimization
・ローゼンブロック関数
・最大内積探索(MIPS)
ニューラルネットワーク
・活性化関数
・クロスエントロピー(cross entropy)誤差関数
・Adam(Adaptive moment)
NLP・LLM
・Word$2$vecの高速化：重点サンプリング
・Word$2$vecの高速化：雑音対照推定、負例サンプリング
・Byte Pair Encoding
・Transformer
・Transformer【数式なし版】
・Transformerの構成：Encoder-Decoder、Encoder only、Decoder only
・Sparse Attention：Position-based、Content-based
・GPT-$3$
・Switch Transformers
・LLMのパラメータ数の概算法
生成モデル
・スコアベースモデル(SBM)と暗黙的スコアマッチング(ISM)
・デノイジングスコアマッチング(DSM)
強化学習
・方策勾配法の目的関数の定義と勾配の式の導出
・方策勾配法に基づくアルゴリズム：REINFORCE、ベースライン、Actor-Critic
・TRPO
・PPO
・InstructGPT
・Decision Transformer
Graph Neural Network・点群・点集合
・Graph Neural Network入門
・Set Transformer
数理統計学
・正規分布のモーメント母関数の導出
・ダランベールの収束判定法とモーメント母関数の収束半径
・指数分布のモーメント母関数の収束半径
・反転公式と確率分布と特性関数の対応
・「条件付き期待値」と「期待値の繰り返しの公式」
・統計量と標本分布(sampling distribution)の具体例
・マルコフの不等式、チェビシェフの不等式、大数の法則、確率収束、一致推定量
・統計的決定理論(statistical decision theory)
・十分統計量の定義と分解定理
・指数型分布族(exponential family)と完備十分統計量
・バイアス・バリアンス分解と不偏推定量(unbiased estimator)
・クラメルラオの不等式を用いた一様最小分散不偏推定量(UMVU estimator)の判定
・一様分布(uniform distribution)の不偏推定量・最尤推定量
・$0$-$1$損失関数のリスク関数(Risk Function)の導出と第$1$種・第$2$種の過誤の確率
・正規分布の母平均の検定における検出力関数の描画
・指数分布の検出力関数とニュートン法を用いた棄却域の数値計算
・ROC曲線、AUC
・単調尤度比と指数型分布族
・ネイマンピアソンの補題、単調尤度比、一様最強力検定
・指数型分布族と一様最強力不偏検定
・正規方程式(normal equation)
発展トピック
・主成分分析(PCA)
・フィッシャーの線形判別
・混合正規分布とEMアルゴリズム
・統計学におけるオッズ(Odds)の取り扱い
・分散分析(ANOVA)
・計量多次元尺度構成法(MDS)
・t-SNE
・偏自己相関(Partial AutoCorrelation)
・エントロピーの定義とその解釈
・有限非復元抽出における有限修正項の導出
数学
・数列の和の公式とその導出
・三角関数の加法定理・倍角の公式・極限、微分の公式の簡易的な導出
・ネイピア数eの定義と$1^{\infty}$形式の不定形、指数関数・対数関数の微分
・微分の公式とその導出まとめ 〜積・商・合成関数・逆関数の導関数、三角関数の微分 etc〜
・逆三角関数の微分の公式の導出
・凸関数とイェンセンの不等式
・確率分布とマクローリン展開
・行列の定義まとめ
・転置行列(transposed matrix)
・$LU$分解
・グラム・シュミットの正規直交化法
・行列のトレース(trace)
・トレースを用いた行列のフロベニウスノルム・二乗和誤差の表記
・行列式(Determinants)
・LU分解を用いた「連立方程式の解」と「逆行列」の計算
・特異値分解(Singular Value Decomposition)
・グラム・シュミットの正規直交化に基づくQR分解とQR法を用いた固有値の近似
・QR法、逆反復法、LU分解を用いた固有値・固有ベクトルの数値計算
・対称行列の固有値、固有ベクトル
・対称行列の対角化とスペクトル分解
・スターリングの近似
・数理最適化概論
・差分方程式と隣接三項間漸化式
・ラグランジュの未定乗数法
・ヘッセ行列
・フィッシャー情報行列
・フロベニウスの同伴行列
・Helmert変換と直交行列
・マルコフ連鎖
・ヤコビ行列式
・ガウス積分
・三角関数を用いた角度の平均の計算
・メルセンヌ数、メルセンヌ素数と完全数