行列の各固有値(eigen value)に対応する固有ベクトル(eigen vector)を用いることで行列の対角化(diagonalization)を行うことが可能です。当記事では直交行列を用いた実対称行列の対角化につ…
Hello Statisticians!
行列の各固有値(eigen value)に対応する固有ベクトル(eigen vector)を用いることで行列の対角化(diagonalization)を行うことが可能です。当記事では直交行列を用いた実対称行列の対角化につ…
線形代数の枠組みで$n$次正方行列の行列式(determinant)を取り扱うにあたっては置換(permutation)という概念を抑えておく必要があります。当記事では置換行列(permutation matrix)につ…
ハウスホルダー行列(Householder Matrix)は固有値解析にあたって行列の三重対角化を行う際などに用いられます。当記事ではハウスホルダー行列(Householder Matrix)の定義と成立する定理の導出…
$n$個の変数についての$2$次の単項式$x_i, x_j$の実数係数の$1$次結合の式を$2$次形式といいます。当記事では二次形式(quadratic form)と対称行列(symmetric matrix)の対応につ…
回転行列(Rotation Matrix)やReflection Matrixはシンプルに定義できる行列である一方でベクトルの回転や指定したベクトルの反対側への移動など、図形に有用な変換が可能です。当記事では$2$Dにお…
線形代数の枠組みで$n$次正方行列の行列式(determinant)を取り扱うにあたっては置換(permutation)という概念を抑えておく必要があります。当記事では置換(permutation)と行列式(determ…
ベクトル(vector)や行列(matrix)のノルム(norm)は類似度の計算など、様々な場面で応用される重要トピックです。当記事ではシンプルかつよく用いられるフロベニウスノルムに加えて行列のpノルム(p-norm)の…
ベクトル(vector)や行列(matrix)のノルム(norm)は類似度の計算など、様々な場面で応用される重要トピックです。当記事ではベクトルのpノルム(p-norm)の定義と成立する等式(equality)や不等式(…
LoRA(Low-Rank Adaptation)の論文ではPrincipal Angleに基づいてTransformerにおけるLoRAで用いる行列のランク$r$について実験が行われます。当記事ではPrincipal …
Fine-Tuningを行うにあたって、低ランクの行列分解に基づく手法であるLoRA(Low-Rank Adaptation)は実用上の観点から大変有力な手法です。当記事ではLoRAの概要とLoRAのTransforme…