Stiefel多様体

StiefelとMuonで巨大モデルを安定化

Stiefel（直交制約）とMuon（更新量を整える正規化）を組み合わせる新設計は、巨大モデルの数値安定性と性能向上を両立する可能性があり、実装工夫で実用化が期待されます。