[Paper Review] Hilbert Space Methods for Reduced-Rank Gaussian Process Regression
이 포스팅은 A. Solin et al. (2014)의 논문 Hilbert Space Methods for Reduced-Rank Gaussian Process Regression을 읽고 정리한 글입니다.
Tag
- Gaussian Process 5
- Variational Inference 5
- Regression 4
- Dimensionality Reduction 4
- Bayesian Additive Regression Tree 3
- Regression Tree 2
- Graph Convolutional Network 2
- Change Point Detection 2
- PCA 2
- PPCA 2
- Filtering 2
- Bayesian Deep Learning 2
- Markov Chain Monte Carlo 1
- Bayesian Kernel Machine Regression 1
- Classification 1
- Rocket 1
- Graph Attention Network 1
- Normalizing Flow 1
- Generative Model 1
- Bayesian Neural Network 1
- Spatial-Temporal Analysis 1
- PyMC 1
- Python 1
- Online Method 1
- Natural Gradient 1
- Mixture of Experts 1
- MoE 1
- Continual Learning 1
- K-prior 1
- BPCA 1
- ICA 1
- Latent Variable Model 1
- Bayesian Additive Regression Networks 1
- Generalized Bayesian Additiv Regression Trees 1
- Linear Regression 1
- Ordinary Least Squares 1
- OLS 1
- TabPFN 1
- Transformer 1
- Meta-learning 1
- GraphPCA 1
- Manifold Learning 1
- Akaike Information Criterion 1
- Bayesian Information Criterion 1
- Information Criterion 1
- State Space Model 1
- Bayesian Filtering 1
- Kalman Filter 1
- Particle Filter 1
- SMC 1
- Sequential Monte Carlo 1
- Importance Sampling 1
- Generalized Variational Inference 1
- Gibbs Posteriors 1
- Generalized Bayes 1
- PAC-Bayes 1
Gaussian Process
[Paper Review] Gaussian Processes Over Graphs
이 포스팅은 Venkitaraman et al. (2018) 의 논문 Gaussian Processes Over Graphs를 읽고 정리한 글입니다.
Gaussian Process(GP)
이 포스팅은 Gaussian Process에 대한 개념을 소개하는 글입니다.
[Paper Review] GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
이 포스팅은 Maia et al. (2022)의 논문 “GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes”를 읽고 정리한 글입니다.
Bayesian Kernel Machine Regression (BKMR)
본 포스팅에서는 Bayesian Kernel Machine Regression (BKMR)의 이론적 배경을 정리하고 간단한 실습을 진행합니다.
Variational Inference
Variational Inference
이 포스팅은 Variational Inference(VI) 를 정리한 글입니다. Introduction 베이지안 추론의 목표는 관측 데이터 $y$ 에 대해 사후분포(posterior) [p(\theta \mid y) \propto p(\theta)\, p(y \mi...
Bayesian ICA
이 포스팅은 Bayesian Independent Component Analysis (Bayesian ICA) 에 대해 공부하며 정리한 글입니다.
Natural Gradient for Variational Inference
이 포스팅은 Amari (1998)의 Natural Gradient 개념과 Variational Inference에서의 응용을 정리한 글입니다.
[Paper Review] Normalizing Flows: Probabilistic Modeling and Inference
이 포스팅은 Papamakarios et al. (2021)의 “Normalizing Flows for Probabilistic Modeling and Inference”, Kobyzev et al. (2021)의 “Normalizing Flows: An Introductio...
[Paper Review] The Bayesian Learning Rule
이 포스팅은 Khan 등 (2023)의 논문 “The Bayesian Learning Rule”를 읽고 정리한 글입니다.
Regression
Linear Regression
Linear Regressio은 연속형 반응 변수와 설명 변수의 선형 관계를 모델링하는 가장 기본적인 통계 모델입니다. 이 글에서는 OLS(Ordinary Least Squares)의 수식적 구조, 가정, 해석을 중심으로 정리하고, 간단한 파이썬 실습을 해보려고 합니다.
[Paper Review] Hilbert Space Methods for Reduced-Rank Gaussian Process Regression
이 포스팅은 A. Solin et al. (2014)의 논문 Hilbert Space Methods for Reduced-Rank Gaussian Process Regression을 읽고 정리한 글입니다.
[Paper Review] The Bayesian Learning Rule
이 포스팅은 Khan 등 (2023)의 논문 “The Bayesian Learning Rule”를 읽고 정리한 글입니다.
Bayesian Linear Regression
이 포스팅은 Bayesian Linear Regression에 대한 개념을 소개하는 글입니다.
Dimensionality Reduction
Graph PCA
개요 데이터의 저차원 표현을 학습하면서, 그래프 인접성(유사도)을 보존하도록 정규화 항을 추가한 PCA 변형입니다. 핵심은 그래프 라플라시안 $L$을 이용한 매끄러움(smoothness) 패널티 $λ tr(Z^T L Z)$ 입니다. 이 항은 그래프에서 이웃한 노드들의 임베...
Probabilistic PCA
이 포스팅은 Probabilistic Principal Component Analysis (PPCA)에 대해 공부하며 정리한 글입니다. Tipping & Bishop (1999)의 고전 논문을 기반으로 수학적 정의, 추론 과정, 장단점을 설명하겠습니다.
Bayesian PCA
이 포스팅은 Bayesian Principal Component Analysis (BPCA)에 대해 공부하고 정리한 글입니다.
Variety of Methods for Dimensionality Reduction
이 포스팅은 여러가지 차원축소(Dimensionality Reduction)기법들에 대해 소개하고 간단한 시각화를 해보는 글입니다.
Bayesian Additive Regression Tree
[Paper Review] Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
이 포스팅은 Linero (2023) 의 논문 Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy 을 읽고 정리한 글입니다.
[Paper Review] GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
이 포스팅은 Maia et al. (2022)의 논문 “GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes”를 읽고 정리한 글입니다.
[Paper Review] BART : Bayesian Additive Regression Tree
이 포스팅은 Chipman et al. (2010)의 논문 “BART: Bayesian Additive Regression Trees”를 읽고 정리한 글입니다.
Regression Tree
[Paper Review] GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
이 포스팅은 Maia et al. (2022)의 논문 “GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes”를 읽고 정리한 글입니다.
[Paper Review] BART : Bayesian Additive Regression Tree
이 포스팅은 Chipman et al. (2010)의 논문 “BART: Bayesian Additive Regression Trees”를 읽고 정리한 글입니다.
Graph Convolutional Network
[Paper Review] Bayesian graph convolutional neural networks for semi-supervised classification
이 포스팅은 “Bayesian Graph Convolutional Neural Networks for Semi-supervised Classification” 논문을 읽고 BGCNN에 대해 정리한 글입니다.
[Paper Review] SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
이 포스팅은 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 논문을 읽고 정리한 글입니다.
Change Point Detection
[Paper Review] GRAPH-BASED CHANGE-POINT DETECTION
이 포스팅은 H.Chen et el. (2014)의 논문 Graph-Based Change-Point Detection을 읽고 정리한 글입니다.
Bayesian Online Change Point Detection
이 포스팅은 Bayesian Online Changepoint Detection에 대한 글입니다.
PCA
Probabilistic PCA
이 포스팅은 Probabilistic Principal Component Analysis (PPCA)에 대해 공부하며 정리한 글입니다. Tipping & Bishop (1999)의 고전 논문을 기반으로 수학적 정의, 추론 과정, 장단점을 설명하겠습니다.
Bayesian PCA
이 포스팅은 Bayesian Principal Component Analysis (BPCA)에 대해 공부하고 정리한 글입니다.
PPCA
Probabilistic PCA
이 포스팅은 Probabilistic Principal Component Analysis (PPCA)에 대해 공부하며 정리한 글입니다. Tipping & Bishop (1999)의 고전 논문을 기반으로 수학적 정의, 추론 과정, 장단점을 설명하겠습니다.
Bayesian PCA
이 포스팅은 Bayesian Principal Component Analysis (BPCA)에 대해 공부하고 정리한 글입니다.
Filtering
Particle Filter : Sequential Monte Carlo
이 포스팅은 Sequential Monte Carlo(SMC) 방법의 대표 알고리즘인 Particle Filter 의 핵심 개념과 구조를 정리한 글입니다. “Filtering & State Space Model” 에 이어지는 내용입니다. Introduc...
Filtering & State Space Model
이 포스팅은 동적 시스템(Dynamic System)에서의 필터링(Filtering) 과 상태공간모형(State-Space Model) 에 대한 기본 개념을 정리한 글입니다. Introduction 현실 세계의 많은 문제는 시간에 따라 변화하는 시스템을 다루고 있으며, ...
Bayesian Deep Learning
[Paper Review] Generalized Variational Inference: Three arguments for deriving new posteriors
이 포스팅은 Knoblauch, Jewson, Damoulas (2019) 의 “Generalized Variational Inference: Three arguments for deriving new posteriors” 를 읽고 정리한 글입니다. Introducti...
Variational Inference
이 포스팅은 Variational Inference(VI) 를 정리한 글입니다. Introduction 베이지안 추론의 목표는 관측 데이터 $y$ 에 대해 사후분포(posterior) [p(\theta \mid y) \propto p(\theta)\, p(y \mi...
Markov Chain Monte Carlo
MCMC Sampling in Bayesian Models
본 포스팅에서는 베이지안 추론에서 핵심이 되는 MCMC(Markov Chain Monte Carlo) 알고리즘의 원리와 구현 방식을 살펴보겠습니다.
Bayesian Kernel Machine Regression
Bayesian Kernel Machine Regression (BKMR)
본 포스팅에서는 Bayesian Kernel Machine Regression (BKMR)의 이론적 배경을 정리하고 간단한 실습을 진행합니다.
Classification
[Paper Review] ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels
이 포스팅은 Dempster et al. (2020)의 논문 “ROCKET: Exceptionally Fast and Accurate Time Series Classification Using Random Convolutional Kernels” 을 바탕으로 내용을 정리한 글...
Rocket
[Paper Review] ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels
이 포스팅은 Dempster et al. (2020)의 논문 “ROCKET: Exceptionally Fast and Accurate Time Series Classification Using Random Convolutional Kernels” 을 바탕으로 내용을 정리한 글...
Graph Attention Network
[Paper Review] Graph Attention Networks
이 포스팅은 Velickovic et al. (2018) 의 논문 Graph Attention Networks를 읽고 정리한 글입니다.
Normalizing Flow
[Paper Review] Normalizing Flows: Probabilistic Modeling and Inference
이 포스팅은 Papamakarios et al. (2021)의 “Normalizing Flows for Probabilistic Modeling and Inference”, Kobyzev et al. (2021)의 “Normalizing Flows: An Introductio...
Generative Model
[Paper Review] Normalizing Flows: Probabilistic Modeling and Inference
이 포스팅은 Papamakarios et al. (2021)의 “Normalizing Flows for Probabilistic Modeling and Inference”, Kobyzev et al. (2021)의 “Normalizing Flows: An Introductio...
Bayesian Neural Network
[Paper Review] Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Model
이 포스팅은 “Make Me a BNN: A Simple, Scalable Strategy for Estimating Bayesian Uncertainty” 논문을 읽고 ABNN의 핵심 아이디어에 대해 정리한 글입니다.
Spatial-Temporal Analysis
Moran’s I Statistics
이 포스팅은 공간통계에서 자주 사용하는 공간 자기상관에 대한 통계량 Moran’s I에 대해 설명하는 글입니다.
PyMC
PyMC를 이용한 베이지안 모델링
Introduction
Python
PyMC를 이용한 베이지안 모델링
Introduction
Online Method
Bayesian Online Change Point Detection
이 포스팅은 Bayesian Online Changepoint Detection에 대한 글입니다.
Natural Gradient
Natural Gradient for Variational Inference
이 포스팅은 Amari (1998)의 Natural Gradient 개념과 Variational Inference에서의 응용을 정리한 글입니다.
Mixture of Experts
Mixture of Experts (MoE)
이 포스팅은 Mixture of Experts(MoE)의 개념을 정리하고, 전통적인 Ensemble과 비교하여 차이를 설명합니다.
MoE
Mixture of Experts (MoE)
이 포스팅은 Mixture of Experts(MoE)의 개념을 정리하고, 전통적인 Ensemble과 비교하여 차이를 설명합니다.
Continual Learning
[Paper Review] Compact Memory for K-prior Based Continual Learning
이 포스팅은 지속학습(Continual Learning)에서의 K-prior 기반 Compact Memory 논문 “Compact Memory for K-prior Based Continual Learning”을 정리한 글입니다.
K-prior
[Paper Review] Compact Memory for K-prior Based Continual Learning
이 포스팅은 지속학습(Continual Learning)에서의 K-prior 기반 Compact Memory 논문 “Compact Memory for K-prior Based Continual Learning”을 정리한 글입니다.
BPCA
Bayesian PCA
이 포스팅은 Bayesian Principal Component Analysis (BPCA)에 대해 공부하고 정리한 글입니다.
ICA
Bayesian ICA
이 포스팅은 Bayesian Independent Component Analysis (Bayesian ICA) 에 대해 공부하며 정리한 글입니다.
Latent Variable Model
Bayesian ICA
이 포스팅은 Bayesian Independent Component Analysis (Bayesian ICA) 에 대해 공부하며 정리한 글입니다.
Bayesian Additive Regression Networks
[Paper Review] Bayesian Additive Regression Networks (BARN)
이 포스팅은 Bayesian Additive Regression Networks (BARN) Linero, 2024; arXiv:2404.04425v1 을 읽고 정리한 글입니다.
Generalized Bayesian Additiv Regression Trees
[Paper Review] Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
이 포스팅은 Linero (2023) 의 논문 Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy 을 읽고 정리한 글입니다.
Linear Regression
Linear Regression
Linear Regressio은 연속형 반응 변수와 설명 변수의 선형 관계를 모델링하는 가장 기본적인 통계 모델입니다. 이 글에서는 OLS(Ordinary Least Squares)의 수식적 구조, 가정, 해석을 중심으로 정리하고, 간단한 파이썬 실습을 해보려고 합니다.
Ordinary Least Squares
Linear Regression
Linear Regressio은 연속형 반응 변수와 설명 변수의 선형 관계를 모델링하는 가장 기본적인 통계 모델입니다. 이 글에서는 OLS(Ordinary Least Squares)의 수식적 구조, 가정, 해석을 중심으로 정리하고, 간단한 파이썬 실습을 해보려고 합니다.
OLS
Linear Regression
Linear Regressio은 연속형 반응 변수와 설명 변수의 선형 관계를 모델링하는 가장 기본적인 통계 모델입니다. 이 글에서는 OLS(Ordinary Least Squares)의 수식적 구조, 가정, 해석을 중심으로 정리하고, 간단한 파이썬 실습을 해보려고 합니다.
TabPFN
TabPFN: Foundation Models for Tabular Data
Introduction: The Last Frontier of Tabular Data
Transformer
TabPFN: Foundation Models for Tabular Data
Introduction: The Last Frontier of Tabular Data
Meta-learning
TabPFN: Foundation Models for Tabular Data
Introduction: The Last Frontier of Tabular Data
GraphPCA
Graph PCA
개요 데이터의 저차원 표현을 학습하면서, 그래프 인접성(유사도)을 보존하도록 정규화 항을 추가한 PCA 변형입니다. 핵심은 그래프 라플라시안 $L$을 이용한 매끄러움(smoothness) 패널티 $λ tr(Z^T L Z)$ 입니다. 이 항은 그래프에서 이웃한 노드들의 임베...
Manifold Learning
Graph PCA
개요 데이터의 저차원 표현을 학습하면서, 그래프 인접성(유사도)을 보존하도록 정규화 항을 추가한 PCA 변형입니다. 핵심은 그래프 라플라시안 $L$을 이용한 매끄러움(smoothness) 패널티 $λ tr(Z^T L Z)$ 입니다. 이 항은 그래프에서 이웃한 노드들의 임베...
Akaike Information Criterion
AIC & BIC
회귀분석에 대한 기본적인 내용은 Linear Regression 포스팅을 참고해주세요
Bayesian Information Criterion
AIC & BIC
회귀분석에 대한 기본적인 내용은 Linear Regression 포스팅을 참고해주세요
Information Criterion
AIC & BIC
회귀분석에 대한 기본적인 내용은 Linear Regression 포스팅을 참고해주세요
State Space Model
Filtering & State Space Model
이 포스팅은 동적 시스템(Dynamic System)에서의 필터링(Filtering) 과 상태공간모형(State-Space Model) 에 대한 기본 개념을 정리한 글입니다. Introduction 현실 세계의 많은 문제는 시간에 따라 변화하는 시스템을 다루고 있으며, ...
Bayesian Filtering
Filtering & State Space Model
이 포스팅은 동적 시스템(Dynamic System)에서의 필터링(Filtering) 과 상태공간모형(State-Space Model) 에 대한 기본 개념을 정리한 글입니다. Introduction 현실 세계의 많은 문제는 시간에 따라 변화하는 시스템을 다루고 있으며, ...
Kalman Filter
Filtering & State Space Model
이 포스팅은 동적 시스템(Dynamic System)에서의 필터링(Filtering) 과 상태공간모형(State-Space Model) 에 대한 기본 개념을 정리한 글입니다. Introduction 현실 세계의 많은 문제는 시간에 따라 변화하는 시스템을 다루고 있으며, ...
Particle Filter
Particle Filter : Sequential Monte Carlo
이 포스팅은 Sequential Monte Carlo(SMC) 방법의 대표 알고리즘인 Particle Filter 의 핵심 개념과 구조를 정리한 글입니다. “Filtering & State Space Model” 에 이어지는 내용입니다. Introduc...
SMC
Particle Filter : Sequential Monte Carlo
이 포스팅은 Sequential Monte Carlo(SMC) 방법의 대표 알고리즘인 Particle Filter 의 핵심 개념과 구조를 정리한 글입니다. “Filtering & State Space Model” 에 이어지는 내용입니다. Introduc...
Sequential Monte Carlo
Particle Filter : Sequential Monte Carlo
이 포스팅은 Sequential Monte Carlo(SMC) 방법의 대표 알고리즘인 Particle Filter 의 핵심 개념과 구조를 정리한 글입니다. “Filtering & State Space Model” 에 이어지는 내용입니다. Introduc...
Importance Sampling
Particle Filter : Sequential Monte Carlo
이 포스팅은 Sequential Monte Carlo(SMC) 방법의 대표 알고리즘인 Particle Filter 의 핵심 개념과 구조를 정리한 글입니다. “Filtering & State Space Model” 에 이어지는 내용입니다. Introduc...
Generalized Variational Inference
[Paper Review] Generalized Variational Inference: Three arguments for deriving new posteriors
이 포스팅은 Knoblauch, Jewson, Damoulas (2019) 의 “Generalized Variational Inference: Three arguments for deriving new posteriors” 를 읽고 정리한 글입니다. Introducti...
Gibbs Posteriors
Gibbs Posteriors
이 포스팅은 모델 Misspecification에 강건한 Gibbs Posteriors (or Generalized Posteriors)에 대해 정리합니다. Introduction: Standard Bayes의 한계 이전 포스팅에서 다룬 Variational Infere...
Generalized Bayes
Gibbs Posteriors
이 포스팅은 모델 Misspecification에 강건한 Gibbs Posteriors (or Generalized Posteriors)에 대해 정리합니다. Introduction: Standard Bayes의 한계 이전 포스팅에서 다룬 Variational Infere...
PAC-Bayes
Gibbs Posteriors
이 포스팅은 모델 Misspecification에 강건한 Gibbs Posteriors (or Generalized Posteriors)에 대해 정리합니다. Introduction: Standard Bayes의 한계 이전 포스팅에서 다룬 Variational Infere...