激活函数

1. ReLU（Rectified Linear Unit）

   • 作用：将输入中的负值全部置零，正值保持不变，常用于隐藏层。
   • 数学公式：$$\mathrm{ReLU}(x)=max(0,x)$$

2. LeakyReLU

   • 作用：为了解决 ReLU 在负区间梯度为 0 的问题，LeakyReLU 在负区间给一个很小的斜率（如 0.01）。
   • 数学公式：$$\mathrm{LeakyReLU}(x)=\{\begin{array}{ll}x,& \text{if }x\ge 0\\ \alpha x,& \text{if }x<0\end{array}$$其中 $\alpha$ 通常取 0.01。

3. Sigmoid

   • 作用：将输入映射到 (0, 1) 区间，常用于二分类的输出层。
   • 数学公式：$$\sigma (x)=\frac{1}{1+e^{-x}}$$

4. Tanh（双曲正切）

   • 作用：将输入映射到 (-1, 1) 区间，常用于隐藏层。
   • 数学公式：$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

5. Softmax

   • 作用：将一个向量归一化为概率分布，常用于多分类的输出层。
   • 数学公式（对第 $i$ 个元素）：$$\mathrm{Softmax}(x_i)=\frac{e^{x_i}}{\sum _{j=1}^n{e}^{x_j}}$$其中 $x$ 是输入向量，$n$ 是向量的长度。

填充函数

ReflectionPad2d

• 作用：对输入的四个边界使用反射填充（即边界外的值为边界内的镜像），常用于卷积前的边缘处理，减少边界效应。
• 常见参数：
  • padding：int 或 4 元组，指定每个边的填充大小。例如 padding=1 或 padding=(1, 2, 3, 4) 分别对应左、右、上、下的填充。

ZeroPad2d

• 作用：对输入的四个边界使用零填充，常用于卷积神经网络中保持特征图尺寸或控制感受野。
• 常见参数：
  • padding：int 或 4 元组，指定每个边的填充大小。例如 padding=2 或 padding=(1, 2, 3, 4)。

归一化函数

InstanceNorm2d

• 作用：对每个样本的每个通道分别做归一化，常用于风格迁移等任务，能提升模型的泛化能力。
• 常见参数：
  • num_features：输入的通道数（即 C）。
  • eps：为防止除零而加到分母上的一个很小的数，默认 1e-5。

卷积函数

Conv2d

• 作用：二维卷积层，是 CNN 的核心操作，用于提取空间特征，假设图像尺寸为 $(H,W)$，卷积核尺寸为 $(h,w)$，步长为s，填充为p，膨胀系数为d，则输出尺寸为

• 常见参数：
  • in_channels：输入通道数。
  • out_channels：输出通道数（卷积核个数）。
  • kernel_size：卷积核尺寸，可以是单个 int 或 (h, w) 元组。
  • stride：步幅，默认 1。
  • padding：填充，默认 0。
  • dilation：膨胀系数，默认 1，即填充在卷积核内部的空间。
  • groups：分组卷积，默认 1。
  • bias：是否有偏置项，默认 True。

损失函数

MSELoss

• 作用：均方误差损失（Mean Squared Error Loss），用于回归任务，衡量预测值与真实值之间的均方差。
• 数学公式：$$\mathrm{MSELoss}(x,y)=\frac{1}{n}\sum _{i=1}^n(x_i-y_i{)}^2$$其中 $x$ 为预测值，$y$ 为真实值，$n$ 为样本数。
• 常见参数：
  • reduction：指定输出结果的方式，取值有 'mean'（默认，取均值）、'sum'（求和）、'none'（不聚合，返回每个元素的损失）。

L1Loss

• 作用：平均绝对误差损失（Mean Absolute Error Loss），用于回归任务，衡量预测值与真实值之间的绝对差。
• 数学公式：$$\mathrm{L}1\mathrm{Loss}(x,y)=\frac{1}{n}\sum _{i=1}^n|x_i-y_i|$$其中 $x$ 为预测值，$y$ 为真实值，$n$ 为样本数。
• 常见参数：
  • reduction：指定输出结果的方式，取值同上：'mean'（默认）、'sum'、'none'。

论文链接：CUTS: A Deep Learning and Topological Framework for Multigranular Unsupervised Medical Image Segmentation

此论文并不是基于迁移学习，理论基础是扩散映射。扩散映射（Diffusion Maps）是由 Coifman 和 Lafon 于 2006 年提出的一种非线性降维和数据结构分析方法，其核心思想是通过模拟高维数据上的 “热扩散过程”，捕捉数据的内在几何结构（如流形结构），并将高维数据映射到低维空间以保留关键的拓扑和几何信息。

高斯核（Gaussian Kernel）是一种常用的核函数（Kernel Function），广泛应用于支持向量机（SVM）、核主成分分析（KPCA）、聚类等机器学习任务中，尤其擅长处理非线性问题。其核心原理是通过“隐式映射”将低维空间中线性不可分的数据转换到高维空间，从而在高维空间中实现线性可分，同时避免了直接计算高维空间的复杂运算。

论文链接：Toward Accurate Cardiac MRI Segmentation With Variational Autoencoder-Based Unsupervised Domain Adaptation
论文主要解决了心肌分割的问题，提出无监督域适应方法，将bSSFP(源域)的知识迁移到LGE(目标域)中，实现无需目标域标注的高精度分割。
关于论文的前置知识，可见KL散度、ELBO、VAE等博客。

变分推理与ELBO

定义

变分推理是一种近似推断方法，用于估计难以直接计算的概率分布（如贝叶斯后验分布）。其核心思想是：

• 选择一个简单的参数化分布族 $q(z;\lambda )$（称为变分分布）
• 优化参数 $\lambda$，使 $q(z)$ 尽可能接近目标分布 $p(z|x)$
• 用 $q(z)$ 作为 $p(z|x)$ 的近似

熵

熵（Entropy）是概率论中的一个概念，用于度量概率分布的混乱程度。熵越小，概率分布越均匀，越容易预测。
熵的计算公式为：

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Quick Start

2025.6.19
“我醒了啊，秦SIR！”

天龙八部的遗憾是什么呢？慕容复一生追求的目标，却是段誉一出生就得到的，而段誉追求了大半辈子的王语嫣，却是慕容复轻而易举就可以拥有的。丁春秋杀了多少人。做梦都想得到的武功秘籍，虚竹轻而易举就拿到了，虚竹只想留在少林寺修行，最后却不能回去，而丁春秋作恶的一生，最后却可以留在佛门了却一生。段誉。不想练武，最后却成为了武林高手，而鸠摩智想要追求最高武学，最后却武功尽失，成为了废人。乔峰一心痛恨契丹，最后发现自己就是契丹人，他一辈子想要守护国土保护大宋，最后大宋却没有他的容身之地……天龙，悲！

或许是《射雕英雄传》和《神雕侠侣》的故事早有耳闻，《倚天屠龙记》的剧情在我眼里更加引人入胜。仅用一周，我便如饥似渴地读完了张无忌的故事。