Now you see me

Chao's Blog

Category: Paper and book

2.5 Fourier-Domain Low-Coherence Interferometry Still, the cross-correlation component is the desired part. The FWHM of the DC artifact is only one coherence length wide, however, the signal amplitude is much higher than another two components. How to remove it ? Record the amplitude of the spectral interferometric signal with reference reflector but no sample present, […]

2.1 Introduction About the A-scan: the electronic signals detected by the photoreceiver are processed as A-scan, which represents the reflectivity profile at the specific focal spot of the sample beam. About B-scan: multiple A-scans are acquired by sweeping in the lateral direction, and thus a two-dimensional cross-sectional image is created. C-scan: en face images at […]

If you are interested in this paper Dynamic full field optical coherence tomography: subcellular metabolic contrast revealed in tissues by interferometric signals temporal analysis, please find it here [1]. In this paper, an new imaging method called dynamic full field optical coherence tomography (D-FFOCT) is proposed, which features in subcellular metabolic contrast in fresh ex […]

If you are interested in the original paper Optimal operational conditions for supercontinuum-based ultrahigh-resolution endoscopic OCT imaging by Wu Yuan, please refer to Ref. [1]. 1. General concepts The laser noise mainly comes from two sources [2]: quantum noise, which is related with spontaneous emission in the gain medium. technical noise, including excess noise of […]

This is the note for the book Optical Coherence Tomography-Technology and Applications [1]. 1.1 Introduction Raster scanning: the rectangular pattern of image capture and reconstruction in television. Although often a great deal faster, it is similar in the most general sense to how one’s gaze travels when one reads lines of text. Optical biopsy: examination […]

1. Signal Introduction: OCT Acquisition and Multiplexing 1.1 How Full field OCM works? At a specific depth, the interferometric light on the cross-sectional plane of the sample is detected by FFOCTM. The two-dimensional slice is thus produced. It means FF-OCM creates en face images Q: En face OCT imaging? A: A simple tutorial for En […]

MobileNetV3是该系列的最新版本,该架构在一定程度上是通过自动网络架构搜索(NAS)找到的。 使用MnasNet-A1作为起点,但使用NetAdapt对其进行优化,NetAdapt是一种算法,可自动简化预训练模型,直到达到给定的延迟,同时保持较高的准确性。 除此以外,作者还手工进行了许多改进。 一、V3的改进 本质上,MobileNet版本3是对MnasNet的手工改进。 主要变化是: (1)重新设计了耗时的层; (2)使用h-wish而不是ReLU6; (3)扩展层使用的滤波器数量不同(使用NetAdapt算法获得最佳数量) (4)瓶颈层输出的通道数量不同(使用NetAdapt算法获得最佳数量) (5)Squeeze-and-excitation模块(SE)将通道数仅缩减了3或4倍 (6)对于SE模块,不再使用sigmoid,而是采用ReLU6(x + 3) / 6作为近似(就像h-swish那样) 针对第1点,MobileNet v1和v2都从具有32个滤波器的常规3×3卷积层开始,然而实验表明,这是一个相对耗时的层,只要16个滤波器就足够完成对224 x 224特征图的滤波。虽然这样并没有节省很多参数,但确实可以提高速度。 对于第2点,之前V1和V2都是用ReLU6作为激活层,但是在V3中,作者使用了hard swish(h-swish): \text{h-swish}(x)=x\times \text{ReLU6}(x+3)/6 常规的swish使用的是x\times \text{sigmoid}(x),它可以显著提高神经网络的精度,但是sigmoid的计算实在是太耗时了,所以在这里作者使用了ReLU6作为替代。作者认为几乎所有的软件和硬件框架上都可以使用ReLU6的优化实现。其次,它能在特定模式下消除了由于近似sigmoid的不同实现而带来的潜在数值精度损失。图1即为sigmoid和wish以及对应的hard版本,hard形式其实就是soft形式的低精度化。 图1(源自Ref [1]) 需要注意的是,MobileNet是来自于Google的,自然它更关注的是网络在Android设备上的表现,事实也的确如此,作者主要针对Google Pixel硬件对网络做了参数优化。 当然这并不意味着MobileNet V3就是慢的了,只不过它无法在iOS上达到最佳效果。 不过,并非整个模型都使用了h-swish,模型的前一半层使用常规ReLU(第一个conv层之后的除外)。 为什么要这样做呢? 因为作者发现,h-swish仅在更深层次上有用。 此外,考虑到特征图在较浅的层中往往更大,因此计算其激活成本更高,所以作者选择在这些层上简单地使用ReLU(而非ReLU6),因为它比h-swish省时。 对于第6点,具体解释一下如何完成ReLU6(x + 3) / 6的。如图2所示,在Mul层中,做了乘以0.16667的乘法,这就相当于除以6;ReLU6则融合在了卷积层之中;另外,对于x+3,这里的3被加在了卷积层的偏置层中了。这样做也是一种小的优化方式。 图2(源自Ref [2]) 除了以上提到的,相对于V2,在V3中作者还对最后的层进行了优化。 在MobileNetV2中,在全局平均池化层之前,是一个1 × 1卷积,将通道数从320扩展到1280,因此我们就能得到更高维度的特征,供分类器层使用。 这样做的好处是,在预测时有更多更丰富的特征来满足预测,但是同时也引入了额外的计算成本与延时。 所以,需要改进的地方就是要保留高维特征的前提下减小延时。 在MobileNetV3中,这个1 x 1卷积层位于全局平均池化层的后面,因此它可用于更小的特征图,因此速度更快。如图3所示, 这样使我们就能够删除前面的bottleneck层和depthwise convolution层,而不会降低准确性。 图3(源自Ref […]