方向选择性模型及其在图像处理中的应用

《方向选择性模型及其在图像处理中的应用》论述了视皮层中简单细胞的建模及其在图像理解中的几点应用，包含了人工智能、神经科学及认知科学等领域的内容，属于交叉学科的研究成果总结。本书在给简单细胞的方向选择性现象建立数学模型后，逐步将其用于图像的方向检测与表征、高层语义的识别与理解、场景的三维信息获取以及几何视错觉的成因分析。书中除了用严格的数学理论证明模型的正确性外，还用大量的数值仿真实验、真实图像实验以及统计实验验证算法的可行性。
《方向选择性模型及其在图像处理中的应用》为计算机视觉、神经视觉及认知科学的跨学科研究提供了一个新的视角，具有一定的学术性，可以为人工智能及认知科学研究者提供参考。

第1章绪论1

1.1研究动机1

1.2相关研究3

1.3关于本书4

1.4符号说明7

第2章模型的生理基础9

2.1初级视觉通路9

2.2神经节及外膝体细胞的感受野12

2.3简单细胞的感受野16

2.3.1简单细胞的方向选择性16

2.3.2简单细胞感受野的经典模型17

2.3.3经典模型的问题及相关模型18

第3章外膝体对刺激的响应22

3.1与对比度无关的响应22

3.2响应函数及其性质27

3.3响应曲线31

第4章简单细胞的方向选择性34

4.1基本最小二乘模型34

4.2非线性优化模型37

4.2.1底层神经元：基于响应的有向距离估计37

4.2.2顶层神经元：基于最优化决策的方向判定38

4.3模型求解及解的性质40

4.3.1带二次约束的最小二乘法40

4.3.2解的性质41

4.3.3数值解43

4.4误差分析44

4.5改进的非线性加权模型46

4.6经典模型的方向歧义性47

第5章实验及分析51

5.1方向检测方法51

5.2模型的选择53

5.3参数的确定54

5.3.1覆盖率的选择54

5.3.2神经元密度56

5.4简单细胞感受野的模拟57

5.5刺激复杂度与计算误差60

第6章应用一：图像方向检测62

6.1检测方法62

6.1.1算法描述62

6.1.2并行优化65

6.2形状图像65

6.3自然图像67

6.3.1与边缘检测算法比较68

6.3.2与全局直线检测算法比较69

6.3.3与边缘检测及局部直线检测算法比较72

6.3.4与局部直线检测及轮廓检测算法比较75

6.3.5由粗到细的表征78

6.4对更高层处理的增强80

6.4.1分割效果的提升80

6.4.2匹配效果的提升81

第7章应用二：视错觉的解释85

第8章应用三：三维场景理解98

总结123

参考文献128

图像理解是计算机视觉领域中的一个核心问题。对图像理解而言，关键的一步是提取图像中构成场景语义结构的特征并将其表征为高层任务容易利用的形式。一种传统的特征提取方法为先寻找边缘，然后形成直线或组合轮廓线。这些特征为图像高层语义的理解提供了基础。

传统的特征提取方法在一定程度上取得了很大进展，目前有大量针对边缘检测、直线检测以及轮廓检测的算法。然而，由于这些算法本质上都是依赖边缘检测的，所以都存在一些显著的问题，如对边缘检测的结果依赖性过高及需要人工设定的参数过多等。一般来说，这些算法都是单纯从计算的角度尝试定义问题，而往往忽略问题的本质，即生物视觉系统如何完成边缘―直线―轮廓检测的生理机制，所以难以从根本上解决这些问题，更难以解决基于这些结果的更高层的图像理解任务。

对人眼而言，视觉场景中最显著的特征就是不同颜色形成的边缘，以及边缘形成的直线、曲线和更复杂的形状。本质上，我们看到的直线及曲线都可以看作相同或不同方向的短直线的分段组合。

因而，本书将方向（短直线）看作对图像理解最有意义的一种特征。显然，方向这一初级特征高于像素颜色、灰度等底层特征，又低于轮廓等高层语义特征。作为基于神经科学的人工智能和认知科学的跨学科研究，本书尝试利用生物视觉系统检测方向的神经机制，设计一个仿生学的方法，从根源上实现特征提取及表征这一基本问题的解决，进而为更复杂的任务提供生理基础。

在视觉神经科学中，简单细胞的方向选择性一直是一个热点问题。诺贝尔生理学奖获得者David Hubel 和Torsten Wiesel 提出过一个简单细胞的感受野模型（以下简称Hubel-Wiesel 神经模型），该模型用几何形式的约束解释了简单细胞对条形刺激的方向选择性。一方面，该模型具有简单朴素的形式；另一方面，该模型也有不少的缺陷，因而受到了许多挑战。尽管如此，目前没有严格的证据直接支持或者否定这个经典的模型。

本书在Hubel-Wiesel 神经模型的基础上，提出一个方向计算的双层网络模型（以下简称本书模型）。与Hubel-Wiesel 神经模型相比，本书模型对底层神经元的限制更少，对刺激形式的要求更低，且实现了每一层计算的细节，因而灵活度更高。数值仿真实验表明，本书模型能够很好地模拟简单细胞的方向选择性。

利用方向计算模型，本书进一步提出一个图像的方向检测算法（以下简称本书算法）。在合成图像及自然图像上得到的实验数据表明，该算法能够从复杂图像中提取满意的方向图。与传统算法得到的边缘图、直线图等相比，方向图突出显著语义特征而抑制琐碎干扰信息，更接近物体的真实轮廓图，因而促进了分割及识别等高层任务更好更快地完成。此外，本书算法对参数调节的依赖更低、可并行计算程度高。

作为模型的应用之一，本书巧妙地将方向检测算法用于解释几种著名的几何视错觉。本书用定性计算的方法从局部探索错觉的产生机制，生成了与人眼观察理解相似的错觉现象，并将这种方法推广到一系列错觉的解释。作为更深层次的应用，本书最后尝试利用单幅图像的方向图，恢复其中场景的部分三维信息，也取得了一定的成果。

本书正文部分安排如下：第1章介绍相关研究的现状与本研究的主要内容及特点；第2章介绍本书模型建立的生理基础与依据；第3章介绍模型的底层设计，讨论外侧膝状体细胞对刺激的响应函数；第4章介绍模型的顶层设计，讨论简单细胞利用传入外侧膝状体对刺激的响应确定边缘方位的几种计算方法；第5章用数值实验证明模型的正确性与可行性，确定模型中参数的优化取值，并使用仿真实验模拟形成简单细胞具有方向选择性的感受野；第6章介绍基于方向选择性模型的方向检测算法在图像表征、分割及匹配等方面的应用；第7章将方向检测用于解释一系列几何视错觉；第8章利用单幅图像的方向图部分恢复场景的三维信息；总结部分总结全书并展望后续研究课题。

作为我的第一本学术著作，本书包含了2007s2013年我在复旦大学攻读研究生期间的主要研究成果，也是我的博士学位论文的主要部分。许多人对本书的完成提供了不可或缺的帮助和启发。首先要感谢父母对我的养育之恩；感谢王晓梅师姐为本书第2章的写作提供了大量参考资料，感谢肖锦文师弟为本书第6章6.4.2节提供了实验数据；最要感谢我的导师危辉教授，从课题选择、数学建模、算法设计到实验分析等各环节都凝聚着危老师的辛勤指导，是他的精心培养才使我顺利完成了学业。

本书既然是对之前研究成果的总结，自然不是终结，而是后续工作的起点。本书中悬而未决的问题与不尽理想的结果都是我正在研究的重要课题，也是我未来的研究方向。作为一名追求科学的年轻学者，这是我第一次撰写学术论著，书中难免包含不严谨之处甚至错误，敬请学界前辈与同仁不吝赐教。

任远