深度学习
  • 前言
  • 第一章：经典网络
    • ImageNet Classification with Deep Convolutional Neural Network
    • Very Deep Convolutional Networks for Large-Scale Image Recognition
    • Going Deeper with Convolutions
    • Deep Residual Learning for Image Recognition
    • PolyNet: A Pursuit of Structural Diversity in Very Deep Networks
    • Squeeze-and-Excitation Networks
    • Densely Connected Convolutional Networks
    • SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE
    • MobileNet v1 and MobileNet v2
    • Xception: Deep Learning with Depthwise Separable Convolutions
    • Aggregated Residual Transformations for Deep Neural Networks
    • ShuffleNet v1 and ShuffleNet v2
    • CondenseNet: An Efficient DenseNet using Learned Group Convolution
    • Neural Architecture Search with Reinforecement Learning
    • Learning Transferable Architectures for Scalable Image Recognition
    • Progressive Neural Architecture Search
    • Regularized Evolution for Image Classifier Architecture Search
    • 实例解析：12306验证码破解
  • 第二章：自然语言处理
    • Recurrent Neural Network based Language Model
    • Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
    • Neural Machine Translation by Jointly Learning to Align and Translate
    • Hierarchical Attention Networks for Document Classification
    • Connectionist Temporal Classification : Labelling Unsegmented Sequence Data with Recurrent Neural Ne
    • About Long Short Term Memory
    • Attention Is All you Need
    • BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • 第三章：语音识别
    • Speech Recognition with Deep Recurrent Neural Network
  • 第四章：物体检测
    • Rich feature hierarchies for accurate object detection and semantic segmentation
    • Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
    • Fast R-CNN
    • Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
    • R-FCN: Object Detection via Region-based Fully Convolutuional Networks
    • Mask R-CNN
    • You Only Look Once: Unified, Real-Time Object Detection
    • SSD: Single Shot MultiBox Detector
    • YOLO9000: Better, Faster, Stronger
    • Focal Loss for Dense Object Detection
    • YOLOv3: An Incremental Improvement
    • Learning to Segment Every Thing
    • SNIPER: Efficient Multi-Scale Training
  • 第五章：光学字符识别
    • 场景文字检测
      • DeepText: A Unified Framework for Text Proposal Generation and Text Detection in Natural Images
      • Detecting Text in Natural Image with Connectionist Text Proposal Network
      • Scene Text Detection via Holistic, Multi-Channel Prediction
      • Arbitrary-Oriented Scene Text Detection via Rotation Proposals
      • PixelLink: Detecting Scene Text via Instance Segmentation
    • 文字识别
      • Spatial Transform Networks
      • Robust Scene Text Recognition with Automatic Rectification
      • Bidirectional Scene Text Recognition with a Single Decoder
      • multi-task learning for text recognition with joint CTC-attention
    • 端到端文字检测与识别
      • Reading Text in the Wild with Convolutional Neural Networks
      • Deep TextSpotter: An End-to-End Trainable Scene Text Localization and Recognition Framework
    • 实例解析：字符验证码破解
    • 二维信息识别
      • 基于Seq2Seq的公式识别引擎
      • Show and Tell: A Neural Image Caption Generator
      • Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
  • 第六章：语义分割
    • U-Net: Convolutional Networks for Biomedical Image Segmentation
  • 第七章：人脸识别
    • 人脸检测
      • DenseBox: Unifying Landmark Localization with End to End Object Detection
      • UnitBox: An Advanced Object Detection Network
  • 第八章：网络优化
    • Batch Normalization
    • Layer Normalization
    • Weight Normalization
    • Instance Normalization
    • Group Normalization
    • Switchable Normalization
  • 第九章：生成对抗网络
    • Generative Adversarial Nets
  • 其它应用
    • Holistically-Nested Edge Detection
    • Image Style Transfer Using Convolutional Nerual Networks
    • Background Matting： The World is Your Green Screen
  • Tags
  • References
由 GitBook 提供支持
在本页
  • 前言
  • 算法详解
  • 1. 候选区域生成
  • 2. 候选区域的精校
  • 3. 文本识别
  • 总结

这有帮助吗？

  1. 第五章：光学字符识别
  2. 端到端文字检测与识别

Reading Text in the Wild with Convolutional Neural Networks

tags: OCR, CNN

前言

这篇论文出自著名的牛津大学计算机视觉组（Visual Geometry Group），没错，就是发明VGG网络的那个实验室。这篇论文是比较早的研究端到端文字检测和识别的经典算法之一。参考文献显示文章发表于2016年，但是该论文于2014年就开始投稿，正好也是那一年物体检测的开山算法R-CNN发表。

论文的算法在现在看起来比较传统和笨拙，算法主要分成两个阶段：

  1. 基于计算机视觉和机器学习的场景文字检测；

  2. 基于深度学习的文本识别。

虽然论文说自己是端到端的系统，但是算法的阶段性特征是非常明显的，并不是纯粹意义上的端到端。这里说这些并不是要否定这篇文章的贡献，结合当时深度学习的发展条件，算法涉及成这样也是可以理解的。

虽然方法比较笨拙，但是作为OCR领域的教科书式的文章，这篇文章还是值得一读的。

算法详解

1. 候选区域生成

算法中候选区域生成是采用的两种方案的并集，B={Be∪Bd}B=\{B_e \cup B_d\}B={Be​∪Bd​}它们分别是Edge Boxes 和Aggregate Channel Feature Detector 。由于本书更偏重于深度学习领域的知识，对于上面两个算法只会粗略介绍方法，详细内容请自行查看参考文献中给出的论文。

1.1 Edge Boxes

Edge boxes的提出动机是bounding box内完全包含的的轮廓越多（Contours），那么该bounding box为候选区域的概率越高，这种特征到文字检测方向尤为明显。

Edge boxes的计算步骤如下：

  1. 边缘检测；

  2. 计算Edge Group：通过合并近似在一条直线上的边缘点得到的；

  3. 计算两个Edge Group之间的亲密度（affinity）：

a(si,sj)=∣cos(θi,θi,j)cos(θj,θij))∣γa(s_i, s_j) = |cos(\theta_i, \theta_{i,j})cos(\theta_j, \theta_{ij}))|^\gammaa(si​,sj​)=∣cos(θi​,θi,j​)cos(θj​,θij​))∣γ

其中γ\gammaγ 为超参数，一般设置为222。(θi,θj)(\theta_i, \theta_j)(θi​,θj​) 是两组Edge Group的平均旋转角度，θij\theta_{ij}θij​ 是两组edge boxes的平均位置xix_ixi​, xjx_jxj​的夹角。

  1. 计算edge group的权值：

wb(si)=1−max⁡T∏j∣T∣−1a(tj,tj+1)w_b(s_i) = 1-\max\limits_{T} \prod ^{|T|-1}_j a(t_j, t_{j+1})wb​(si​)=1−Tmax​j∏∣T∣−1​a(tj​,tj+1​)

  1. 计算最终评分：

hb=∑iwb(si)mi2(bw+bh)κh_b = \frac{\sum_i w_b(s_i)m_i}{2(b_w+b_h)^\kappa}hb​=2(bw​+bh​)κ∑i​wb​(si​)mi​​

其中 bounding box通过多尺寸，多比例的滑窗方式得到。

计算完评分之后，通过NMS得到最终的候选区域，BeB_eBe​。

1.2 Aggregate Channel Feature Detector

该方法的核心思想是通过Adaboost集成多尺度的ACF特征。ACF特征不具有尺度不变性，而使用多尺度输入图像计算特征的方法又过于耗时，[4]中只在每个octave重采样图像计算特征，每个octave之间的特征使用其它尺度进行估计：

Cs=R(Cs′,s/s′)(s/s′)−λΩC_s = R(C_{s'}, s/s')(s/s')^{-\lambda\Omega}Cs​=R(Cs′​,s/s′)(s/s′)−λΩ

最后在通过AdaBoost集成由决策树构成的若分类器，通过计算阈值的方式得到最终的候选区域，BdB_dBd​。

2. 候选区域的精校

通过第一节的方法得到候选区域后，作者对这些候选区域进行了进一步的精校，包括对候选区域是否包含文本的二分类和bounding box位置的调整。

2.1 word/no word分类

作者通过从训练集上采样得到了一批候选区域，其中和Ground Truth的overlap大于0.5的设为正样本，小于0.5的设为负样本。提取了候选区域的HoG特征，并使用随机森林分类器训练了一个判断候选区域是否包含文本的二分类的分类器。随机森林包括10棵决策树，每棵树的最大深度为64。

2.2 Bounding box回归

Bounding box回归器是通过四层CNN加上两层全连接得到的，四层卷积层卷积核的尺寸和个数分别是{5,64},{5,128},{3,256},{3,512}\{5,64\}, \{5,128\}, \{3,256\}, \{3,512\}{5,64},{5,128},{3,256},{3,512}，全连接隐层节点的个数是4k4k4k，网络有四个输出，分别用于预测bounding box的左上角和右下角坐标b={x1,y1,x2,y2}b=\{x_1, y_1, x_2, y_2\}b={x1​,y1​,x2​,y2​}。损失函数则是使用的L2L_2L2​损失函数：

min⁡Φ∑b∈Bbrain∣∣g(Ib;Φ)−q(bgt))∣∣22\min\limits_{\Phi}\sum_{b\in B_{brain}} ||g(I_b; \Phi) - q(b_{gt}))||^2_2Φmin​b∈Bbrain​∑​∣∣g(Ib​;Φ)−q(bgt​))∣∣22​

其中Φ\PhiΦ表示由训练集得到的参数。

作者也尝试了基于CNN的分类和回归的多任务模型，但是效果并不如基于HoG特征的随机森林分类器。

3. 文本识别

OCR中，有基于字符的时序序列分类器和基于单词的分类器。前者的优点是分类器类别数目少(26类)，缺点是序列模型识别困难，一个字符错误导致整个单词的识别失败，基于序列的建模要比简单的分类任务复杂得多。后者的优点是无时序特征，缺点是类别数目太多，穷举所有类别不太可能，如果采用基于抽样的方法的话，抽样类别太少导致在测试时遇见未定义的单词的概率过高，抽样类别多的话导致训练集样本不够，不足以覆盖所有类别。

在这里，作者使用的是第二种方案，也就是基于单词的分类方法。为了解决未定义单词的问题，作者采样了90k个最常见的单词，样本不足的问题则是通过合成数据解决的。

3.1 合成数据

合成模型使用了90k的单词作为合成文本，在图像变化上，考虑了以下几点：

  • 字体：从Google Fonts中下载了1400个不同的字体，文本随机随机添加下划线和弯曲效果；

  • 边界，阴影；

  • 文字颜色；

  • 仿射变换；

  • 噪音；

  • 混合真实数据。

3.2 分类模型

作者使用了CNN训练识别模型，根据上面的描述。CNN是一个90k的多分类模型，网络具体参数见图1。

图1：Read Text in the Wild的识别网络

图片resize作者使用了wrap的方式，添加padding通过实验得知效果并不如wrap。分类函数则使用了softmax损失函数。

总结

从这篇算法使用的技术可以看出这篇论文作为早期的深度学习的文章，传统方法和深度学习方法都在扮演着非常重要的作用。

文字检测部分依旧遵循R-CNN系列的two-stage思路，即基于Edge boxes和ACF的候选区域提取和基于随机森林和CNN的位置精校。

而分类作者则是使用了最为传统的CNN分类模型，并没有添加RNN等擅长处理序列特征的结构。

上一页端到端文字检测与识别下一页Deep TextSpotter: An End-to-End Trainable Scene Text Localization and Recognition Framework

最后更新于4年前

这有帮助吗？