在线手写识别的多卷积神经网络方法

多组件神经网络分类器

卷积神经网络对于数字或英文字母（26 个字符）等小字符类别的识别率非常高。然而，创建一个能够可靠识别更大集合（62 个字符）的大型神经网络仍然是一个挑战。寻找一个优化且足够大的网络变得更加困难，用大型输入模式训练网络需要更长的时间。网络的收敛速度更慢，特别是，准确率显着下降，因为笔画较大的字符、相似且易混淆的字符等。  

上述问题的拟议解决方案是用多个具有高识别率的、针对自身输出集的较小网络来取代一个独特复杂的神经网络。每个组件网络除了官方输出集（数字、字母等）之外，还有一个附加的未知输出（未知字符）。这意味着，如果输入模式未被识别为官方输出的字符，它将被理解为未知字符。

图 3. MCNNs 在线手写识别系统 

分类器的字符识别模块是一个多组件神经网络的集合，它们同时对输入模式进行处理。手写单词通过分割成孤立的字符视觉模式进行预处理 []。然后将这些模式输入到所有组件神经网络的输入端，这些神经网络将识别每个自身字符的似然度。一个视觉模式可能被一个、几个或所有组件网络识别，因为不同的类别中有几个相似的字符。如果一个网络无法将该模式识别为其自身字符类的似然度，它将返回一个未知字符（空字符）。该模块的输出结果是一个可能的字符表，该表被组合成可能的单词，例如上例中的“Exper1, Expert, ExperJ, EXper1, EXpert, EXperJ” 。未知字符（空字符）不用于单词组合。然后，这些单词依次被送入下一个单词识别模块，以选择最正确的单词作为整个分类器的输出。在本例中，将选择“Expert” 这个单词。

图 4。 MCNNs 分类器模块的输出 

全局变量

• charMatrix = List<List<Char>> {{E},{x,X},{p},{e},{r},{1,t,J}}// 字符表  
• words =List<string> // 组合词列表。 
• startIndex: 默认为 0
• baseWord: 默认为“ 

  void GetWords(int startIndex, String baseWord)
        {
            String newWord = "";
            if (startIndex == charMatrix.Count - 1)
            {
                for (int i = 0; i < charMatrix[startIndex].Count; i++)
                {
                    newWord = String.Format("{0}{1}", baseWord, charMatrix[startIndex][i].ToString());
                    words.Add(newWord);
                }
            }
            else
            {
                for (int i = 0; i < charMatrix[startIndex].Count; i++)
                {
                    newWord = String.Format("{0}{1}", baseWord, charMatrix[startIndex][i].ToString());
                    int newIndex = startIndex + 1;
                    GetWords(newIndex, newWord);
                }
            }
        } 

Word 识别模块实际上是一个拼写检查器，它使用几种字典搜索算法和单词纠错技术来获取最佳的有意义的单词。来自字符识别模块的所有可能的单词按顺序输入到字典搜索中。如果其中一个单词在内置字典中找到，它将成为分类器的输出单词。否则，将应用一些单词纠错技术来在自动模式下选择最正确的单词，或在手动模式下向用户显示一系列相似的单词。其中一些技术包括：

• 逐个交换每个字符，并尝试将所有字符替换到其位置，看这是否能构成一个好词。

  private bool ReplaceChars(String word, out String result)
        {
            result = "";
            bool isFoundWord = false;
            foreach (WordDictionary dictionary in Dictionaries)
            {
                ArrayList replacementChars = dictionary.ReplaceCharacters;
                for (int i = 0; i < replacementChars.Count; i++)
                {
                    int split = ((string)replacementChars[i]).IndexOf(' ');
                    string key = ((string)replacementChars[i]).Substring(0, split);
                    string replacement = ((string)replacementChars[i]).Substring(split + 1);
                    int pos = word.IndexOf(key);
                    while (pos > -1)
                    {
                        string tempWord = word.Substring(0, pos);
                        tempWord += replacement;
                        tempWord += word.Substring(pos + key.Length);
                        if (this.TestWord(tempWord))
                        {
                            result = tempWord.ToString();
                            isFoundWord = true;
                            return isFoundWord;
                        }
                        pos = word.IndexOf(key, pos + 1);
                    }
                }
            }
            return isFoundWord;
        } 

• 尝试逐个交换相邻的字符。

   private bool SwapChar(String word, out String result)
        {
            result = "";
            bool isFoundWord = false;
            foreach (WordDictionary dictionary in Dictionaries)
            {
                for (int i = 0; i < word.Length - 1; i++)
                {
                    StringBuilder tempWord = new StringBuilder(word);
                    char swap = tempWord[i];
                    tempWord[i] = tempWord[i + 1];
                    tempWord[i + 1] = swap;
                    if (this.TestWord(tempWord.ToString()))
                    {
                        result = tempWord.ToString();
                        isFoundWord = true;
                        return isFoundWord;
                    }
                }
            }
            return isFoundWord;
        }

• 尝试一次省略单词中的一个字符。
• 尝试在每个字母前插入一个新字符。

 private bool ForgotChar(String word, out String result)
        {
            result = "";
            bool isFoundWord = false;
            foreach (WordDictionary dictionary in Dictionaries)
            {
                char[] tryme = dictionary.TryCharacters.ToCharArray();
                for (int i = 0; i <= word.Length; i++)
                {
                    for (int x = 0; x < tryme.Length; x++)
                    {
                        StringBuilder tempWord = new StringBuilder(word);
                        tempWord.Insert(i, tryme[x]);
                        if (this.TestWord(tempWord.ToString()))
                        {
                            result = tempWord.ToString();
                            isFoundWord = true;
                            return isFoundWord;
                        }
                    }
                }
            }
            return isFoundWord;
        } 

• 将字符串在每个字符后拆分成两部分。如果两部分都是好词，则将其作为建议等。

  private bool TwoWords(String word, out String result)
        {
            result = "";
            bool isFoundWord = false;
            for (int i = 1; i < word.Length - 1; i++)
            {
                string firstWord = word.Substring(0, i);
                string secondWord = word.Substring(i);
                if (this.TestWord(firstWord) && this.TestWord(secondWord))
                {
                    string tempWord = firstWord + " " + secondWord;
                    result = tempWord;
                    isFoundWord = true;
                    return isFoundWord;
                }
            }
            return isFoundWord;
        }

通过同时使用多个不同的语言字典在拼写检查器中，所提出的分类器可以正确识别不同的语言，如果存在可以识别这些语言字符类的组件神经网络。

 public NNTestingControl()
        {
            InitializeComponent();
            bitmap = null;
            networks = null;
            textSpellControl1.SpellChecker = this.multipleSpelling;
            //English dicionary
            multipleSpelling.Dictionaries.Add(this.wordDictionary1);
            //France dictionary
            //multipleSpelling.Dictionaries.Add(this.wordDictionary2);
            //Italian dictionary
            //multipleSpelling.Dictionaries.Add(this.wordDictionary3);
           
        } 

实验和结果

该演示使用三个组件 CNN 来识别 62 个英文字符类别。对于我自己的手绘样本，它可以获得很高的识别率。我真诚地希望这个项目能帮助任何想研究手写识别的人。目前我没有时间继续下去，但我希望有人能将其发展成一个好的开源项目。这是我所有先前文章的完整源代码。有关此项目的所有信息可以在这里 找到。

历史 

2013/04/01：更新了一些图片