圖像識(shí)別方法、圖像識(shí)別裝置的制造方法
【專利摘要】本發(fā)明提供一種能夠高速且高精度地進(jìn)行圖像識(shí)別的圖像識(shí)別方法等。進(jìn)行圖像的輸入(S1)，對(duì)輸入的圖像進(jìn)行利用不同的卷積濾波器進(jìn)行的卷積處理，分別取得包含構(gòu)成所述圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在內(nèi)的處理結(jié)果信息，基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所決定的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量(S3)，基于所輸出的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量來(lái)執(zhí)行識(shí)別處理(S6)，輸出通過(guò)執(zhí)行識(shí)別處理而得到的識(shí)別處理結(jié)果(S8)。
【專利說(shuō)明】
圖像識(shí)別方法、圖像識(shí)別裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及圖像識(shí)別方法、圖像識(shí)別裝置。
【背景技術(shù)】
[0002] 近年來(lái)，謀求使用識(shí)別在圖像中的何處映照了何物的圖像識(shí)別技術(shù)來(lái)高速且高精 度地識(shí)別各式各樣的物體。例如專利文獻(xiàn)1公開了一種圖像識(shí)別技術(shù)，其通過(guò)利用多個(gè)卷積 神經(jīng)網(wǎng)絡(luò)分類器(以下，記作分類器），能夠高精度地進(jìn)行圖像識(shí)別。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1:日本特開2014-49118號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0006] 發(fā)明要解決的問(wèn)題
[0007] 然而，上述那樣的現(xiàn)有技術(shù)雖然能夠高精度地進(jìn)行圖像識(shí)別，但是卻存在處理速 度慢這樣的問(wèn)題。
[0008] 本發(fā)明是為了解決上述問(wèn)題而做成的，其目的在于提供一種能夠高速且高精度地 進(jìn)行圖像識(shí)別的圖像識(shí)別方法、圖像識(shí)別裝置。
[0009] 用于解決問(wèn)題的手段
[0010] 本發(fā)明的一技術(shù)方案的圖像識(shí)別方法是圖像識(shí)別裝置的計(jì)算機(jī)所進(jìn)行的圖像識(shí) 別方法，進(jìn)行所述圖像的輸入，分別使用不同的卷積濾波器對(duì)輸入的所述圖像進(jìn)行卷積處 理，分別取得包含構(gòu)成所述圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在 內(nèi)的處理結(jié)果信息，
[0011] 基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積處理 的處理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所述決定的與 多個(gè)像素的各位置相對(duì)應(yīng)的特征量，基于所述輸出的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量 來(lái)執(zhí)行識(shí)別處理，輸出通過(guò)執(zhí)行所述識(shí)別處理而得到的識(shí)別處理結(jié)果信息。
[0012] 另外，上述總括性或具體的方案可以由系統(tǒng)、集成電路、計(jì)算機(jī)程序或能夠由計(jì)算 機(jī)讀取的CD-ROM等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以由系統(tǒng)、集成電路、計(jì)算機(jī)程序以及記錄介質(zhì)的 任意的組合來(lái)實(shí)現(xiàn)。
[0013] 發(fā)明的效果
[0014] 根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)能高速且高精度地進(jìn)行圖像識(shí)別的圖像識(shí)別方法等。
【附圖說(shuō)明】
[0015] 圖1是表示實(shí)施方式的分類系統(tǒng)的結(jié)構(gòu)的一例的框圖。
[0016]圖2是表不實(shí)施方式的分類器的結(jié)構(gòu)的一例的框圖。
[0017]圖3是表示實(shí)施方式的卷積處理部的結(jié)構(gòu)的一例的框圖。
[0018] 圖4是表示實(shí)施方式的卷積處理部的處理結(jié)果的一例的圖。
[0019] 圖5是表示本實(shí)施方式的子采樣部的子采樣處理的一例的圖。
[0020] 圖6是用于說(shuō)明實(shí)施方式的分類器的工作的流程圖。
[0021] 圖7是表示圖6中的工作的詳情的流程圖。
[0022]圖8A是用于說(shuō)明第2層以后的卷積處理的圖。
[0023]圖8B是用于說(shuō)明第2層以后的卷積處理的圖。
[0024] 圖9是表示比較例的分類系統(tǒng)的一例的圖。
[0025] 圖10是表示比較例的分類器的結(jié)構(gòu)的框圖。
[0026]圖11是表示比較例的分類系統(tǒng)中的識(shí)別處理的算法功能塊的圖。
[0027] 圖12是用于說(shuō)明比較例的分類系統(tǒng)所進(jìn)行的識(shí)別處理的流程圖。
[0028] 圖13A是用于說(shuō)明使用服務(wù)器提供服務(wù)的方式的一例的圖。
[0029] 圖13B是用于說(shuō)明使用服務(wù)器提供服務(wù)的方式的一例的圖。
[0030] 圖13C是用于說(shuō)明使用服務(wù)器提供服務(wù)的方式的一例的圖。
[0031] 圖14是用于說(shuō)明服務(wù)的類型的一例的圖。
[0032] 圖15是用于說(shuō)明服務(wù)的類型的一例的圖。
[0033] 圖16是用于說(shuō)明服務(wù)的類型的一例的圖。
[0034] 圖17是用于說(shuō)明服務(wù)的類型的一例的圖。
【具體實(shí)施方式】
[0035](成為本發(fā)明基礎(chǔ)的見解）
[0036] 在圖像識(shí)別技術(shù)中，通常分為如下兩個(gè)階段，SM)從圖像提取特征量的處理，2) 根據(jù)特征量判別物體的判別處理。例如，在特征提取處理中進(jìn)行卷積處理，從圖像中的識(shí)別 對(duì)象物體提取輝度的分布、輝度的差分(邊緣)等用于識(shí)別的特征量。另外，例如在判別處理 中，利用Boosting和/或SVM(Support Vector Machine支持向量機(jī)）等統(tǒng)計(jì)的機(jī)器學(xué)習(xí)手 法，根據(jù)在卷積處理中提取的特征量來(lái)判別是否為識(shí)別對(duì)象。
[0037] 以往，卷積處理中所使用的特征量提取濾波器(卷積濾波器)是人為設(shè)計(jì)的。近年 來(lái)，由于攝影環(huán)境的完善、經(jīng)由互聯(lián)網(wǎng)對(duì)大量的學(xué)習(xí)數(shù)據(jù)的收集成為現(xiàn)實(shí)、以及GPU等大規(guī) 模計(jì)算機(jī)環(huán)境的基礎(chǔ)設(shè)施完備，因此對(duì)自動(dòng)進(jìn)行特征量提取濾波器的設(shè)計(jì)的方式的研究不 斷發(fā)展。這樣的方式總稱為深度學(xué)習(xí) （Deep Learning)。特別是，在圖像識(shí)別的領(lǐng)域，作為深 度學(xué)習(xí)技術(shù)，正在研究將特征量提取濾波器視為針對(duì)2維圖像的卷積處理的卷積神經(jīng)網(wǎng)絡(luò)。 該卷積神經(jīng)網(wǎng)絡(luò)有在深度學(xué)習(xí)技術(shù)中也適合圖像識(shí)別，能夠在削減參數(shù)值的同時(shí)提高精度 的特征。
[0038] 然而，以往的卷積神經(jīng)網(wǎng)絡(luò)中所使用的特征量提取濾波器（以下也記作卷積濾波 器)的分辨率是用戶所設(shè)定的固定值。因此，若學(xué)習(xí)圖像的具有特征的區(qū)域的分辨率與用戶 所設(shè)定的分辨率之間的差異較大，則存在難以從學(xué)習(xí)圖像中的識(shí)別對(duì)象物體提取能夠用于 識(shí)別的有效的特征量的問(wèn)題。而且，以往并沒(méi)有研究針對(duì)這樣問(wèn)題的技術(shù)上的解決方案。
[0039] 本發(fā)明的一方案的圖像識(shí)別方法是圖像識(shí)別裝置的計(jì)算機(jī)所進(jìn)行的圖像識(shí)別方 法，進(jìn)行所述圖像的輸入，分別使用不同的卷積濾波器對(duì)輸入的所述圖像進(jìn)行卷積處理，分 別取得包含構(gòu)成所述圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在內(nèi)的 處理結(jié)果信息，基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積 處理的處理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所述決定 的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量，基于所述輸出的與多個(gè)像素的各位置相對(duì)應(yīng)的特 征量來(lái)執(zhí)行識(shí)別處理，輸出通過(guò)執(zhí)行所述識(shí)別處理而得到的識(shí)別處理結(jié)果信息。
[0040] 這樣，能夠按輸入圖像所包含的多個(gè)像素的每個(gè)位置，從通過(guò)并行地進(jìn)行分別使 用不同的卷積濾波器的卷積處理而算出的多個(gè)處理結(jié)果中，選擇性地利用有利于識(shí)別的信 息，因此不僅能夠高速地進(jìn)行圖像識(shí)別，還能夠提高圖像識(shí)別精度。
[0041] 由此，能夠?qū)崿F(xiàn)能高速且高精度地進(jìn)行圖像識(shí)別的圖像識(shí)別方法。
[0042] 另外，也可以是，例如，所述分別使用不同的卷積濾波器的卷積處理是分別使用分 辨率或尺度參數(shù)不同的多個(gè)卷積濾波器對(duì)所述輸入的所述圖像進(jìn)行的卷積處理。
[0043] 根據(jù)該結(jié)構(gòu)，使用分辨率或尺度參數(shù)(濾波器尺寸)不同的卷積濾波器來(lái)執(zhí)行卷積 處理，因此，即使在具有特征的區(qū)域的分辨率因輸入圖像的不同而不同的情況下，也能夠提 取對(duì)于識(shí)別而言有效的特征量。
[0044] 另外，也可以是，例如，所述分別使用不同的卷積濾波器的卷積處理包括第1卷積 處理和第2卷積處理，該第1卷積處理是使用第1分辨率的卷積濾波器對(duì)所述輸入的所述圖 像進(jìn)行的處理，該第2卷積處理是使用分辨率高于所述第1分辨率的第2分辨率的卷積濾波 器對(duì)所述輸入的所述圖像進(jìn)行的處理。
[0045] 根據(jù)該結(jié)構(gòu)，使用分辨率不同的至少2個(gè)卷積濾波器執(zhí)行卷積處理，因此，即使在 具有特征的區(qū)域的分辨率因輸入圖像的不同而不同的情況下，也能夠提取對(duì)于識(shí)別而言有 效的特征量。
[0046] 另外，也可以是，例如，所述分別使用不同的卷積濾波器的卷積處理是分別使用處 理對(duì)象的顏色不同的卷積濾波器對(duì)所述輸入的所述圖像進(jìn)行的卷積處理。
[0047] 根據(jù)該結(jié)構(gòu)，為了利用顏色的不同判別物體的不同，分別使用處理對(duì)象的顏色不 同的卷積濾波器來(lái)執(zhí)行卷積處理，因此，即使在具有特征的區(qū)域的顏色因輸入圖像的不同 而不同的情況下，也能夠提取對(duì)于識(shí)別而言有效的特征量。
[0048] 另外，也可以是，例如，在與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量的輸出中，按 所述多個(gè)像素的每個(gè)位置，選擇所述位置處的所述多個(gè)處理結(jié)果的值中的最大值作為所述 位置的特征量，由此決定一個(gè)與所述位置相對(duì)應(yīng)的特征量，輸出所述決定的與所述位置相 對(duì)應(yīng)的特征量。
[0049] 另外，也可以是，例如，在與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量的輸出中，按 所述多個(gè)像素的每個(gè)位置，算出所述位置處的所述多個(gè)處理結(jié)果的值的中值或平均值，將 所述算出的值決定為所述位置處的特征量，由此決定一個(gè)與所述位置相對(duì)應(yīng)的特征量，輸 出所述決定的與所述位置相對(duì)應(yīng)的特征量。
[0050] 根據(jù)該結(jié)構(gòu)，能夠利用通過(guò)分別使用不同的卷積濾波器并行地進(jìn)行卷積處理而算 出的多個(gè)處理結(jié)果信息各自所包含的與像素的位置相對(duì)應(yīng)的處理結(jié)果的值(輸出值）中的 輸出成為最大的值、這些值的中值或平均值作為與像素的位置相對(duì)應(yīng)的特征量。由此，能夠 根據(jù)輸入圖像中的對(duì)象而挑選合適的特征量，能夠提高圖像識(shí)別精度。
[0051] 另外，例如，也可以是，進(jìn)而，在所述多個(gè)像素的各位置的特征量的輸出中，
[0052] 輸出所述選擇的包括各位置的特征量在內(nèi)的選擇結(jié)果，
[0053] 按包含所述位置相鄰的多個(gè)像素的每個(gè)區(qū)域進(jìn)行如下的子采樣處理:將與該區(qū)域 所包含的多個(gè)像素的位置相對(duì)應(yīng)的特征量中的任一特征量決定為代表該區(qū)域的特征量即 代表特征量，基于在進(jìn)行所述子采樣處理時(shí)所決定的所述代表特征量，執(zhí)行所述識(shí)別處理。
[0054] 根據(jù)該結(jié)構(gòu)，應(yīng)對(duì)輸入圖像的位置偏差、輸入圖像的尺寸的偏差的能力更強(qiáng)。
[0055] 另外，也可以是，例如，在進(jìn)行所述子采樣處理時(shí)，將所述區(qū)域所包含的多個(gè)特征 量中的值最大的特征量決定為所述代表特征量。
[0056]所述圖像的輸入、各個(gè)所述處理結(jié)果信息的取得、所述各位置的特征量的輸出、所 述識(shí)別處理的執(zhí)行以及所述識(shí)別處理結(jié)果的輸出可以由圖像識(shí)別裝置的計(jì)算機(jī)所具備的 處理器進(jìn)行。
[0057]另外，本發(fā)明的一方案的圖像識(shí)別裝置具有：圖像輸入部，其進(jìn)行所述圖像的輸 入;卷積處理部，其分別使用不同的卷積濾波器對(duì)輸入的所述圖像進(jìn)行卷積處理，分別取得 包含構(gòu)成所述圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在內(nèi)的處理結(jié) 果信息，基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積處理的 處理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所述決定的與多 個(gè)像素的各位置相對(duì)應(yīng)的特征量;識(shí)別處理部，其基于由所述卷積處理部輸出的與所述多 個(gè)像素的各位置相對(duì)應(yīng)的特征量來(lái)執(zhí)行識(shí)別處理；以及識(shí)別結(jié)果輸出部，其輸出通過(guò)所述 識(shí)別處理部執(zhí)行所述識(shí)別處理而得到的識(shí)別處理結(jié)果。
[0058]此外，也可以是，例如，所述圖像輸入部、所述卷積處理部、所述識(shí)別處理部以及所 述識(shí)別結(jié)果輸出部中的至少一方包含處理器。
[0059] 以下所說(shuō)明的實(shí)施方式均表示本發(fā)明的一具體例子。以下的實(shí)施方式中所示的數(shù) 值、形狀、結(jié)構(gòu)要素、步驟、步驟的順序等是一例，并非旨在限定本發(fā)明。此外，對(duì)于以下的實(shí) 施方式的結(jié)構(gòu)要素中沒(méi)有記載于表示最上位概念的獨(dú)立權(quán)利要求中的結(jié)構(gòu)要素，設(shè)為任意 的結(jié)構(gòu)要素來(lái)進(jìn)行說(shuō)明。另外，在所有的實(shí)施方式中，也可以將各自的內(nèi)容組合起來(lái)。
[0060] (實(shí)施方式）
[0061] 以下，參照附圖，首先說(shuō)明比較例的圖像識(shí)別方法等，然后說(shuō)明本實(shí)施方式的圖像 識(shí)別方法等。
[0062](分類系統(tǒng)900的結(jié)構(gòu)）
[0063]圖9是表示比較例的分類系統(tǒng)900的一例的圖。
[0064]圖9所示的分類系統(tǒng)900具有多個(gè)分類器(分類器90a、分類器90b、···、分類器90N)， 在輸入了分類對(duì)象物(識(shí)別處理對(duì)象圖像)時(shí)，通過(guò)利用多個(gè)分類器來(lái)執(zhí)行分類處理(識(shí)別 處理），輸出其結(jié)果(分類結(jié)果、識(shí)別處理結(jié)果）。
[0065]多個(gè)分類器均為同一卷積神經(jīng)網(wǎng)絡(luò)分類器。多個(gè)分類器各自具有一個(gè)用于進(jìn)行卷 積的卷積濾波器(特征量提取濾波器）。這些濾波器的設(shè)定值(濾波器系數(shù))是通過(guò)后述的學(xué) 習(xí)處理來(lái)預(yù)先學(xué)習(xí)的。
[0066]另外，構(gòu)成圖9所示的分類系統(tǒng)900的分類器90a、分類器90b、···、分類器90N是同一 分類器，因此，以下作為代表對(duì)分類器90a結(jié)構(gòu)進(jìn)行說(shuō)明。
[0067]圖10是表示比較例的分類器90a的結(jié)構(gòu)的框圖。
[0068]如圖10所示，分類器90a包括：圖像輸入部91，其讀入圖像(輸入圖像）；卷積處理部 92,其進(jìn)行針對(duì)讀入的輸入圖像的卷積處理;子采樣部93,其進(jìn)行子采樣處理;識(shí)別處理部 94,其進(jìn)行識(shí)別處理；以及識(shí)別結(jié)果輸出部95,其輸出識(shí)別結(jié)果。此外，進(jìn)行卷積處理和子采 樣處理的次數(shù)根據(jù)輸入圖像的分辨率，分類對(duì)象(識(shí)別處理對(duì)象）的種類或者復(fù)雜程度，或 者分類數(shù)(識(shí)別對(duì)象的數(shù)量)等而被設(shè)定為任意的值。例如，在分類器90a從圖像檢測(cè)出人朝 向正面的臉部的情況下，進(jìn)行卷積處理的次數(shù)可以較少，但是在需要識(shí)別像狗那樣多種多 樣的犬種的情況下，則與人的正面臉部相比需要更多的卷積處理。
[0069](分類系統(tǒng)900的工作）
[0070]接著，對(duì)作為比較例的分類系統(tǒng)900的工作的識(shí)別處理進(jìn)行說(shuō)明。
[0071](識(shí)別處理）
[0072]圖11是表示分類系統(tǒng)900中的識(shí)別處理的算法功能塊的圖。
[0073]在使用了多個(gè)分類器的分類系統(tǒng)900進(jìn)行的圖像識(shí)別中，使用輸入層901、包括卷 積處理層903和子采樣層904的中間層902、以及輸出層905來(lái)進(jìn)行識(shí)別處理。對(duì)輸入層901輸 入輸入圖像的像素值列。中間層902不限于一個(gè)，也有存在多個(gè)的情況，但是在圖11所示的 例子中，為了便于說(shuō)明僅記載了一個(gè)中間層902。在卷積處理層903中進(jìn)行卷積處理，在子采 樣層904中進(jìn)行子采樣處理。在中間層902中，多數(shù)情況下是在進(jìn)行卷積處理之后，進(jìn)行子采 樣處理，但是也可以在子采樣處理后進(jìn)行卷積處理。輸出層905輸出識(shí)別結(jié)果的標(biāo)簽。識(shí)別 結(jié)果的標(biāo)簽例如表示狗、貓等映在輸入圖像中的識(shí)別對(duì)象物體。
[0074] 在卷積處理層903中進(jìn)行卷積處理，該卷積處理進(jìn)行針對(duì)2維圖像的卷積。該卷積 處理中所使用的卷積濾波器(特征量提取濾波器），在后述的學(xué)習(xí)處理中，預(yù)先學(xué)習(xí)了濾波 器系數(shù)。即，濾波器系數(shù)使用的是用圖像與標(biāo)簽之間的對(duì)應(yīng)已知的集合(學(xué)習(xí)圖像與標(biāo)簽） 在學(xué)習(xí)處理中求出的系數(shù)。
[0075]圖12是用于說(shuō)明分類系統(tǒng)900所進(jìn)行的識(shí)別處理的流程圖。
[0076]以下，對(duì)分類系統(tǒng)900具有N個(gè)分類器(分類器90a、分類器90b、···、分類器90N)的情 況進(jìn)行說(shuō)明。
[0077]首先，分類系統(tǒng)900利用輸入層901讀入輸入圖像(S91)，對(duì)讀入的輸入圖像實(shí)施預(yù) 定的前處理(S92)。預(yù)定的前處理例如是從該輸入圖像減去輸入圖像集合的平均等，使輸入 圖像的偏差一致的處理。
[0078] 接著，分類系統(tǒng)900利用卷積處理層903進(jìn)行卷積處理(S93)。
[0079] 具體而言，分類系統(tǒng)900如以下那樣利用卷積處理層903進(jìn)行卷積處理（S93)。即， 當(dāng)將輸入圖像設(shè)為Img，將第η個(gè)(η是1~N中的任一整數(shù))分類器90η的卷積濾波器設(shè)為F(n) (卷積濾波器的總數(shù)為N)時(shí)，某一像素（i、j)的卷積結(jié)果(C 〇nv(Img、F(n)、i，j)能夠使用以 下的(式1)算出。
[0080] (數(shù)學(xué)式1)
[0081]
[0082]在(式1)中，i、j分別表示輸入圖像的第i個(gè)像素和第j個(gè)像素，p表示第p個(gè)像素的 顏色(例如，若為RGB，則p = 0時(shí)為R，p = l時(shí)為G，p = 2時(shí)為B)。分類系統(tǒng)900能夠通過(guò)一邊改 變i和j的值一邊對(duì)Img的全部像素實(shí)施使用(式1)的卷積處理，來(lái)得到第η個(gè)分類器90η的卷 積濾波器即F(n)的卷積處理結(jié)果。即，分類系統(tǒng)900能夠得到第η個(gè)分類器90η的卷積處理結(jié) 果。
[0083] 如上述那樣，分類系統(tǒng)900具有N個(gè)分類器(分類器90a、分類器90b···分類器90N)， 因此卷積濾波器為N個(gè)。因此，在分類系統(tǒng)900中，利用N個(gè)卷積濾波器對(duì)一張圖像(輸入圖 像)進(jìn)行卷積處理，因此能夠得到N個(gè)卷積處理結(jié)果。
[0084] 接著，分類系統(tǒng)900利用子采樣層904進(jìn)行子采樣處理(S94)。子采樣處理是對(duì)卷積 處理層903的輸出即N個(gè)卷積處理結(jié)果分別按每個(gè)特定的區(qū)域（is，js)以預(yù)定的基準(zhǔn)sb進(jìn)行 子采樣的處理。例如，在從某一像素(〇、〇)針對(duì)2 X 2區(qū)域進(jìn)行最大值的子采樣的情況下，選 擇最大的像素值作為該2 X 2區(qū)域的4像素的代表值。
[0085]此外，像這樣對(duì)最大值進(jìn)行子采樣的方法被稱為Max-pooling。另外，采樣的方法 不限于最大值，也可以是平均值。對(duì)平均值進(jìn)行子采樣的方法被稱為Average-poo ling。通 過(guò)進(jìn)行子采樣，1)不僅能夠減少信息量，2)在識(shí)別時(shí)，在應(yīng)對(duì)輸入圖像的xy方向的位置偏移 方面較強(qiáng)。
[0086] 這樣一來(lái)，分類系統(tǒng)900在進(jìn)行S94(子采樣處理)之后，根據(jù)S93(卷積處理）和S94 (子采樣處理）的處理次數(shù)即中間層902的處理次數(shù)來(lái)判定是否結(jié)束中間層902的處理 (S95)。其原因在于，通過(guò)反復(fù)進(jìn)行預(yù)定次數(shù)的S93的處理和S94的處理，能夠通過(guò)卷積處理 從輸入圖像提取特征量，并且能夠進(jìn)行數(shù)據(jù)(特征量)的子采樣，因此能夠提取對(duì)識(shí)別物體 而言有效的特征量。
[0087]當(dāng)在S95中分類系統(tǒng)900判定為不結(jié)束中間層902的處理的情況下(在S95為否），使 處理返回至S93,再次進(jìn)行卷積處理層903的卷積處理。然后，若在卷積處理層903的卷積處 理之后存在子采樣層904，則再次進(jìn)行子采樣處理。
[0088]另一方面，在S95中，分類系統(tǒng)900判定為由于已經(jīng)實(shí)施了預(yù)定次數(shù)的卷積處理和 子采樣處理，所以結(jié)束中間層902的處理的情況下(在S95為是），利用輸出層905執(zhí)行識(shí)別處 理(S96)，將其結(jié)果(識(shí)別結(jié)果)輸出到外部(S97)。
[0089]在此，對(duì)識(shí)別映在輸入圖像中的物體是何物的識(shí)別處理(分類處理)進(jìn)行說(shuō)明。
[0090] (識(shí)別處理）
[0091] 例如，分類系統(tǒng)900進(jìn)行識(shí)別映在輸入圖像中的物體符合預(yù)定的10種中的哪一種 的識(shí)別處理。在該情況下，分類系統(tǒng)900在輸出層905中，向外部輸出根據(jù)輸入圖像而將10個(gè) 變量(物體標(biāo)簽)中的一個(gè)變量設(shè)為1并將以外的變量設(shè)為〇的結(jié)果(識(shí)別結(jié)果）。
[0092]接著，對(duì)識(shí)別處理時(shí)的輸出層905的具體的輸出方法進(jìn)行說(shuō)明。
[0093] 輸出層905使用在中間層902提取(算出）的特征量，通過(guò)Softmax法和/或SVM法，輸 出標(biāo)簽(物體標(biāo)簽)相對(duì)于映在輸入圖像中的物體的可靠度。
[0094]在此，例如Softmax法通過(guò)以下方式來(lái)實(shí)現(xiàn)。即，以識(shí)別k個(gè)物體的問(wèn)題為例，將排 列了作為真值的k個(gè)變量的向量設(shè)為1^[0]、1>[1]、'"、1>[1^-1]，將排列了輸出層的1^個(gè)輸出 的向量設(shè)為θ[0]、θ[1]、…、0[k-l]。此時(shí)標(biāo)簽j的Softmax值能夠使用以下的（式2)算出。然 后，能夠根據(jù)算出的Softmax值的大小對(duì)識(shí)別為了哪個(gè)標(biāo)簽的物體進(jìn)行判斷。
[0095] (數(shù)學(xué)式2)
[0096]
[0097]如以上那樣，分類系統(tǒng)900能夠使用多個(gè)具有卷積濾波器的分類器，來(lái)進(jìn)行映在輸 入圖像中的物體的識(shí)別處理，該卷積濾波器具有在學(xué)習(xí)處理中預(yù)先學(xué)習(xí)到的濾波器系數(shù)。
[0098](學(xué)習(xí)處理）
[0099]接著，說(shuō)明學(xué)習(xí)處理。
[0100]如上述那樣，識(shí)別處理所使用的多個(gè)分類器各自所具有的卷積濾波器的濾波器系 數(shù)是事先通過(guò)使用了大量學(xué)習(xí)數(shù)據(jù)的學(xué)習(xí)處理而學(xué)習(xí)到的。
[0101 ]作為濾波器系數(shù)的學(xué)習(xí)方法，公知有隨機(jī)梯度下降法（Stochastic Gradient Decent法）。
[0102] 首先，對(duì)成為隨機(jī)梯度下降法的基礎(chǔ)的方式即梯度下降法進(jìn)行說(shuō)明。在某一學(xué)習(xí) 圖像中，假設(shè)輸出的真值由用戶賦予。此時(shí)，在梯度下降法中，基于真值與識(shí)別處理的輸出 值的誤差，按照從接近輸出層的層的濾波器系數(shù)向前方的順序依次修正濾波器系數(shù)。
[0103] 另一方面，在隨機(jī)梯度下降法中，并非是針對(duì)圖像一張一張地進(jìn)行該濾波器系數(shù) 的修正處理，而是在幾個(gè)圖像進(jìn)行識(shí)別處理并求出累積誤差，之后使用這些累積誤差進(jìn)行 濾波器系數(shù)的修正。若針對(duì)每張圖像修正濾波器系數(shù)，則修正值有可能發(fā)生振動(dòng)，但通過(guò)使 用多張的結(jié)果來(lái)求出修正值，具有學(xué)習(xí)時(shí)的偏倚和/或振動(dòng)減少這樣的優(yōu)點(diǎn)。
[0104] (式3)是濾波器系數(shù)修正式。將求出累積誤差的函數(shù)設(shè)為L(zhǎng)oss，將學(xué)習(xí)率設(shè)為γ， 將排列了濾波器系數(shù)的向量設(shè)為W，將輸入設(shè)為變量in，將真值設(shè)為變量true。誤差可以是 平方誤差或交叉熵的誤差等，無(wú)論用何種方法來(lái)算出都可以。通過(guò)使用（式3)，能夠使用誤 差和濾波器系數(shù)的微分來(lái)更新濾波器系數(shù)。另外，學(xué)習(xí)率γ是決定一次以何種程度更新誤 差的加權(quán)，是根據(jù)學(xué)習(xí)對(duì)象而由用戶決定的值。
[0105] ?教舉忒W
[0106]
[0107] 通過(guò)對(duì)輸入圖像和真值進(jìn)行比較，并反復(fù)更新濾波器系數(shù)，能夠算出容易識(shí)別輸 入圖像的濾波器系數(shù)。
[0108] 通過(guò)使用大量的學(xué)習(xí)數(shù)據(jù)進(jìn)行該學(xué)習(xí)，能夠求出泛化性能高的濾波器系數(shù)。
[0109] 如以上那樣，比較例的分類系統(tǒng)900即以往的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別處理。該識(shí)別 處理中所使用的卷積濾波器的濾波器系數(shù)預(yù)先被學(xué)習(xí)處理。
[0110]接著，進(jìn)行對(duì)本實(shí)施方式的圖像識(shí)別方法等的說(shuō)明。
[0111](分類系統(tǒng)1的結(jié)構(gòu)）
[0112] 圖1是表示本實(shí)施方式的分類系統(tǒng)1的結(jié)構(gòu)的一例的框圖。圖2是表示本實(shí)施方式 的分類器10的結(jié)構(gòu)的一例的框圖。
[0113] 圖1所示的分類系統(tǒng)1是具有一個(gè)分類器10的卷積神經(jīng)網(wǎng)絡(luò)。分類系統(tǒng)1在被輸入 了分類對(duì)象物（識(shí)別處理對(duì)象圖像)時(shí)，通過(guò)利用分類器10來(lái)執(zhí)行分類處理（識(shí)別處理），并 輸出其結(jié)果(分類結(jié)果、識(shí)別處理結(jié)果）。
[0114] (分類器10的結(jié)構(gòu)）
[0115] 分類器10是對(duì)圖像執(zhí)行識(shí)別處理，并輸出識(shí)別結(jié)果的圖像識(shí)別裝置的一例。如圖2 所示，分類器10包括圖像輸入部11、卷積處理部12、子采樣部13、識(shí)別處理部14以及識(shí)別結(jié) 果輸出部15。
[0116] 另外，圖2所示的分類器10相對(duì)于圖10所示的分類器90a等，卷積處理部12的結(jié)構(gòu) 差異較大。
[0117] 圖像輸入部11進(jìn)行圖像的輸入。在本實(shí)施方式中，圖像輸入部11讀入被輸入的圖 像(輸入圖像)。
[0118] 卷積處理部12對(duì)同一輸入圖像進(jìn)行利用多個(gè)不同的卷積濾波器進(jìn)行的卷積處理。 關(guān)于卷積處理，由于已經(jīng)進(jìn)行了說(shuō)明，因此，此處省略詳細(xì)的說(shuō)明。與輸入圖像所包含的各 像素對(duì)應(yīng)的位置的、卷積處理的處理結(jié)果信息具有相當(dāng)于卷積濾波器的數(shù)量的個(gè)數(shù)。
[0119] 各個(gè)處理結(jié)果信息例如包括所述輸入圖像所包含的多個(gè)像素的各位置處的所述 卷積處理的處理結(jié)果的值。
[0120]另外，處理結(jié)果信息所包含的處理結(jié)果的值與輸入圖像所包含的多個(gè)像素的某一 個(gè)的位置相關(guān)聯(lián)，因此，有時(shí)也將處理結(jié)果信息所包含的要素(處理結(jié)果)稱作像素，將要素 的位置稱作像素的位置，將處理結(jié)果的值稱作像素值。
[0121] 卷積處理部12例如基于輸入圖像所包含的多個(gè)像素的各位置處的卷積處理的處 理結(jié)果的值，決定一個(gè)與多個(gè)像素的各位置相對(duì)應(yīng)的特征量，并輸出含有所決定的各位置 的特征量的輸出結(jié)果信息(也稱作選擇結(jié)果）。
[0122] 此外，特征量與輸入圖像所包含的多個(gè)像素的某一個(gè)的位置相關(guān)聯(lián)，因此，有時(shí)也 將輸出結(jié)果信息所包含的要素(特征量)稱作像素，將要素的位置稱作像素的位置，將特征 量的值稱作像素值。
[0123] 卷積處理部12例如按多個(gè)像素的每個(gè)位置進(jìn)行如下處理:選擇輸入圖像所包含的 像素的位置處的多個(gè)處理結(jié)果的值中具有最大值的處理結(jié)果，將所選擇的處理結(jié)果的值決 定為該像素的位置處的特征量，輸出所決定的該像素的位置處的特征量。
[0124] 或者，卷積處理部12也可以例如按多個(gè)像素的每個(gè)位置進(jìn)行如下處理:算出輸入 圖像所包含的像素的位置處的多個(gè)處理結(jié)果的值中的中值或平均值，將算出的值決定為該 像素的位置處的特征量，輸出所決定的該像素的位置處的特征量。
[0125] 由此，卷積處理部12決定一個(gè)與輸入圖像所包含的多個(gè)像素的各位置相對(duì)應(yīng)的特 征量，輸出與所決定的多個(gè)像素的各位置相對(duì)應(yīng)的特征量。
[0126] 在本實(shí)施方式中，如圖2所示，卷積處理部12例如具有第1卷積處理部121、第2卷積 處理部122、第3卷積處理部123以及輸出選擇部124。
[0127] 第1卷積處理部121、第2卷積處理部122以及第3卷積處理部123各自具有一個(gè)用于 進(jìn)行針對(duì)輸入圖像的每個(gè)像素的卷積的卷積濾波器，這些卷積濾波器彼此不同。
[0128] 即，卷積處理部12具有3個(gè)不同的卷積濾波器，使用這3個(gè)不同的卷積濾波器對(duì)輸 入圖像進(jìn)行卷積處理。3個(gè)卷積濾波器各自例如分辨率或者尺度參數(shù)(濾波器尺寸)不同，或 者處理對(duì)象的顏色不同。
[0129] 在此，圖3是表示本實(shí)施方式的卷積處理部12的結(jié)構(gòu)的一例的框圖。在圖3所示的 例子中，卷積處理部12具備作為第1卷積處理部121的低分辨率卷積處理部121a、作為第2卷 積處理部122的中分辨率卷積處理部122a以及作為第3卷積處理部123的高分辨率卷積處理 部123a。
[0130] 低分辨率卷積處理部121a是使用卷積處理部12所具有的3個(gè)卷積濾波器中的與第 1分辨率相對(duì)應(yīng)的分辨率最低(低分辨率)的卷積濾波器來(lái)對(duì)輸入圖像進(jìn)行卷積處理的處理 部。中分辨率卷積處理部122a是使用卷積處理部12所具有的3個(gè)卷積濾波器中的與分辨率 高于第1分辨率的第2分辨率相對(duì)應(yīng)的，分辨率不是最低也不是最高（中分辨率)的卷積濾波 器來(lái)對(duì)輸入圖像進(jìn)行卷積處理的處理部。高分辨率卷積處理部123a是使用卷積處理部12所 具有的3個(gè)卷積濾波器中的與分辨率高于第2分辨率的第3分辨率相對(duì)應(yīng)的最高分辨率(高 分辨率)的卷積濾波器來(lái)對(duì)輸入圖像進(jìn)行卷積處理的處理部。
[0131]此外，在本實(shí)施方式中，對(duì)使用3個(gè)分辨率不同的卷積濾波器的例子進(jìn)行了說(shuō)明， 但分辨率不同的卷積濾波器的數(shù)量不限于3個(gè)。
[0132] 例如，分辨率不同的卷積濾波器的數(shù)量既可以是2個(gè)，也可以是4個(gè)以上。即，分辨 率不同的卷積濾波器的數(shù)量是至少2個(gè)即可。
[0133] 輸出選擇部124通過(guò)由第1卷積處理部121~第3卷積處理部123對(duì)輸入圖像進(jìn)行卷 積處理，從而得到3個(gè)處理結(jié)果信息。
[0134] 3個(gè)處理結(jié)果信息分別包括輸入圖像所包含的多個(gè)像素的各位置處的對(duì)應(yīng)的卷積 處理的處理結(jié)果的值。
[0135] 輸出選擇部124例如基于3個(gè)處理結(jié)果信息各自所包含的多個(gè)像素的各位置處的 卷積處理的處理結(jié)果的值，決定一個(gè)與多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出包含所決 定的各位置的特征量的輸出結(jié)果信息。
[0136] 輸出選擇部124例如按多個(gè)像素的每個(gè)位置進(jìn)行如下處理:選擇輸入圖像所包含 的像素的位置處的多個(gè)處理結(jié)果的值中具有最大值的處理結(jié)果，將所選擇的處理結(jié)果的值 決定為該像素的位置處的特征量，輸出所決定的該像素的位置處的特征量。
[0137] 或者，輸出選擇部124例如也可以按多個(gè)像素的每個(gè)位置進(jìn)行如下處理:算出輸入 圖像所包含的像素的位置處的多個(gè)處理結(jié)果的值中的中值或平均值，將算出的值決定為該 像素的位置處的特征量，輸出所決定的該像素的位置處的特征量。
[0138] 由此，輸出選擇部124決定一個(gè)與輸入圖像所包含的多個(gè)像素的各位置相對(duì)應(yīng)的 特征量，輸出所決定的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量。
[0139] 在使用圖9~圖11所示的例子中，將3個(gè)處理結(jié)果信息所包含的處理結(jié)果全部輸 出，相對(duì)于此，在本實(shí)施方式中，在卷積處理部12、更具體而言，在具有輸出選擇部124，輸出 一個(gè)與多個(gè)像素的各位置相對(duì)應(yīng)的特征量這一點(diǎn)上大為不同。
[0140] 在此，對(duì)如下情況的例子進(jìn)行說(shuō)明，即：輸出選擇部124從由圖3所示的低分辨率卷 積處理部121a、中分辨率卷積處理部122a以及高分辨率卷積處理部123a進(jìn)行卷積處理而得 到的針對(duì)構(gòu)成輸入圖像的多個(gè)像素的各個(gè)像素的3個(gè)卷積處理的處理結(jié)果的值（即多個(gè)像 素值），選擇最大的值。
[0141] 圖4是表示本實(shí)施方式的卷積處理部12的處理結(jié)果的一例的圖。
[0142] 由低分辨率卷積處理部12Ia、中分辨率卷積處理部122a以及高分辨率卷積處理部 123a進(jìn)行的卷積處理中的輸入圖像使用同一輸入圖像。
[0143] 在圖4(a)的上段，示出了在低分辨率卷積處理部121a中使用低分辨率的卷積濾波 器對(duì)4X4的輸入圖像進(jìn)行了卷積處理所得到的處理結(jié)果（低分辨率卷積處理結(jié)果）的值的 一例。如圖4(a)的上段所示，在輸入圖像所包含的4X4的像素的各個(gè)像素中，示出了進(jìn)行低 分辨率的卷積處理所得到的處理結(jié)果的值。在本實(shí)施方式中，輸入圖像所包含的像素是4 X 4=16,所以示出了 16個(gè)處理結(jié)果的值。各處理結(jié)果的值示于與輸入圖像所包含的像素相對(duì) 應(yīng)的位置。
[0144] 在圖4(a)的中段，示出了在中分辨率卷積處理部12 2a中使用中分辨率的卷積濾波 器對(duì)4X4的輸入圖像進(jìn)行了卷積處理所得到的處理結(jié)果（中分辨率卷積處理結(jié)果）的值的 一例。如圖4(a)的中段所示，在輸入圖像所包含的4X4的像素的各個(gè)像素中，示出了進(jìn)行中 分辨率的卷積處理所得到的處理結(jié)果的值。在本實(shí)施方式中，輸入圖像所包含的像素是4 X 4=16,所以示出了 16個(gè)處理結(jié)果的值。各處理結(jié)果的值示于與輸入圖像所包含的各像素相 對(duì)應(yīng)的位置。
[0145] 在圖4(a)的下段，示出了在高分辨率卷積處理部123a中使用高分辨率的卷積濾波 器對(duì)4X4的輸入圖像進(jìn)行了卷積處理所得到的處理結(jié)果（高分辨率卷積處理結(jié)果）的值的 一例。如圖4(a)的下段所示，在輸入圖像所包含的4X4的像素的各個(gè)像素中，示出了進(jìn)行高 分辨率的卷積處理所得到的處理結(jié)果的值。在本實(shí)施方式中，輸入圖像所包含的像素是4 X 4=16,所以示出了 16個(gè)處理結(jié)果的值。各處理結(jié)果的值示于與輸入圖像所包含的各像素相 對(duì)應(yīng)的位置。
[0146] 在該情況下，在圖4的(b)中，輸出選擇部124進(jìn)行選擇最大的像素值的輸出選擇處 理。
[0147] 例如，使用圖4(a)的進(jìn)行了低分辨率卷積處理時(shí)的處理結(jié)果信息（圖4(a)所示的 低分辨率卷積處理結(jié)果）、進(jìn)行了中分辨率卷積處理時(shí)的處理結(jié)果信息（圖4(a)所示的中分 辨率卷積處理結(jié)果）以及進(jìn)行了高分辨率卷積處理時(shí)的處理結(jié)果信息（圖4(a)所示的高分 辨率卷積處理結(jié)果)所包含的左上角的位置的值來(lái)進(jìn)行說(shuō)明。
[0148] 該值表示的是在位于輸入圖像的左上角的像素中分別進(jìn)行了低分辨率卷積處理、 中分辨率卷積處理、高分辨率卷積處理時(shí)的處理結(jié)果的值。各處理結(jié)果的值是"1"、"3"、 "3"。
[0149] 輸出選擇部124從這些處理結(jié)果的值中選擇具有最大的值的處理結(jié)果，將所選擇 的處理結(jié)果的值(該例中為"3"）決定為與位于左上角的像素相對(duì)應(yīng)的特征量。
[0150]輸出選擇部124輸出"3"作為與位于左上角的像素相對(duì)應(yīng)的特征量。
[0151] 此外，在最大值的值有2個(gè)以上的情況下，輸出選擇部124選擇與最大值相對(duì)應(yīng)的2 個(gè)以上的處理結(jié)果的值中的任一值即可。
[0152] 輸出選擇部124對(duì)輸入圖像所包含的其他像素也進(jìn)行同樣的處理，由此輸出輸出 結(jié)果信息（圖4(c)所示的選擇結(jié)果）。
[0153]圖4(c)所示的選擇結(jié)果例如與卷積處理的處理結(jié)果同樣，示出了與輸入圖像所包 含的各像素的位置相對(duì)應(yīng)的選擇結(jié)果的值。在圖4所示的例子中，輸入圖像所包含的像素是 4 X 4 = 16，因此，選擇結(jié)果輸出的是與各像素的位置相對(duì)應(yīng)的16個(gè)值。
[0154] 圖4的（c)的選擇結(jié)果所包含的值包括與輸入圖像所包含的各像素相對(duì)應(yīng)的位置 處的、低分辨率卷積處理結(jié)果~高分辨率卷積處理結(jié)果的值中最大的值(像素值）。
[0155] 像這樣，卷積處理部12通過(guò)具備低分辨率卷積處理部121a、中分辨率卷積處理部 122a、高分辨率卷積處理部123a以及輸出選擇部124,能夠在輸入圖像所包含的各像素中， 向輸出側(cè)（識(shí)別處理部14)傳遞輸出如下結(jié)果信息（或者，也稱作選擇結(jié)果），該輸出結(jié)果信 息僅包括輸入圖像與處理結(jié)果的相關(guān)最高的處理結(jié)果的值(即，最大的像素值)作為各像素 的特征量。即，由于不向輸出側(cè)(識(shí)別處理部14)傳遞各個(gè)處理結(jié)果所包含的全部的值，所以 能夠削減分類器10的參數(shù)數(shù)量，因此能夠削減整個(gè)分類系統(tǒng)1所使用的存儲(chǔ)量。
[0156] 另外，卷積處理部12并列利用分辨率不同的多個(gè)卷積濾波器，從而也起到即使在 映在輸入圖像中的物體的大小、分辨率不同的情況下也能夠高效地從物體提取特征量這一 效果。
[0157] 子采樣部13進(jìn)行如下的子采樣處理:從自卷積處理部12(更具體而言是輸出選擇 部124)輸出的選擇結(jié)果所包含的多個(gè)特征量中決定成為代表的代表特征量。
[0158] 選擇結(jié)果所包含的多個(gè)特征量分別與輸入圖像所包含的多個(gè)像素的某一個(gè)的位 置相關(guān)聯(lián)，因此，有時(shí)也將選擇結(jié)果所包含的特征量稱作像素值，將代表特征量稱作代表像 素值，將特征量的位置(即，與特征量相對(duì)應(yīng)的輸入圖像的像素的位置)稱作像素的位置。
[0159] 子采樣部13例如預(yù)先確定具有包含輸入圖像或選擇結(jié)果所包含的多個(gè)像素中相 鄰的多個(gè)像素在內(nèi)的大小的區(qū)域，以上述區(qū)域的大小分割選擇結(jié)果所包含的多個(gè)特征量， 按分割出的每個(gè)區(qū)域決定代表特征量。
[0160] 子采樣部13例如分割選擇結(jié)果，將分割出的區(qū)域所包含的多個(gè)像素的各位置的特 征量中最大值的特征量決定為代表特征量。其原因在于，最大值的特征量表現(xiàn)出與上述區(qū) 域相對(duì)應(yīng)的輸入圖像的區(qū)域和處理結(jié)果之間相關(guān)最高的結(jié)果。因此，子采樣部13針對(duì)每個(gè) 上述區(qū)域，將該區(qū)域所包含的特征量中具有最大的值的特征量決定為該區(qū)域的代表特征 量。
[0161] 在本實(shí)施方式中，子采樣部13針對(duì)卷積處理部12的輸出結(jié)果，按每個(gè)特定的區(qū)域 (is，js)以預(yù)定的基準(zhǔn)sb進(jìn)行子采樣處理。例如，在從某一像素(0、0)對(duì)2X2區(qū)域進(jìn)行最大 值的子采樣的情況下，選擇具有最大值的特征量(像素值)作為該2 X 2區(qū)域的4像素的代表 值。
[0162] 在此，使用圖4的（c)所示的選擇結(jié)果，對(duì)子采樣部13決定代表特征量的情況的例 子進(jìn)行說(shuō)明。
[0163] 圖5是表示本實(shí)施方式的子采樣部13的子采樣處理的一例的圖。在圖5中，示出了 子采樣部13從某一像素(0、0)對(duì)2X2區(qū)域進(jìn)行最大像素值的子采樣處理而得到結(jié)果的一 例。在圖5的(a)中示出了圖4的（c)所示的選擇結(jié)果。子采樣部13在該選擇結(jié)果即按每個(gè)像 素選擇了最大像素值的圖像中，在將左上設(shè)為原點(diǎn)(〇,〇)的情況下，如圖5的(b)所示，對(duì)2X 2區(qū)域(4像素)進(jìn)行采樣，從而得到與各像素相對(duì)應(yīng)的像素值3、8、6、4。然后、子采樣部13通 過(guò)對(duì)進(jìn)行采樣而得到的多個(gè)像素值中的最大值(最大的像素值)進(jìn)行采樣，從而選擇8作為 包含4個(gè)像素的區(qū)域的代表特征量。另外，子采樣部13例如對(duì)其他的區(qū)域也進(jìn)行同樣的處 理。子采樣部13例如對(duì)圖5 (a)所示的選擇結(jié)果中的包含右上的像素在內(nèi)的2 X 2區(qū)域、包含 左下的像素在內(nèi)的2 X 2區(qū)域以及包含右下的像素在內(nèi)的2 X 2區(qū)域分別進(jìn)行采樣，從而選擇 8、9、9作為代表特征量。
[0164] 此外，通過(guò)反復(fù)進(jìn)行預(yù)定次數(shù)的卷積處理部12的卷積處理和子采樣部13的子采樣 處理，能夠從輸入圖像通過(guò)卷積處理提取特征量，并進(jìn)行數(shù)據(jù)(特征量)的子采樣，能夠提取 對(duì)識(shí)別物體而言有效的特征。
[0165] 此外，以反復(fù)進(jìn)行預(yù)定次數(shù)的卷積處理部12的卷積處理和子采樣部13的子采樣處 理的內(nèi)容為例進(jìn)行了說(shuō)明，但并不限定于此。
[0166] 例如，也可以是，將輸入圖像作為輸入，通過(guò)卷積處理部12向識(shí)別處理部14輸出進(jìn) 行了卷積處理所得到的選擇結(jié)果。
[0167] 識(shí)別處理部14基于通過(guò)卷積處理部12輸出的輸出結(jié)果來(lái)執(zhí)行識(shí)別處理。例如，在 識(shí)別處理部14中，基于由子采樣部13決定的代表特征量來(lái)執(zhí)行識(shí)別處理。此外，關(guān)于識(shí)別處 理的具體方法與在比較例中所說(shuō)明的相同，因此省略在此的說(shuō)明。
[0168] 識(shí)別結(jié)果輸出部15輸出通過(guò)識(shí)別處理部14執(zhí)行識(shí)別處理而得到的識(shí)別處理結(jié)果。
[0169] (分類器10的工作）
[0170]接著，對(duì)如以上那樣構(gòu)成的分類器10的工作進(jìn)行說(shuō)明。
[0171] 圖6是用于說(shuō)明本實(shí)施方式的分類器10的工作的流程圖。圖7是表示圖6的工作的 詳情的流程圖。
[0172] 首先，分類器10進(jìn)行圖像的輸入的圖像輸入處理(S1)。更詳細(xì)而言，如圖7所示，分 類器10讀入圖像(輸入圖像)（S11)，對(duì)讀入的輸入圖像實(shí)施預(yù)定的前處理(S12)。
[0173] 接著，分類器10進(jìn)行卷積處理(S3)。具體而言，在S3中，分類器10對(duì)輸入的同一圖 像進(jìn)行由多個(gè)不同的卷積濾波器進(jìn)行的卷積處理(S31)，從構(gòu)成通過(guò)進(jìn)行卷積處理(S31)而 得到的圖像的多個(gè)像素的各位置處的多個(gè)處理結(jié)果的值中，決定一個(gè)與各位置相對(duì)應(yīng)的特 征量(S32)。
[0174] 更詳細(xì)而言，如圖7所示，在S31中，分類器10例如在低分辨率卷積處理部121a中利 用低分辨率的卷積濾波器對(duì)輸入圖像進(jìn)行卷積處理(S311)。另外，在S31中，分類器10在中 分辨率卷積處理部122a中利用中分辨率的卷積濾波器對(duì)輸入圖像進(jìn)行卷積處理(S312)，在 高分辨率卷積處理部123a中利用高分辨率的卷積濾波器對(duì)輸入圖像進(jìn)行卷積處理(S313)。 這樣一來(lái)，分類器10能夠得到以各種分辨率對(duì)與同一輸入圖像所包含的各像素相對(duì)應(yīng)的位 置進(jìn)行了卷積處理時(shí)的處理結(jié)果的值。此外，在S31中，進(jìn)行S311~S313的處理的順序不限 于圖7所示的情況。在S31中，無(wú)論順序如何，只要進(jìn)行S311~S313的處理即可。接著，在S32 中，分類器10如圖7所示那樣進(jìn)行如下的輸出選擇處理:對(duì)在S31中利用各分辨率的卷積濾 波器在與輸入圖像所包含的各像素相對(duì)應(yīng)的位置進(jìn)行卷積處理所得到的處理結(jié)果的值進(jìn) 行比較，僅輸出最大值作為各位置處的特征量。將此作為接下來(lái)的子采樣層的輸入，分類器 10進(jìn)行子采樣處理(S4)。然后，將子采樣處理(S4)的處理結(jié)果作為新的輸入，反復(fù)進(jìn)行卷積 處理（S3)和子采樣處理（S4)。根據(jù)該反復(fù)進(jìn)行的次數(shù)是否大于閾值，對(duì)是否結(jié)束卷積處理 (S3)進(jìn)行判定(S5)。在S5中分類器10判定為不結(jié)束卷積處理(S3)的情況下（S5為否），使處 理返回至S3。在S5中分類器10判定為結(jié)束卷積處理(S3)的情況下(S5為是），使處理進(jìn)入S6。
[0175] 此外，也可以是，例如不反復(fù)進(jìn)行卷積處理(S3)和子采樣處理(S4)，而是在子采樣 處理(S4)之后，進(jìn)入后述的識(shí)別處理(S6)。在該情況下，例如將S5中的閾值設(shè)定為1即可。
[0176] 在此，對(duì)分類器10進(jìn)行多次(在多層的卷積處理層中）卷積處理(S3)的情況進(jìn)行說(shuō) 明。
[0177] 圖8A和圖8B是用于說(shuō)明第2層以后的卷積處理的圖。圖8A示出了排列了N個(gè)第1層 (子采樣層）的輸出的行列，圖8B在概念上示出了第2層的卷積濾波器(卷積濾波器）。
[0178]在第2個(gè)卷積處理層中，使用圖8A所示的排列了N個(gè)第1層(子采樣層）的輸出的行 列和圖8B所示的第2層的卷積濾波器，進(jìn)行3維卷積處理。對(duì)于第2層的卷積濾波器而言，若 將卷積濾波器的縱向、橫向分別設(shè)為Fy2、Fx2,則高度成為與由第1層輸出的濾波器數(shù)相同 的N。將卷積處理進(jìn)行與第2層的濾波器數(shù)相同的次數(shù)。并且，與第1層同樣，若在卷積處理層 之后存在子采樣層，則進(jìn)行子采樣處理。
[0179] 通過(guò)反復(fù)進(jìn)行預(yù)定次數(shù)的以上的處理，能夠從輸入圖像通過(guò)卷積處理提取特征量 并進(jìn)行數(shù)據(jù)(特征量)的子采樣處理，能夠提取對(duì)識(shí)別物體而言有效的特征。
[0180]返回到圖6和圖7進(jìn)行說(shuō)明。在S5中，在分類器10判定為結(jié)束卷積處理（S3)的情況 下（S5為是），分類器10進(jìn)行識(shí)別處理(S6)。更具體而言，分類器10基于在S3的卷積處理中所 選擇的多個(gè)像素的像素值來(lái)執(zhí)行識(shí)別處理。
[0181]接著，分類器10輸出在S6中進(jìn)行識(shí)別處理后得到的結(jié)果（識(shí)別結(jié)果信息）（S8)。更 具體而言，分類器10輸出通過(guò)在S6中執(zhí)行識(shí)別處理而得到的處理結(jié)果（識(shí)別處理結(jié)果信 息)。
[0182] (效果等）
[0183] 根據(jù)本實(shí)施方式，通過(guò)并行地進(jìn)行利用不同的卷積濾波器進(jìn)行的卷積處理，能夠 從算出的輸入圖像所包含的多個(gè)像素的各位置處的多個(gè)處理結(jié)果的值中，按每個(gè)像素選擇 性地利用有利于識(shí)別的信息，因此不僅能夠高速地進(jìn)行圖像識(shí)別，還能夠提高圖像識(shí)別精 度。由此，能夠?qū)崿F(xiàn)能高速且高精度地進(jìn)行圖像識(shí)別的圖像識(shí)別方法、圖像識(shí)別裝置。
[0184] 另外，實(shí)現(xiàn)圖像識(shí)別裝置的本實(shí)施方式的分類系統(tǒng)1僅具有1個(gè)具有不同的卷積濾 波器的分類器10即可，因此，作為神經(jīng)網(wǎng)絡(luò)，構(gòu)造更為簡(jiǎn)單，能夠?qū)崿F(xiàn)對(duì)處理速度的改善。
[0185] 另外，在本實(shí)施方式的圖像識(shí)別裝置等中，并列利用分辨率不同的多個(gè)卷積濾波 器。由此，即使在映在輸入圖像中的物體的大小、分辨率不同的情況下，也能夠高效地從物 體提取特征量。換言之，若在分類器10的第1層（中間層）中能夠應(yīng)對(duì)多個(gè)分辨率，則即使在 輸入的圖像中的分辨率未知的情況下，也能夠從低分辨率到高分辨率進(jìn)行多種應(yīng)對(duì)，因此 能夠進(jìn)行更適于識(shí)別的特征量的提取。
[0186] 例如，在文字識(shí)別等中，對(duì)于直線，利用容許些許誤差的低分辨率的卷積濾波器進(jìn) 行特征量的提取，對(duì)于曲線，利用僅能表現(xiàn)彎曲狀態(tài)的高分辨率的卷積濾波器進(jìn)行特征量 的提取即可。另外，例如在識(shí)別性能易于受位置偏移的影響的情況下，使用低分辨率的卷積 濾波器進(jìn)行處理即可，在不易受位置偏移的影響的情況下，利用高分辨率的卷積濾波器進(jìn) 行處理即可。由此，能夠配合圖像的性質(zhì)，自動(dòng)選擇分辨率。
[0187] 此外，在本實(shí)施方式中，對(duì)使用卷積處理部12所具有的作為不同的卷積濾波器的， 低分辨率卷積濾波器、中分辨率卷積濾波器以及高分辨率卷積濾波器這3個(gè)不同的卷積濾 波器的例子進(jìn)行了說(shuō)明，但不限于此。卷積濾波器的數(shù)量、卷積濾波器的分辨率不限于此， 可以根據(jù)識(shí)別對(duì)象而設(shè)為更少的卷積濾波器。在該情況下，能夠進(jìn)一步削減存儲(chǔ)量和/或計(jì) 算量。另外，對(duì)于卷積濾波器的分辨率，若知道作為識(shí)別對(duì)象的圖像(輸入圖像)的特征的部 位(邊緣等)的分辨率，則也可以據(jù)此來(lái)決定。
[0188] 另外，在本實(shí)施方式中，對(duì)多個(gè)卷積濾波器中分辨率或尺度參數(shù)不同的情況的例 子進(jìn)行了說(shuō)明，但不限于此。例如，也可以是，在多個(gè)卷積濾波器中，各個(gè)處理對(duì)象的顏色不 同。更具體而言，第1卷積處理部121、第2卷積處理部122以及第3卷積處理部123分別利用分 辨率或尺度參數(shù)不同的多個(gè)濾波器對(duì)輸入圖像進(jìn)行卷積處理，但不限于此。例如，第1卷積 處理部121、第2卷積處理部122以及第3卷積處理部123也可以用各自處理對(duì)象的顏色不同 的多個(gè)卷積濾波器對(duì)輸入圖像進(jìn)行卷積處理。而且，也可以利用輸出選擇部124對(duì)由多個(gè)卷 積濾波器處理后所得到的處理結(jié)果進(jìn)行選擇處理。由此、本實(shí)施方式的分類器10能夠在與 輝度的輪廓相比在顏色的變化、分布上具有特征那樣的輸入圖像群中取得有效的特征量。
[0189] 以上，在實(shí)施方式中說(shuō)明了分類器10的各處理，但實(shí)施各處理的主體、裝置沒(méi)有特 別限定。例如，可以利用組裝于在本地配置的特定的裝置內(nèi)的處理器等（以下進(jìn)行說(shuō)明）進(jìn) 行處理。另外，也可以利用在與本地的裝置不同的場(chǎng)所配置的服務(wù)器等進(jìn)行處理。另外，也 可以通過(guò)在本地的裝置和服務(wù)器之間進(jìn)行信息的協(xié)作，來(lái)分擔(dān)本發(fā)明所說(shuō)明的各處理。例 如，也可以是，本地的裝置具備作為分類器10的一部分的圖像輸入部11和識(shí)別結(jié)果輸出部 15,服務(wù)器具有作為分類器10的另一部分的卷積處理部12、子采樣部13以及識(shí)別處理部14。
[0190] 另外，在上述實(shí)施方式中，在利用服務(wù)器實(shí)現(xiàn)分類器10的處理的一部分或全部的 情況下，例如能夠在以下云服務(wù)器的類型中實(shí)現(xiàn)。但是，能實(shí)現(xiàn)上述實(shí)施方式中所說(shuō)明的處 理的云服務(wù)器的類型不限于這些。
[0191] 以下，對(duì)通過(guò)實(shí)現(xiàn)分類器10的處理的一部分或全部的服務(wù)器提供的服務(wù)進(jìn)行說(shuō) 明。
[0192] 圖13A~圖13C是用于說(shuō)明使用服務(wù)器提供服務(wù)的方式的一例的圖。
[0193] 在圖13A中，示出了服務(wù)器（1100)具有數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)所運(yùn)營(yíng)的云服務(wù) 器(110011)以及服務(wù)供應(yīng)商所運(yùn)營(yíng)的服務(wù)器(110021)的結(jié)構(gòu)。
[0194] 云服務(wù)器（110011)是經(jīng)由互聯(lián)網(wǎng)與各種各樣的設(shè)備協(xié)作的虛擬服務(wù)器。主要管理 難以由通常的數(shù)據(jù)庫(kù)管理工具等進(jìn)行處理的龐大的數(shù)據(jù)(大數(shù)據(jù)）等。數(shù)據(jù)中心運(yùn)營(yíng)公司 (11001)進(jìn)行數(shù)據(jù)管理、云服務(wù)器（110011)的管理以及進(jìn)行這些管理的數(shù)據(jù)中心的運(yùn)營(yíng)等。 關(guān)于數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)所進(jìn)行的勞務(wù)，詳情后述。在此，數(shù)據(jù)中心運(yùn)營(yíng)公司（11001) 不限于只進(jìn)行數(shù)據(jù)管理和/或云服務(wù)器(110011)的運(yùn)營(yíng)等的公司。
[0195] 在對(duì)上述實(shí)施方式中進(jìn)行了說(shuō)明的分類器10、分類系統(tǒng)1進(jìn)行開發(fā)、制造的制造商 一并進(jìn)行數(shù)據(jù)管理和/或云服務(wù)器（110011)的管理等的情況下，制造商相當(dāng)于數(shù)據(jù)中心運(yùn) 營(yíng)公司（11001)(圖 13B)。
[0196] 此外，數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)不限于一個(gè)公司。例如在制造商以及其他管理公 司共同進(jìn)行或者分擔(dān)進(jìn)行數(shù)據(jù)管理和/或云服務(wù)器（110011)的運(yùn)營(yíng)的情況下，兩者或者任 一者相當(dāng)于數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)(圖13C)。
[0197] 服務(wù)供應(yīng)商（11002)具有服務(wù)器（110021)。在此所說(shuō)的服務(wù)器（110021)不論其規(guī) 模如何，例如也包括利用個(gè)人用PC或者網(wǎng)關(guān)設(shè)備進(jìn)行工作的服務(wù)器。另外，有時(shí)服務(wù)供應(yīng)商 不具有服務(wù)器(110021)。
[0198] 接著，對(duì)上述服務(wù)中信息的流向進(jìn)行說(shuō)明。
[0199] 例如在圖13A所示的家A(1210)中用數(shù)碼相機(jī)等家電設(shè)備拍攝的圖像被送往云服 務(wù)器(110011)(圖13A的箭頭(a))。
[0200] 云服務(wù)器（110011)接收例如從家A(1210)、其他的家B發(fā)送的由家電設(shè)備拍攝的圖 像并儲(chǔ)存。
[0201] 接著，數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)的云服務(wù)器（110011)將儲(chǔ)存的圖像等信息以一 定的單位提供給服務(wù)供應(yīng)商（11002)。在此，既可以是數(shù)據(jù)中心運(yùn)營(yíng)公司能夠整理所儲(chǔ)存的 圖像等信息并提供給服務(wù)供應(yīng)商（11002)的單位，也可以是服務(wù)供應(yīng)商（11002)所要求的單 位。雖然記載為一定的單位，但也可以不是一定的，有時(shí)提供的信息量也根據(jù)狀況而變化。 [0202]數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)提供給服務(wù)供應(yīng)商（11002)的圖像等信息根據(jù)需要而 保存于服務(wù)供應(yīng)商（11002)所具有的服務(wù)器(110021)(圖13A的箭頭(b))。
[0203] 然后，服務(wù)供應(yīng)商（11002)基于圖像等，將適合向用戶提供的服務(wù)的信息（例如由 作為分類器10的一部分的卷積處理部12和子采樣部13進(jìn)行處理而得到的處理結(jié)果的信息、 基于所提供的圖像等信息而學(xué)習(xí)到的分辨率、應(yīng)該對(duì)多個(gè)不同的卷積濾波器設(shè)定的設(shè)定 值)提供給用戶。
[0204] 所提供的用戶既可以是使用1個(gè)或多個(gè)家電設(shè)備的用戶（1211)，也可以是處于家 之外的用戶（1212)。
[0205]向用戶提供服務(wù)的方法可以是例如不再次經(jīng)由云服務(wù)器（110011)，而是從服務(wù)供 應(yīng)商（11002)直接向用戶提供(圖13A的箭頭(e)或(f))。
[0206] 另外，向用戶提供服務(wù)的方法也可以是例如再次經(jīng)由數(shù)據(jù)中心運(yùn)營(yíng)公司（11001) 的云服務(wù)器（110011)，向用戶提供（圖13A的箭頭（c)、（d))。另外，也可以是，數(shù)據(jù)中心運(yùn)營(yíng) 公司（11001)的云服務(wù)器（110011)基于由家電設(shè)備拍攝的圖像等，將適合向用戶提供的服 務(wù)的信息(在云服務(wù)器(110011)例如具有作為分類器10的一部分的卷積處理部12和子采樣 部13的情況下，由該一部分進(jìn)行處理而得到的處理結(jié)果的信息、基于所提供的圖像等信息 而學(xué)習(xí)到的分辨率、應(yīng)該對(duì)多個(gè)不同的卷積濾波器設(shè)定的設(shè)定值）提供給服務(wù)供應(yīng)商 (11002)。
[0207] 關(guān)于服務(wù)的類型，在以下進(jìn)行說(shuō)明。
[0208](服務(wù)的類型1:自己公司數(shù)據(jù)中心型）
[0209] 圖14是用于說(shuō)明服務(wù)的類型的一例的圖。
[0210] 圖14具體而言是表示服務(wù)的類型1(自己公司數(shù)據(jù)中心型）的圖。本類型是服務(wù)供 應(yīng)商（11002)從圖示的家A(1210)取得圖像等信息，并對(duì)用戶提供適合服務(wù)的信息的類型。
[0211] 在本類型中，服務(wù)供應(yīng)商（11002)具有數(shù)據(jù)中心運(yùn)營(yíng)公司的功能。即，服務(wù)供應(yīng)商 具有進(jìn)行對(duì)大數(shù)據(jù)的管理的云服務(wù)器(110011)。因此，不存在數(shù)據(jù)中心運(yùn)營(yíng)公司。
[0212]在本類型中，服務(wù)供應(yīng)商（11002)對(duì)數(shù)據(jù)中心（云服務(wù)器（110011))進(jìn)行運(yùn)營(yíng)、管理 (1100203)。另外，服務(wù)供應(yīng)商（11002)對(duì)0S( 1100202)和應(yīng)用（1100201)進(jìn)行管理。服務(wù)供應(yīng) 商（11002)使用由服務(wù)供應(yīng)商（11002)管理的0S(1100202)和應(yīng)用（1100201)，執(zhí)行例如相當(dāng) 于作為分類器10的一部分的卷積處理部12和子采樣部13的處理，對(duì)用戶提供適合服務(wù)的信 息（1100204)。
[0213] (服務(wù)的類型2: IaaS利用型）
[0214] 圖15是用于說(shuō)明服務(wù)的類型的一例的圖。
[0215] 圖15具體而言是表示服務(wù)的類型2(IaaS利用型）的圖。
[0216] 在此，IaaS是基礎(chǔ)設(shè)施即服務(wù)的簡(jiǎn)稱，是將用于構(gòu)筑計(jì)算機(jī)系統(tǒng)并使其運(yùn)作的基 礎(chǔ)本身，作為經(jīng)由互聯(lián)網(wǎng)的服務(wù)而提供的云服務(wù)提供模型。
[0217] 在本類型中，數(shù)據(jù)中心運(yùn)營(yíng)公司對(duì)數(shù)據(jù)中心（云服務(wù)器（110011))進(jìn)行運(yùn)營(yíng)、管理 (1100103)。另外，服務(wù)供應(yīng)商（11002)對(duì)0S(1100202)和應(yīng)用（1100201)進(jìn)行管理。服務(wù)供應(yīng) 商（11002)使用由服務(wù)供應(yīng)商（11002)管理的0S(1100202)和應(yīng)用（1100201)，執(zhí)行例如相當(dāng) 于作為分類器10的一部分的卷積處理部12和子采樣部13的處理，對(duì)用戶提供適合服務(wù)的信 息（1100204)。
[0218](服務(wù)的類型3:PaaS利用型）
[0219]圖16是用于說(shuō)明服務(wù)的類型的一例的圖。
[0220] 圖16具體而言是表示服務(wù)的類型3(PaaS利用型）的圖。在此，PaaS是平臺(tái)即服務(wù)的 簡(jiǎn)稱，是將成為用于構(gòu)筑軟件并使其運(yùn)作的基臺(tái)的平臺(tái)，作為經(jīng)由互聯(lián)網(wǎng)的服務(wù)而提供的 云服務(wù)提供模型。
[0221] 在本類型中，數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)對(duì)0S( 1100102)進(jìn)行管理，對(duì)數(shù)據(jù)中心（云 服務(wù)器（110011))進(jìn)行運(yùn)營(yíng)、管理（1100103)。另外，服務(wù)供應(yīng)商（11002)對(duì)應(yīng)用（1100201)進(jìn) 行管理。使用由服務(wù)供應(yīng)商（11002)、數(shù)據(jù)中心運(yùn)營(yíng)公司管理的0S(1100102)和由服務(wù)供應(yīng) 商（11002)管理的應(yīng)用（1100201)，執(zhí)行例如相當(dāng)于作為分類器10的一部分的卷積處理部12 和子采樣部13的處理，對(duì)用戶提供適合服務(wù)的信息（1100204)。
[0222] (服務(wù)的類型4: SaaS利用型）
[0223] 圖17是用于說(shuō)明服務(wù)的類型的一例的圖。
[0224] 圖17具體而言是表示服務(wù)的類型4(SaaS利用型）的圖。在此，SaaS是軟件即服務(wù)的 簡(jiǎn)稱。例如，是具有如下功能的云服務(wù)提供模型，即：沒(méi)有數(shù)據(jù)中心（云服務(wù)器)的公司、個(gè)人 (利用者)能夠經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)使用由具有數(shù)據(jù)中心（云服務(wù)器）的平臺(tái)提供者所提供的 應(yīng)用。
[0225] 在本類型中，數(shù)據(jù)中心運(yùn)營(yíng)公司（1100 1)對(duì)應(yīng)用（1100101)進(jìn)行管理，對(duì)OS (1100102)進(jìn)行管理，對(duì)數(shù)據(jù)中心（云服務(wù)器（110011))進(jìn)行運(yùn)營(yíng)、管理（1100103)。另外，月艮 務(wù)供應(yīng)商120使用由數(shù)據(jù)中心運(yùn)營(yíng)公司（11001)管理的0S(1100102)和應(yīng)用（1100101)，執(zhí)行 例如相當(dāng)于作為分類器10的一部分的卷積處理部12和子采樣部13的處理，對(duì)用戶提供適合 服務(wù)的信息（1100204)。
[0226] 在以上任一類型中，都設(shè)為服務(wù)供應(yīng)商11002進(jìn)行對(duì)用戶提供適合服務(wù)的信息的 行為。另外，例如服務(wù)供應(yīng)商或數(shù)據(jù)中心運(yùn)營(yíng)公司可以自己開發(fā)0S、應(yīng)用或大數(shù)據(jù)的數(shù)據(jù)庫(kù) 等，也可以外包給第三者。
[0227] 另外，本發(fā)明還包括以下這樣的情況。
[0228] (1)上述裝置具體而言是由微處理器、R0M、RAM、硬盤單元、顯示器單元、鍵盤、鼠標(biāo) 等構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述RAM或硬盤單元存儲(chǔ)有計(jì)算機(jī)程序。所述微處理器按照所述計(jì)算 機(jī)程序進(jìn)行工作，從而各裝置實(shí)現(xiàn)其功能。在此，計(jì)算機(jī)程序?yàn)榱藢?shí)現(xiàn)預(yù)定的功能，構(gòu)成為 組合了多個(gè)表示對(duì)計(jì)算機(jī)的指令的命令碼。
[0229] (2)構(gòu)成上述裝置的構(gòu)成要素的一部分或全部可以由一個(gè)系統(tǒng)LSI (Large Scale Integration:大規(guī)模集成電路)構(gòu)成。系統(tǒng)LSI是將多個(gè)構(gòu)成部集成于一個(gè)芯片上制造出的 超多功能LSI，具體而言是構(gòu)成為包括微處理器、R0M、RAM等的計(jì)算機(jī)系統(tǒng)。在所述RAM存儲(chǔ) 有計(jì)算機(jī)程序。所述微處理器按照所述計(jì)算機(jī)程序進(jìn)行工作，從而系統(tǒng)LSI實(shí)現(xiàn)其功能。
[0230] (3)構(gòu)成上述裝置的構(gòu)成要素的一部分或全部也可以由能夠相對(duì)于各裝置裝卸的 IC卡或單個(gè)模塊構(gòu)成。所述IC卡或所述模塊是由微處理器、R0M、RAM等構(gòu)成的計(jì)算機(jī)系統(tǒng)。 所述IC卡或所述模塊可以包括上述的超多功能LSI。微處理器按照計(jì)算機(jī)程序進(jìn)行工作，從 而所述IC卡或所述模塊實(shí)現(xiàn)其功能。該IC卡或該模塊可以具有防篡改性。
[0231] (4)本發(fā)明可以是上述內(nèi)容所示的方法。另外，既可以是利用計(jì)算機(jī)實(shí)現(xiàn)這些方法 的計(jì)算機(jī)程序，也可以是包括所述計(jì)算機(jī)程序的數(shù)字信號(hào)。
[0232] (5)另外，本發(fā)明可以是將所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)記錄在能夠由計(jì)算機(jī) 讀取的記錄介質(zhì)，例如軟盤、硬盤、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD (BIu-ray (注冊(cè)商 標(biāo))Disc)、半導(dǎo)體存儲(chǔ)器等上的物體。另外，也可以是記錄于這些記錄介質(zhì)的所述數(shù)字信 號(hào)。
[0233] 另外，本發(fā)明也可以是將所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)經(jīng)由電信線路、無(wú)線通 信線路或有線通信線路、以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)廣播等進(jìn)行傳遞的物體。
[0234] 另外，本發(fā)明也可以是具備微處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)，所述存儲(chǔ)器存儲(chǔ)有 上述計(jì)算機(jī)程序，所述微處理器按照所述計(jì)算機(jī)程序進(jìn)行工作。
[0235] 另外，也可以將所述程序或所述數(shù)字信號(hào)記錄在所述記錄介質(zhì)并進(jìn)行傳遞，或者 將所述程序或所述數(shù)字信號(hào)經(jīng)由所述網(wǎng)絡(luò)等進(jìn)行傳遞，從而利用獨(dú)立的其他計(jì)算機(jī)系統(tǒng)進(jìn) 行實(shí)施。
[0236] (6)也可以將上述實(shí)施方式及其變形例分別組合。
[0237] 產(chǎn)業(yè)上的可利用性
[0238] 本發(fā)明能夠用于能高速且高精度地從圖像識(shí)別圖像中所包含的物體是何物的圖 像識(shí)別方法、圖像識(shí)別裝置以及程序，特別是能夠用于針對(duì)由數(shù)碼相機(jī)、電影攝像機(jī)、監(jiān)控 攝像機(jī)、車載攝像機(jī)、可佩戴攝像機(jī)等攝像裝置取得的圖像的圖像識(shí)別方法、圖像識(shí)別裝置 以及程序。
[0239] 附圖標(biāo)記說(shuō)明
[0240] 1、900分類系統(tǒng)
[0241] 10、90A、90B、90N 分類器
[0242] 11、91圖像輸入部
[0243] 12、92卷積處理部
[0244] 13、93子采樣部
[0245] 14、94識(shí)別處理部
[0246] 15、95識(shí)別結(jié)果輸出部
[0247] 901輸入層
[0248] 902中間層
[0249] 903卷積處理層
[0250] 904子米樣層
[0251] 905輸出層
[0252] 121第1卷積處理部
[0253] 121A低分辨率卷積處理部
[0254] 122第2卷積處理部
[0255] 122A中分辨率卷積處理部
[0256] 123第3卷積處理部
[0257] 123A高分辨率卷積處理部
[0258] 124輸出選擇部
【主權(quán)項(xiàng)】
1. 一種圖像識(shí)別方法，是圖像識(shí)別裝置的計(jì)算機(jī)所進(jìn)行的圖像識(shí)別方法， 進(jìn)行所述圖像的輸入， 分別使用不同的卷積濾波器對(duì)輸入的所述圖像進(jìn)行卷積處理，分別取得包含構(gòu)成所述 圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在內(nèi)的處理結(jié)果信息， 基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積處理的處 理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所述決定的與多個(gè) 像素的各位置相對(duì)應(yīng)的特征量， 基于所述輸出的與多個(gè)像素的各位置相對(duì)應(yīng)的特征量來(lái)執(zhí)行識(shí)別處理， 輸出通過(guò)執(zhí)行所述識(shí)別處理而得到的識(shí)別處理結(jié)果信息。2. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 所述分別使用不同的卷積濾波器的卷積處理是分別使用分辨率或尺度參數(shù)不同的多 個(gè)卷積濾波器對(duì)所述輸入的所述圖像進(jìn)行的卷積處理。3. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 所述分別使用不同的卷積濾波器的卷積處理包括第1卷積處理和第2卷積處理，該第1 卷積處理是使用第1分辨率的卷積濾波器對(duì)所述輸入的所述圖像進(jìn)行的處理，該第2卷積處 理是使用分辨率高于所述第1分辨率的第2分辨率的卷積濾波器對(duì)所述輸入的所述圖像進(jìn) 行的處理。4. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 所述分別使用不同的卷積濾波器的卷積處理是分別使用處理對(duì)象的顏色不同的卷積 濾波器對(duì)所述輸入的所述圖像進(jìn)行的卷積處理。5. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 在與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量的輸出中， 按所述多個(gè)像素的每個(gè)位置，選擇所述位置處的所述多個(gè)處理結(jié)果的值中的最大值作 為所述位置處的特征量，由此決定一個(gè)與所述位置相對(duì)應(yīng)的特征量，輸出所述決定的與所 述位置相對(duì)應(yīng)的特征量。6. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 在與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量的輸出中， 按所述多個(gè)像素的每個(gè)位置，算出所述位置處的所述多個(gè)處理結(jié)果的值的中值或平均 值，將所述算出的值決定為所述位置處的特征量，由此決定一個(gè)與所述位置相對(duì)應(yīng)的特征 量，輸出所述決定的與所述位置相對(duì)應(yīng)的特征量。7. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 進(jìn)而，在與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量的輸出中， 按包含所述位置相鄰的多個(gè)像素的每個(gè)區(qū)域進(jìn)行如下的子采樣處理:將與該區(qū)域所包 含的多個(gè)像素的位置相對(duì)應(yīng)的特征量中的任一特征量決定為代表該區(qū)域的特征量即代表 特征量， 基于在進(jìn)行所述子采樣處理時(shí)所決定的所述代表特征量，執(zhí)行所述識(shí)別處理。8. 根據(jù)權(quán)利要求7所述的圖像識(shí)別方法， 在進(jìn)行所述子采樣處理時(shí)，將與所述區(qū)域所包含的多個(gè)像素的位置相對(duì)應(yīng)的特征量中 的值最大的特征量決定為所述代表特征量。9. 根據(jù)權(quán)利要求1所述的圖像識(shí)別方法， 所述圖像的輸入、各個(gè)所述處理結(jié)果信息的取得、與所述多個(gè)像素的各位置相對(duì)應(yīng)的 特征量的輸出、所述識(shí)別處理的執(zhí)行以及所述識(shí)別處理結(jié)果信息的輸出中的至少一方由圖 像識(shí)別裝置的計(jì)算機(jī)所具備的處理器進(jìn)行。10. -種圖像識(shí)別裝置，具備： 圖像輸入部，其進(jìn)行所述圖像的輸入； 卷積處理部，其分別使用不同的卷積濾波器對(duì)輸入的所述圖像進(jìn)行卷積處理，分別取 得包含構(gòu)成所述圖像的多個(gè)像素的各位置處的所述卷積處理的處理結(jié)果的值在內(nèi)的處理 結(jié)果信息，基于包含于各個(gè)所述處理結(jié)果信息的所述多個(gè)像素的各位置處的所述卷積處理 的處理結(jié)果的值，決定一個(gè)與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征量，輸出所述決定的與 多個(gè)像素的各位置相對(duì)應(yīng)的特征量； 識(shí)別處理部，其基于由所述卷積處理部輸出的與所述多個(gè)像素的各位置相對(duì)應(yīng)的特征 量來(lái)執(zhí)行識(shí)別處理；以及 識(shí)別結(jié)果輸出部，其輸出通過(guò)所述識(shí)別處理部執(zhí)行所述識(shí)別處理而得到的識(shí)別處理結(jié) 果信息。11. 根據(jù)權(quán)利要求10所述的圖像識(shí)別裝置， 所述圖像輸入部、所述卷積處理部、所述識(shí)別處理部以及所述識(shí)別結(jié)果輸出部中的至 少一方包含處理器。
【文檔編號(hào)】G06K9/62GK105938557SQ201610086087
【公開日】2016年9月14日
【申請(qǐng)日】2016年2月15日
【發(fā)明人】石井育規(guī), 筑澤宗太郎, 羽川令子
【申請(qǐng)人】松下知識(shí)產(chǎn)權(quán)經(jīng)營(yíng)株式會(huì)社