移動手持機設備及其方法
【專利摘要】一種移動手持機設備收集關于手持機的用戶的生理狀態(tài)的傳感器數據。移動手持機設備接收在移動手持上消費的多媒體內容。在部署階段，傳感器數據用于分類用戶對在移動設備上消費的各個多媒體內容的情緒反應。在訓練階段建立的分類模型可以用于將傳感器數據映射到指示用戶對多媒體的情緒反應的分類標簽。
【專利說明】移動手持機設備及其方法
【技術領域】
[0001]本發(fā)明總體上涉及評估提供給移動手持機設備的多媒體內容(例如，在移動手持機設備上接收和消費的文獻、視頻、音樂以及應用)的有效性。更具體地，本發(fā)明針對確定用戶響應于在移動手持機設備上消費的多媒體內容的可能情緒狀態(tài)。
【背景技術】
[0002]移動手持機設備(或“智能電話”)的用戶有機會在他們的智能電話上瀏覽多個不同文獻、照片、視頻、音樂、應用以及其它類型多媒體。對多媒體內容的創(chuàng)作者和發(fā)布者(例如，設計者、作者、藝術家以及編程者)而言，得到來自用戶關于內容的反饋是非常重要的，這是因為可以令內容創(chuàng)作者和發(fā)布者改善他們的產品，并引導他們向新的機會做出努力。
[0003]然而，從用戶得到關于在移動手持機上使用的多媒體內容的品質的反饋是困難的。當前【技術領域】方法包括但不限于:讓用戶通過定量度量系統瀏覽內容，例如，通過一到五星的分級標尺或者通過書寫文本，可以在線或在實體商店中提供這兩種方法中任意一個；通過測量相關產品的銷售，或者測量對創(chuàng)作者或發(fā)布者的商店或網頁的訪問量，來測量所述媒體的間接提升。由于用戶必須主動提供多媒體的評價，而這樣的評價容易受到偏見或記憶的影響，所以所有這些傳統方法均存在問題。
[0004]另一種方法是對用戶使用多媒體(通過閱讀、觀看或聽)的次數進行計數。然而，這種計數不準確并且太粗糙。例如，由于多個多媒體文件僅消費一次(例如，通過電子郵件接收的多媒體)，所以根據訪問計數的結論是不全面的。

【發(fā)明內容】

[0005]描述了一種裝置、系統、方法和計算機程序產品，提供關于用戶對在移動手持機設備上消費的多媒體的情緒反應的反饋。該反饋基于當用戶瀏覽多媒體時由移動設備(例如，智能電話)所收集的用戶的生理狀態(tài)的傳感器數據。傳感器數據可以基于在移動手持機內的傳感器，以及靠近手持機的傳感器。傳感器數據指示了用戶對于多媒體的生理反應，因此傳感器數據也與用戶對于多媒體的情緒反應相關聯。在示例性實施例中，系統分成訓練階段和部署(deployment)階段。在訓練階段，對象提供他們對于測試多媒體的情緒反應的自我評估，該信息與傳感器數據相結合來創(chuàng)建具有預選分類標簽的分類模型。在部署階段，移動設備可以使用分類模型來產生與移動設備的用戶的情緒反應相對應的分類標簽。之后將分類標簽作為反饋發(fā)送給另一實體，例如中間件廠商。可以累積(aggregate)來自多個移動手持機設備用戶的信息以便為多媒體內容的創(chuàng)作者和發(fā)布者產生信息。
【專利附圖】

【附圖說明】
[0006]圖1示出了根據本發(fā)明的一個實施例通過移動手持感官輸入來收集多媒體反饋的示例性系統。
[0007]圖2示出了根據本發(fā)明的一個實施例形成分類標簽和感官數據之間的關聯的訓練階段。
[0008]圖3示出了根據本發(fā)明的一個實施例將感官數據的范圍映射到兩個示例性分類標簽的示例性判決樹。
[0009]圖4示出了根據本發(fā)明的一個實施例產生多媒體內容的實時反饋的部署階段。【具體實施方式】
[0010]圖1是根據本發(fā)明的一個實施例的系統的高級框圖，用于記錄、解釋及收集用戶對于再現在移動通信設備(例如，智能電話)上的多媒體內容的反應。移動手持機設備100包括無線收發(fā)器115以及處理器和存儲器130。移動手持機設備100能夠無線接入因特網，其中這樣的手持機也通常被稱為智能電話。移動手持機設備100從多媒體創(chuàng)作者或發(fā)布者180 (例如，Google?)接收內容。例如，發(fā)布者180可以利用具有一個或多個處理器和存儲器的服務器系統182服務于消費者下載到他們的移動手持機的內容。中間件廠商190還可以使用具有一個或多個處理器和存儲器的服務器系統192。中間件廠商190可以是提供軟件的任意組織，向移動手持機設備100提供多媒體內容，所述軟件作為多媒體創(chuàng)作者或發(fā)布者180之間的媒介。例如，提供移動手持機設備100的軟件操作系統(OS)的公司同樣可以用作中間件廠商190。本領域技術人員應理解,利用無線運營商170的基礎設施，內容可以用于移動手持機設備100。
[0011]移動手持機設備100包括具有能夠顯示多媒體和音頻輸出的顯示器的用戶界面110。多媒體情緒響應模塊105通過本地有線連接接口 ISO或無線連接接口 140，從靠近移動手持機設備100的傳感器收集本地可用傳感器數據，所述傳感器包括在移動手持機設備100內的傳感器120以及耦合到移動手持機設備100上的任何傳感器122。
[0012]傳感器數據與用戶對于在移動手持機設備100上接收并消費的多媒體160的生理反應102相對應。移動手持機設備100基于傳感器數據產生對所使用的多媒體的情緒反應的指示符165。例如，如果用戶通過在移動手持機設備100的用戶界面110上瀏覽視頻剪輯來消費該視頻剪輯，則傳感器120和122可以捕獲生理改變，例如心率的改變，從中可推斷出用戶對該多媒體的情緒反應的指示。
[0013]多媒體情緒響應模塊105可以以軟件或固件實現，并且包括駐留在存儲器中的計算機代碼。多媒體情緒響應模塊105產生指示了對多媒體的情緒反應的反饋165。作為示例，反饋165可以包括相關傳感器數據的概要，或者基于模型的傳感器數據的解釋。應理解，反饋165可以包括標記、時間戳、或者將反饋與特定多媒體內容相關聯的其他方式。
[0014]多媒體包括例如文件、圖片、視頻、音樂和例如音頻旁白的非音樂音頻(例如音頻書)的媒體。此外，多媒體可以包括在移動手持機設備100上接收和消費的多媒體應用。在本應用中使用的多媒體可以不包括廣告。
[0015]在實施例中，多媒體情緒響應模塊105基于用戶的情緒狀態(tài)的模型，相對于與來自傳感器120和122的可用數據不同的觸覺和生物統計學傳感器測量，確定用戶的情緒反應的類別。傳感器數據的示例包括用戶的心率、呼吸、搖晃、皮膚電反應、面部潮紅反應、眨眼反應以及發(fā)音。情緒反應的類別基于分類模型可以根據廣告商進行分類，例如用戶的情緒狀態(tài)是否指示了對一個多媒體喜歡或不喜歡的情緒反應。識別并收集用戶對于多媒體的情緒反應，為發(fā)布者180提供信息的來源，以便評估多媒體160的有效性。此外，如果多媒體足夠長，可以得到關于用戶對多媒體的不同片段的反應的反饋。
[0016]在移動手持機中能夠用作移動手持機設備100的用戶102的生理傳感器的傳感器120的示例包括高分辨率前置彩色視頻攝像機、麥克風、全球定位系統(GPS)或者其它位置傳感器、以及用于感測運動的加速計(加速度、搖晃和移動)。分析前置攝像數據，以便確定臉紅反應、視線軌跡(注視位置及時間和眨眼行為)、面部表達、或者其它用戶的情緒狀態(tài)的視覺指示符。在用戶環(huán)境與噪聲條件的大范圍內，存在傳感器品質和檢測有意義生理反應的能力之間的折中。對于注視檢測，示例性最小攝像機要求400百萬像素和每秒20幀。示例性加速計實現方式具有對以米/秒2為單位的真實加速度至少95%的準確性。運動傳感器數據的分析可以提供關于用戶是否搖晃和/或做出表示強烈情緒反應的突然移動。分析音頻數據以便提供情緒反應的表示，例如可聽的喘息。
[0017]傳感器120的其它示例可以包括其它類型的能夠集成在移動手持機設備100內的緊湊型傳感器，以便改善安全性并支持健康和舒適應用，例如心率監(jiān)控器、溫度傳感器、壓力傳感器和濕度(皮膚濕度)傳感器。
[0018]此外，本地傳感器122可以通過有線連接器150與移動手持機設備100通信。然而，更為通用地，本地傳感器122可以與移動手持機設備100進行本地無線連接。例如，用戶可以具有通過無線連接(例如，藍牙⑧)與移動手持機設備100連接的便攜式和/或佩帶式的身體傳感器。本領域技術人員應認識到，其他無線通信標準可以代替藍牙?，例如Zigbee ?和Ant-"無線標準。在優(yōu)選的實現方案中，使用藍牙?蓋牙? 4.0標準支持佩帶式健康傳感器，例如心率簡檔和溫度簡檔。使用藍牙?通信的無線傳感器的其他示例包括藍牙?啟用傳感器，以便測量心率、溫度和皮膚電反應。
[0019]多媒體情緒響應模塊105在移動手持機設備100上直接捕獲傳感器數據。然而，可以在移動手持機設備100上執(zhí)行觸覺和生物統計學感官輸入的分析，或將數據的概要發(fā)送回發(fā)布者或廣告商以便分析。
[0020]多個方式可以保護用戶私密性。例如，可以對發(fā)布者或廣告商部分地或者完全地掩蓋用戶的身份方面，以便利用私密性保護協議保護私密性。甚至，信息累積技術可以用來累積來自多個用戶的反應以便產生累積的數據，來保護各個用戶身份信息的私密性。此外，在優(yōu)選的實現方案中，賦予用戶參加或不參加所述系統的使用的權利。
[0021]因此，本發(fā)明的系統支持用于記錄、解釋、和收集用戶對傳送的媒體的反應的方法。通過移動手持機設備100的觸覺和生物統計學感官輸入捕獲特定用戶的反應，例如通過加速計的讀數捕獲的手持機的搖晃，或者通過藍牙?連接的心率監(jiān)控器捕獲的用戶心率的改變。一旦收集到數據，通過首先從讀數中濾除噪聲、之后導出關于用戶如何響應多媒體的結論，來分析數據。之后可以利用發(fā)布者所使用的結果來針對所有用戶累積結論。
[0022]在本發(fā)明的一個實施例中，在移動手持機設備100處分析感官輸入信息，以便返回用戶的反應的抽象表示，例如高興、厭煩或冷漠的表示。通過多個方法執(zhí)行該分析，包括但不局限于:通過利用感官輸入的閾值電平導出抽象反應的基于規(guī)則的分析；或者通過監(jiān)督機器學習方法(例如，決策樹、隱馬爾科夫模型、或支持向量機)的分類。
[0023]通過移動手持機設備100的觸覺和生物學統計學感官輸入來捕獲特定用戶的反應，例如通過加速計的讀數捕獲手持機的搖晃，通過藍牙⑧連接的心率監(jiān)控器捕獲用戶心率的改變，通過前向攝像機測量用戶面部特征的改變，或者通過皮膚電反應傳感器測量用戶皮膚電傳導的改變。一旦收集到數據，通過首先從讀數中濾除噪聲、之后導出關于用戶如何反應多媒體的結論，來分析數據。該分析可以在所述設備處或者中間件廠商190的服務器處執(zhí)行。然后，可以利用多媒體的發(fā)布者或創(chuàng)作者所使用的結果，針對所有用戶累積結論。
[0024]這個方法的優(yōu)點是可以在不需要用戶向發(fā)布者或創(chuàng)作者明確地提供建議反饋的情況下自動地測量用戶的反應。此外，由于人們很難有意識的控制他們的生理表現，由本發(fā)明捕獲的信息可能比用戶反應更準確。此外，由于本發(fā)明的自動方法直接測量這些生理反應，能夠最小化來自用戶的偏見或記憶消退的影響。
[0025]圖2示出了在訓練階段由一個實體執(zhí)行的初始步驟，以便收集來自測試參與者的訓練數據并創(chuàng)建統計模型來將感官輸入數據映射到標記反應。關聯模型可以用于將感官數據映射到情緒反應的高級解釋，包括分類標簽的集合，例如，非常喜歡、喜歡、一般(冷漠)、不喜歡、以及非常不喜歡。應理解，可以改變分類標簽的確切數目和類型。
[0026]在訓練之如，在步驟201中，中間件廠商190在移動手持機設備100上創(chuàng)建傳感器記錄軟件以便記錄傳感器輸入并允許訓練參與者瀏覽多媒體。所記錄的傳感器輸入可以包括但不局限于:加速計、皮膚電反應傳感器、麥克風和心率監(jiān)控器。
[0027]當訓練參與者激活智能電話的軟件以便瀏覽顯示給他們的測試多媒體210時，訓練開始。此外，訓練參與者記錄他們對于內容的標記反應。同時，傳感器記錄它們物理反應。向中間件廠商190提供這種反饋210。也就是說，每個測試參與者瀏覽媒體，通過傳感器記錄他們的生理反應，且每個測試參與者同樣注意到他們的情緒反應(即，對參與者關于如何感知對于所測多媒體的情緒反應進行調查)。持續(xù)時間長的多媒體可以針對整個多媒體(或者其片斷，例如電影中的場景)使用累積統計數據(例如，均值、中值、或標準差)。此夕卜，可以收集在特定時間點的瞬時測量。
[0028]中間件廠商190檢索來自所有訓練參與者的標記訓練數據，并提取特征來建立學習模型215。所提取的特征可以包括但并不局限于:皮膚電傳導(通過皮膚電反應傳感器測得的，以歐姆為單位)、心率(通過心率監(jiān)控器測得的，以每分鐘心跳次數為單位)、面部反應(通過電話上的前向視頻攝像機測得的，以面頰顏色或每秒鐘眨眼次數為單位)、以及手持機的搖晃(通過加速計測得的，以重力加速度為單位)。其它特征可以包括但不局限于:測量呼吸的胸腔膨脹，以及眼部跟蹤。此外，應理解，除了平均信息，還可以分析反應的時間率(time-rate)特性。這些特點和標記活動之后作為輸入給予機器學習算法，例如，決策樹、支持向量機、最大熵、或k近鄰。
[0029]然后建立統計學模型215，將傳感器數據映射到測試參與者的反應。在優(yōu)選實施例中，公知的ID3算法用于創(chuàng)建執(zhí)行所述映射的決策樹。決策樹采用二進制樹的形式，具有通過邊緣連接到內部頂點的一個根，繼而內部頂點通過邊緣連接到其它頂點。在該樹中的葉頂點是分類標簽。根和內部頂點包括必須要評估的決策聲明，根據在該頂點處決策的結果確定選擇哪個輸出邊緣。ID3算法的作用是創(chuàng)建大小合理且提供從特征到分類標簽的準確映射的樹。應注意，ID3算法基于不同數據會產生不同的決策樹。圖3演示了基于一些輸入數據產生的決策樹的示例性部分。
[0030]在部署階段中，向各個智能電話部署決策樹(或其它學習模型)。中間件廠商190編寫并部署接收統計學模型(在訓練階段部署的)的分類軟件，以及用戶的當前傳感器數據。激活軟件并在智能電話的后臺運行。軟件利用模型來分類用戶的傳感器數據并產生認知反應。
[0031]圖4示出了在部署階段如何使用決策樹來執(zhí)行用戶對于在移動手持機設備100上消費的多媒體的情緒反應的分類。
[0032]在步驟402中，將多媒體媒體通過用戶的智能電話分布到各個用戶。當暴露于多媒體時，用戶可以對多媒體進行反應。通過觸覺或生物統計學感官輸入來捕獲用戶的反應，并提取特征。例如，用戶可以通過搖晃智能電話(通過加速計可以測得)或通過提高他的或她的心率(通過藍牙?連接心率監(jiān)控器可以測得)做出反應。在本發(fā)明的實施例中，在智能電話處分析所述感官輸入信息以便返回用戶反應的抽象表示，例如對于高興、厭惡或冷漠的表示。
[0033]在步驟404中，將用戶的反應發(fā)送回到中間件廠商190。此外，將其他用戶的反應也發(fā)送回中間件廠商190。例如，如果將數千份音樂文件的拷貝發(fā)送到數千個不同的智能電話，那么每個用戶的反應可以通過他們各自的智能電話確定，并發(fā)送回中間件廠商190。
[0034]在步驟406中，中間件廠商190收集并累積來自不同智能電話的用戶對于多媒體的反應。累積信息可以包括平均用戶反應、喜歡多媒體的用戶的百分比、以及厭惡多媒體的用戶的百分比。
[0035]在步驟408中，中間件廠商190將所累積的信息發(fā)送回多媒體創(chuàng)作者或發(fā)布者180。
[0036]還可以設想修改和備選方案。在一個實施例中，在每個智能電話處收集感官輸入，但并不分析。相反，可以測量統計數據概要，例如，平均加速計讀數或平均心率。將這些統計數據概要發(fā)送回到中間件廠商190。然后，中間件廠商190收集并累積用戶對于多媒體的反應，執(zhí)行并分析每個用戶的情緒反應。
[0037]盡管已經結合特定實施例描述了本發(fā)明，應理解，并不是旨在將本發(fā)明限制在所述實施例中。相反，如所附權利要求所限定的，旨在涵蓋本發(fā)明的精神和范圍內的備選方案、修改和等同物。可以在沒有這些特定細節(jié)中的一些或全部的前提下執(zhí)行本發(fā)明。此外，并未詳細描述公知特征以避免不必要地混淆本發(fā)明。
[0038]根據本發(fā)明，可以利用多個類型的操作系統、編程語言、計算平臺、計算機程序和/或通用目的機器來實現組件、過程步驟、和/或數據結構。此外，本領域技術人員應認識到，在不脫離本文公開的本發(fā)明概念的范圍和精神下，同樣可以使用較低通用性的設備，例如，硬連線設備、現場可編程門陣列(FPGA)、專用集成電路(ASIC)或類似物。本發(fā)明可以同樣有形地體現為存儲在計算機可讀介質(例如，存儲器設備)上的計算機指令集。
【權利要求】
1.一種移動手持機設備，包括: 至少一個處理器和存儲器； 具有顯示器的用戶接口；以及 在移動手持機設備中的多媒體響應模塊，配置為收集來自傳感器集合的傳感器數據，所述傳感器數據對移動手持機設備的用戶的生理反應加以指示； 其中多媒體響應模塊監(jiān)控與用戶對于在移動手持機設備上消費的多媒體的生理反應有關的傳感器數據，并產生指示了用戶對所述媒體的情緒反應的輸出。
2.根據權利要求1所述的移動手持機設備，其中多媒體響應模塊配置為通過將感官輸入與分類模型相關聯來確定用戶情緒狀態(tài)的分類標簽，并報告分類確定。
3.根據權利要求2所述的移動手持機設備，其中所述報告用于產生針對媒體創(chuàng)作者或發(fā)布者的累積數據。
4.根據權利要求1所述的移動手持機設備，其中多媒體響應模塊包括訓練階段，用于確定感官數據和用戶的情緒狀態(tài)之間的關聯。
5.根據權利要求4所述的移動手持機設備，其中在所述訓練階段中，調查用戶對于測試多媒體的情緒反應，以提供用戶調查數據，并確定傳感器輸入和情緒反應的分類標簽之間的關聯。
6.根據權利要求1所述的移動手持機設備，其中傳感器輸入包括直接或間接地表示心率、呼吸速率、皮膚電反應、溫度、壓力、加速度、運動反應、皮膚潮紅反應、眨眼反應和聲音反應中的至少一個的傳感器輸入。
7.一種分析在移動手持機設備上顯示的多媒體內容的有效性的方法，所述方法包括: 向多個移動手持機設備提供多媒體，其中每一個移動手持機設備配置為記錄對移動手持機設備的用戶的生理反應加以指示的傳感器數據； 從多個移動手持機設備中的每一個接收指示符數據，所述指示符數據表示對通過相應移動手持機設備播放的特定媒體的情緒反應；以及 確定針對至少一個媒體的累積情緒反應分類標簽。
8.根據權利要求7所述方法，其中指示符數據包括基于傳感器數據的匯總的分類模型中的情緒分類標簽。
9.根據權利要求7所述方法，還包括:在訓練階段中，請求測試對象響應于測試媒體提供情緒狀態(tài)的自我評估。
10.根據權利要求7·所述方法，還包括:產生分類模型，所述分類模型將分類標簽集映射到傳感器輸入數據。
11.根據權利要求7所述方法，還包括:向所述至少一個媒體的每個提供者提供累積情緒反應信息。
12.—種分析媒體內容的有效性的方法，所述方法包括: 接收來自多個移動手持機設備的指示符數據，所述指示符數據指示了對各個移動手持機設備的用戶消費的多媒體的情緒反應；以及 累積指示符數據，并在分類模型中針對至少一個媒體內容確定平均情緒反應。
13.根據權利要求12所述的方法，其中指示符數據包括由各個移動手持機設備提供的傳感器數據的匯總。
14.根據權利要求13所述的方法，其中指示符數據包括由各個移動手持機設備根據分類模型產生的分類標簽。
15.根據權利要求12所述的方法，還包括提供分類模型，所述分類模型將一組情緒反應分類標簽映射到針對所述移動手持機設備的用戶的生理傳感器數據范圍樹。
【文檔編號】H04M1/725GK103595858SQ201310336681
【公開日】2014年2月19日 申請日期:2013年8月5日 優(yōu)先權日:2012年8月16日
【發(fā)明者】托馬斯·潘, 全元鐘 申請人:三星電子株式會社