本發(fā)明涉及金融監(jiān)測領(lǐng)域，尤其涉及一種金融科技信息用數(shù)據(jù)采集系統(tǒng)。

背景技術(shù)：

1、在當(dāng)今數(shù)字化時代，金融市場的復(fù)雜性和波動性日益增加，金融機構(gòu)和個人投資者面臨著更加激烈的競爭和風(fēng)險。隨著金融科技的不斷演進，信息技術(shù)在金融領(lǐng)域的應(yīng)用也變得日益廣泛和深入。金融科技已經(jīng)成為金融行業(yè)轉(zhuǎn)型升級的重要驅(qū)動力，為金融市場帶來了諸多新的機遇和挑戰(zhàn)。在金融領(lǐng)域，信息的獲取和分析是至關(guān)重要的。投資者需要及時了解市場動態(tài)，金融機構(gòu)需要準(zhǔn)確把握風(fēng)險和機遇，監(jiān)管機構(gòu)需要有效監(jiān)管市場秩序。然而，由于金融市場的復(fù)雜性和不確定性，傳統(tǒng)的數(shù)據(jù)采集和分析方法已經(jīng)無法滿足現(xiàn)代金融市場的需求。因此，本發(fā)明提出了一種金融科技信息用數(shù)據(jù)采集系統(tǒng)。

2、現(xiàn)有的金融科技信息用數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)處理的并發(fā)性和效率低，增加系統(tǒng)的能耗和成本，無法及時響應(yīng)不斷變化的市場需求和數(shù)據(jù)情況；此外，現(xiàn)有的金融科技信息用數(shù)據(jù)采集系統(tǒng)無法評估不同決策方案的風(fēng)險和收益，不利于金融機構(gòu)和投資者做出明智的決策，增加風(fēng)險，降低決策效率和決策質(zhì)量，為此，我們提出一種金融科技信息用數(shù)據(jù)采集系統(tǒng)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺陷，而提出的一種金融科技信息用數(shù)據(jù)采集系統(tǒng)。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、一種金融科技信息用數(shù)據(jù)采集系統(tǒng)，包括采集預(yù)處理模塊、數(shù)據(jù)存儲模塊、安全管理模塊、數(shù)據(jù)調(diào)度模塊、數(shù)據(jù)分析模塊、風(fēng)險管理模塊、算法交易模塊、用戶接口模塊、監(jiān)控模塊、報告生成模塊以及客戶支持模塊；

4、所述采集預(yù)處理模塊用于實時獲取并預(yù)處理各類金融數(shù)據(jù)；

5、所述數(shù)據(jù)存儲模塊用于對各組金融數(shù)據(jù)進行存儲管理；

6、所述安全管理模塊用于對用戶身份進行多因素身份驗證，并對敏感數(shù)據(jù)進行加密存儲和傳輸；

7、所述數(shù)據(jù)調(diào)度模塊用于自動調(diào)度和分發(fā)數(shù)據(jù)，并實時優(yōu)化數(shù)據(jù)調(diào)度任務(wù)的執(zhí)行順序；

8、所述數(shù)據(jù)分析模塊用于預(yù)測金融市場走勢，判斷市場情緒；

9、所述風(fēng)險管理模塊用于實時監(jiān)控市場風(fēng)險，通過分析多維度數(shù)據(jù)進行動態(tài)風(fēng)險預(yù)警；

10、所述算法交易模塊用于進行自動交易操作，并優(yōu)化交易策略，尋找最佳交易路徑和時機；

11、所述用戶接口模塊用于直觀展示各類金融數(shù)據(jù)和分析結(jié)果，并支持用戶自定義數(shù)據(jù)展示和分析需求；

12、所述監(jiān)控模塊實時監(jiān)控系統(tǒng)各模塊的運行狀態(tài)和性能指標(biāo)；

13、所述報告生成模塊用于定期生成市場分析以及風(fēng)險評估各類報告；

14、所述客戶支持模塊用于提供全天候的技術(shù)支持與客戶服務(wù)。

15、作為本發(fā)明的進一步方案，所述數(shù)據(jù)存儲模塊存儲管理具體步驟如下：

16、步驟一：采集預(yù)處理模塊通過通過安全傳輸協(xié)議將預(yù)處理后的數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲模塊，之后使用哈希函數(shù)驗證數(shù)據(jù)格式和完整性，并根據(jù)數(shù)據(jù)量和類型，將數(shù)據(jù)分割成多個小片，使用對稱加密算法或非對稱加密算法對敏感數(shù)據(jù)進行加密處理；

17、步驟二：使用分布式數(shù)據(jù)庫系統(tǒng)將數(shù)據(jù)分片分布存儲在多個數(shù)據(jù)庫節(jié)點上，再對每個數(shù)據(jù)分片生成哈希值，作為數(shù)據(jù)的唯一標(biāo)識，并將所有分片的哈希值進行合并，生成整個數(shù)據(jù)集的哈希值；

18、步驟三：將數(shù)據(jù)的哈希值和對應(yīng)元數(shù)據(jù)打包成一個區(qū)塊，使用區(qū)塊鏈共識機制驗證區(qū)塊的有效性，再將區(qū)塊添加到區(qū)塊鏈中，存儲完成后，為存儲的數(shù)據(jù)創(chuàng)建索引，并使用反向索引優(yōu)化索引性能；

19、步驟四：采用增量備份和全量備份相結(jié)合的方式，定期對分布式數(shù)據(jù)庫中的數(shù)據(jù)進行備份，當(dāng)數(shù)據(jù)丟失或損壞時，使用備份數(shù)據(jù)進行恢復(fù)。

20、作為本發(fā)明的進一步方案，所述數(shù)據(jù)調(diào)度模塊執(zhí)行順序優(yōu)化具體步驟如下：

21、步驟1：預(yù)先編寫智能合約代碼，定義數(shù)據(jù)調(diào)度和分發(fā)的規(guī)則，將智能合約部署到區(qū)塊鏈網(wǎng)絡(luò)上，使其成為鏈上永久存儲的合約,當(dāng)新的數(shù)據(jù)被采集到時，將數(shù)據(jù)的元數(shù)據(jù)注冊到智能合約中；

22、步驟2：用戶或系統(tǒng)模塊發(fā)出數(shù)據(jù)訪問請求，智能合約驗證請求的合法性，智能合約檢查請求數(shù)據(jù)的哈希值，驗證通過后，授權(quán)數(shù)據(jù)訪問，當(dāng)滿足預(yù)定義的調(diào)度條件時，智能合約自動觸發(fā)數(shù)據(jù)調(diào)度，智能合約根據(jù)預(yù)設(shè)規(guī)則，確定數(shù)據(jù)的分發(fā)策略，并將數(shù)據(jù)哈希值和分發(fā)指令記錄在區(qū)塊鏈上；

23、步驟3：設(shè)定蝙蝠種群大小n和最大迭代次數(shù)max_iter，并初始化每只蝙蝠的位置xi、速度vi、頻率fi、脈沖發(fā)射速率ri以及響應(yīng)ai各項參數(shù)，且將蝙蝠位置表示為數(shù)據(jù)調(diào)度任務(wù)的執(zhí)行順序，其中，i的取值在1至n范圍內(nèi)；

24、步驟4：基于調(diào)度任務(wù)的執(zhí)行時間與資源利用率定義適應(yīng)度函數(shù)fit(xi)，計算每只蝙蝠當(dāng)前位置的適應(yīng)度值，之后基于當(dāng)前蝙蝠的位置、當(dāng)前最優(yōu)解的位置和蝙蝠的頻率更新各蝙蝠速度；

25、步驟5：每只蝙蝠依據(jù)更新后的速度移動到新的位置，隨機選擇一只蝙蝠，并在其當(dāng)前位置附近進行局部搜索，分別模擬蝙蝠在接近獵物時的狀態(tài)更新對應(yīng)響度以及發(fā)射速率；

26、步驟6：計算每只蝙蝠的新位置的適應(yīng)度值，再比較每只蝙蝠的新位置的適應(yīng)度值和當(dāng)前全局最優(yōu)解的適應(yīng)度值，若新位置的適應(yīng)度值優(yōu)于當(dāng)前全局最優(yōu)解，則更新全局最優(yōu)解，同時，檢查該蝙蝠的新位置是否比其之前位置更優(yōu)；

27、步驟7：若比之前位置更優(yōu)，則將新位置作為該蝙蝠的當(dāng)前位置，否則，保留之前的位置，重復(fù)進行迭代更新，直到達到max_iter或全局最優(yōu)解不再顯著變化時，終止迭代，之后依據(jù)尋找的最優(yōu)解調(diào)整數(shù)據(jù)調(diào)度任務(wù)的執(zhí)行順序。

28、作為本發(fā)明的進一步方案，步驟4所述蝙蝠速度更新具體計算公式如下：

29、fi＝fmin+(fmax-fmin)·β

30、

31、式中，fmin代表頻率最小值；fmax代表頻率最大值；β代表在[0,1]之間均勻分布的隨機數(shù)；代表更新后的速度；代表當(dāng)前蝙蝠的位置；x*代表當(dāng)前全局最優(yōu)位置；

32、步驟5所述蝙蝠位置具體計算公式如下：

33、

34、式中，代表更新后的位置；

35、步驟5所述局部搜索具體計算公式如下：

36、

37、式中，xold代表當(dāng)前蝙蝠的位置；ε代表在[-1,1]之間均勻分布的隨機數(shù)；代表當(dāng)前蝙蝠的響度；

38、步驟5所述響度與發(fā)射速率更新具體計算公式如下：

39、

40、rit+1＝ri0·[1-exp(-γt)]

41、式中，α代表響度衰減系數(shù)；ri0代表初始發(fā)射速率；γ代表發(fā)射速率增加系數(shù)；t代表當(dāng)前迭代次數(shù)。

42、作為本發(fā)明的進一步方案，所述數(shù)據(jù)分析模塊金融市場走勢預(yù)測具體步驟如下

43、步驟①：使用插值法、均值填充或刪除缺失數(shù)據(jù)，再通過統(tǒng)計方法或機器學(xué)習(xí)方法檢測并處理異常值，將金融數(shù)據(jù)按時間窗口切分，形成固定長度的序列，并對處理后的金融數(shù)據(jù)進行歸一化處理，再將數(shù)據(jù)分為訓(xùn)練集、驗證集和測試集；

44、步驟②：將訓(xùn)練集數(shù)據(jù)作為輸入數(shù)據(jù)輸入cnn模型中，cnn模型卷積層使用卷積核對輸入數(shù)據(jù)進行卷積計算，通過relu激活函數(shù)對卷積層輸出進行激活處理，再通過池化層對激活后的輸出進行降維和特征提?。?/p>

45、步驟③：將池化層的輸出展開為一維向量，并通過全連接層進行特征整合，輸出相應(yīng)的預(yù)測結(jié)果，通過交叉熵損失函數(shù)計算預(yù)測結(jié)果與真實值之間的誤差，通過鏈?zhǔn)椒▌t進行反向傳播，并逐層計算梯度，根據(jù)計算出的梯度更新模型參數(shù)；

46、步驟④：每輪訓(xùn)練周期結(jié)束后，使用驗證集評估模型性能，并使用測試集評估模型在未見數(shù)據(jù)上的性能，評估模型的泛化能力，重復(fù)對cnn模型進行訓(xùn)練、驗證以及評估，直至達到預(yù)設(shè)訓(xùn)練次數(shù)后停止；

47、步驟⑤：通過api或批處理方式輸入實時數(shù)據(jù)，使用訓(xùn)練好的模型進行預(yù)測,將模型輸出的預(yù)測結(jié)果與實際市場數(shù)據(jù)進行對比,使用圖表展示股票價格走勢以及市場波動各項信息，使用nlp技術(shù)提取情感特征，將市場數(shù)據(jù)預(yù)測結(jié)果與情感分析結(jié)果結(jié)合，綜合判斷市場情緒，并分析市場情緒對金融市場走勢的影響。

48、作為本發(fā)明的進一步方案，所述風(fēng)險管理模塊動態(tài)風(fēng)險預(yù)警具體步驟如下：

49、步驟?。焊鶕?jù)歷史數(shù)據(jù)和專家經(jīng)驗，定義不同事件或狀態(tài)的先驗概率，再根據(jù)不同事件或狀態(tài)下的觀測數(shù)據(jù)分布，構(gòu)建似然函數(shù)，依據(jù)先驗概率以及似然函數(shù)計算后驗概率；

50、步驟ⅱ：基于后驗概率計算不同決策方案的期望效用，并選擇期望效用最大的決策作為最優(yōu)決策，從歷史數(shù)據(jù)、市場新聞以及社交媒體數(shù)據(jù)中提取關(guān)鍵特征，再將不同來源的數(shù)據(jù)進行融合，形成綜合數(shù)據(jù)集；

51、步驟ⅲ：使用流處理技術(shù)對實時數(shù)據(jù)進行監(jiān)控和處理，并實時更新數(shù)據(jù)集，再通過機器學(xué)習(xí)方法或統(tǒng)計方法檢測數(shù)據(jù)中的異常情況，識別潛在風(fēng)險，再根據(jù)實時更新的數(shù)據(jù)，計算各假設(shè)的后驗概率，根據(jù)后驗概率評估當(dāng)前市場狀態(tài)和風(fēng)險水平；

52、步驟ⅳ：設(shè)定風(fēng)險閾值，當(dāng)后驗概率超過閾值時，觸發(fā)風(fēng)險預(yù)警，并通過系統(tǒng)通知提醒用戶，根據(jù)風(fēng)險評估結(jié)果和最優(yōu)決策規(guī)則，根據(jù)市場反饋和決策效果，持續(xù)優(yōu)化決策模型和預(yù)警系統(tǒng)。

53、作為本發(fā)明的進一步方案，所述算法交易模塊交易策略優(yōu)化具體步驟如下：

54、第一步：設(shè)定交易的目標(biāo)以及金融資產(chǎn)，制定具體的交易規(guī)則，并制定的交易策略和算法，再連接交易所或交易平臺的api，隨機生成多組個體作為初始魚群，并將每組個體表示一種可能的交易策略；

55、第二步：將交易策略的性能指標(biāo)作為優(yōu)化目標(biāo)函數(shù)，根據(jù)交易策略的表現(xiàn)，計算每組個體的目標(biāo)函數(shù)的值，在當(dāng)前魚的視野范圍內(nèi)隨機選擇一個新位置，計算新位置的目標(biāo)函數(shù)值，若新位置的目標(biāo)函數(shù)值優(yōu)于當(dāng)前目標(biāo)函數(shù)值，則更新魚的位置，否則保持當(dāng)前位置；

56、第三步：計算當(dāng)前魚群中所有魚的位置的平均值，作為魚群的中心位置，并計算魚群中心位置的目標(biāo)函數(shù)值，若中心位置的目標(biāo)函數(shù)值優(yōu)于當(dāng)前魚的位置目標(biāo)函數(shù)值，則按照預(yù)設(shè)移動步長向中心位置移動一小步；

57、第四步：在各組個體魚的視野范圍內(nèi)選擇目標(biāo)函數(shù)值最優(yōu)的一條魚作為追尾目標(biāo)，若目標(biāo)魚的位置目標(biāo)函數(shù)值優(yōu)于當(dāng)前魚的位置目標(biāo)函數(shù)值，則按照預(yù)設(shè)移動步長向目標(biāo)魚的位置移動一小步；

58、第五步：根據(jù)覓食、聚集和追尾行為的結(jié)果更新每條魚的位置，計算新的位置對應(yīng)的目標(biāo)函數(shù)值，若達到預(yù)設(shè)最大迭代次數(shù)，停止更新，根據(jù)最終的目標(biāo)函數(shù)值，選擇具有最優(yōu)表現(xiàn)的交易策略作為最終結(jié)果，將優(yōu)化后的交易策略參數(shù)應(yīng)用到實際交易中,根據(jù)實時市場數(shù)據(jù)，自動執(zhí)行買入、賣出操作。

59、相比于現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

60、1、本發(fā)明通過根據(jù)預(yù)設(shè)規(guī)則，確定數(shù)據(jù)的分發(fā)策略，并將數(shù)據(jù)哈希值和分發(fā)指令記錄在區(qū)塊鏈上，設(shè)定蝙蝠種群大小和最大迭代次數(shù)，并初始化每只蝙蝠各項參數(shù)，且將蝙蝠位置表示為數(shù)據(jù)調(diào)度任務(wù)的執(zhí)行順序，基于調(diào)度任務(wù)的執(zhí)行時間與資源利用率定義適應(yīng)度函數(shù)，計算每只蝙蝠當(dāng)前位置的適應(yīng)度值，之后基于當(dāng)前蝙蝠的位置、當(dāng)前最優(yōu)解的位置和蝙蝠的頻率更新各蝙蝠速度，每只蝙蝠依據(jù)更新后的速度移動到新的位置，隨機選擇一只蝙蝠，并在其當(dāng)前位置附近進行局部搜索，分別模擬蝙蝠在接近獵物時的狀態(tài)更新對應(yīng)響度以及發(fā)射速率，計算每只蝙蝠的新位置的適應(yīng)度值，再比較每只蝙蝠的新位置的適應(yīng)度值和當(dāng)前全局最優(yōu)解的適應(yīng)度值，若新位置的適應(yīng)度值優(yōu)于當(dāng)前全局最優(yōu)解，則更新全局最優(yōu)解，同時，檢查該蝙蝠的新位置是否比其之前位置更優(yōu)，若比之前位置更優(yōu)，則將新位置作為該蝙蝠的當(dāng)前位置，否則，保留之前的位置，重復(fù)進行迭代更新，直到達到最大迭代次數(shù)或全局最優(yōu)解不再顯著變化時，終止迭代，之后依據(jù)尋找的最優(yōu)解調(diào)整數(shù)據(jù)調(diào)度任務(wù)的執(zhí)行順序，能夠提高數(shù)據(jù)處理的并發(fā)性和效率，降低系統(tǒng)的能耗和成本，提高資源利用率，從而優(yōu)化系統(tǒng)性能，保證系統(tǒng)能夠及時響應(yīng)不斷變化的市場需求和數(shù)據(jù)情況。

61、2、本發(fā)明根據(jù)歷史數(shù)據(jù)和專家經(jīng)驗，定義不同事件或狀態(tài)的先驗概率，再根據(jù)不同事件或狀態(tài)下的觀測數(shù)據(jù)分布，構(gòu)建似然函數(shù)，依據(jù)先驗概率以及似然函數(shù)計算后驗概率，基于后驗概率計算不同決策方案的期望效用，并選擇期望效用最大的決策作為最優(yōu)決策，從歷史數(shù)據(jù)、市場新聞以及社交媒體數(shù)據(jù)中提取關(guān)鍵特征，再將不同來源的數(shù)據(jù)進行融合，形成綜合數(shù)據(jù)集，使用流處理技術(shù)對實時數(shù)據(jù)進行監(jiān)控和處理，并實時更新數(shù)據(jù)集，再通過機器學(xué)習(xí)方法或統(tǒng)計方法檢測數(shù)據(jù)中的異常情況，識別潛在風(fēng)險，再根據(jù)實時更新的數(shù)據(jù)，計算各假設(shè)的后驗概率，根據(jù)后驗概率評估當(dāng)前市場狀態(tài)和風(fēng)險水平，設(shè)定風(fēng)險閾值，當(dāng)后驗概率超過閾值時，觸發(fā)風(fēng)險預(yù)警，并通過系統(tǒng)通知提醒用戶，根據(jù)風(fēng)險評估結(jié)果和最優(yōu)決策規(guī)則，根據(jù)市場反饋和決策效果，持續(xù)優(yōu)化決策模型和預(yù)警系統(tǒng)，能夠準(zhǔn)確評估不同決策方案的風(fēng)險和收益，有助于金融機構(gòu)和投資者做出更加明智的決策，降低風(fēng)險，提高決策效率和決策質(zhì)量。