神經(jīng)網(wǎng)絡硬件實現(xiàn)方法(神經(jīng)網(wǎng)絡是一種控制方式)
1.神經(jīng)網(wǎng)絡是一種控制方式
通常，神經(jīng)網(wǎng)絡都是通過編程實現(xiàn)的，因為神經(jīng)網(wǎng)絡本質(zhì)上是種數(shù)學模型。但是，當前已經(jīng)有硬件實現(xiàn)方案，即FPGA現(xiàn)場可編程門陣列來實現(xiàn)。
人工神經(jīng)網(wǎng)絡作為一種新型的信息處理系統(tǒng)，由于基于傳統(tǒng)軟件實現(xiàn)，存在并行程度低和速度慢的缺點，使神經(jīng)網(wǎng)絡的實現(xiàn)不能滿足實時性的要求，造成了理論研究與實際應用脫節(jié)。另外，用軟件實現(xiàn)神經(jīng)網(wǎng)絡所需計算機體積龐大，不適合嵌入式場合的應用。而神經(jīng)網(wǎng)絡的硬件實現(xiàn)的最大特點就是體現(xiàn)了系統(tǒng)的并行性，處理速度快，易于滿足實時性要求。另外，算法的復雜程度以及在實際工程中應用的可行性仍需要通過硬件的實現(xiàn)效果來檢驗。因此，神經(jīng)網(wǎng)絡的硬件實現(xiàn)意義重大。
FPGA 現(xiàn)場可編程門陣列是一個具有大量通用邏輯單元的器件，并且它的內(nèi)部邏輯可以根據(jù)實際需要進行相應的改變。這種可重新配置的結構特征非常適合實現(xiàn)神經(jīng)網(wǎng)絡。
2.神經(jīng)網(wǎng)絡計算機的實現(xiàn)技術
人工神經(jīng)網(wǎng)絡的主要特點是大量神經(jīng)元之間的加權互連。這就是神經(jīng)網(wǎng)絡與光學技術相結合的重要原因。電子技術與光學技術相比，精確度高，便于程序控制，抗噪聲能力強。但是，隨著計算機芯片集成度和速度的提高，計算機中的引線問題已成為一個嚴重的障礙。由于電子引線不能互相短路交叉，引線靠近時會發(fā)生耦合，高速電脈沖在引線上傳播時要發(fā)生色散和延遲，以及電子器件的扇入和扇出系數(shù)較低等問題，使得高密度的電子互連在技術上有很大困難。超大規(guī)模集成電路（VLSI）的引線問題造成的時鐘扭曲（clock skew），嚴重限制了諾依曼型計算機的速度。而另一方面，光學互連是高度并行的，光線在傳播時可以任意互相交叉而不會發(fā)生串擾，光傳播速度極快，其延時和色散可以忽略不計，加上光學元件的扇入和扇出系數(shù)都很高，因此光學互連具有明顯的優(yōu)勢。
正因如此，許多科學家早已開始研究采用光學互連來解決VLSI的引線問題，以及芯片之間、插板之間的連接問題。此外，光學運算的高度并行性和快速實現(xiàn)大信息量線性運算的能力，如矩陣相乘，二維線性變換，二維卷積、積分等，也是用光學手段實現(xiàn)人工神經(jīng)網(wǎng)絡的有利條件。光學信息處理雖有高速度及大信息量并行處理和優(yōu)點，但要滿足模糊運算和隨機處理的要求還是遠遠不夠的。光學信息處理性能的改進，要求在傳統(tǒng)的線性光學處理系統(tǒng)中引入非線性，而這些問題的解決與神經(jīng)網(wǎng)絡的光學實現(xiàn)恰好不謀而合。光學信息處理中的許多課題，如光計算、圖像變換、相關濾波、特征提取、邊緣增強、聯(lián)想存儲、噪聲消除等，都可以用神經(jīng)網(wǎng)絡的方法來完成。
關于光學神經(jīng)網(wǎng)絡的研究，國內(nèi)外已提出許多不同的硬件系統(tǒng)。例如，基于光學矢量矩陣相乘的Hopfield網(wǎng)絡的外積實現(xiàn)，采用全息存儲和共軛反射鏡（PCM）的全光學系統(tǒng)，采用液晶開關陣列、液晶光閥以及其它空間光調(diào)制器（SLM）的內(nèi)積型光學神經(jīng)網(wǎng)絡，光電混合全雙極“WTA”網(wǎng)絡等等。光學神經(jīng)網(wǎng)絡已成為人工神經(jīng)網(wǎng)絡研究的一個重要組成部分。
3.什么是人工神經(jīng)網(wǎng)絡及其算法實現(xiàn)方式
人工神經(jīng)網(wǎng)絡（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。在工程與學術界也常直接簡稱為神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經(jīng)網(wǎng)絡的記憶。網(wǎng)絡的輸出則依網(wǎng)絡的連接方式，權重值和激勵函數(shù)的不同而不同。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。
最近十多年來，人工神經(jīng)網(wǎng)絡的研究工作不斷深入，已經(jīng)取得了很大的進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫(yī)學、經(jīng)濟等領域已成功地解決了許多現(xiàn)代計算機難以解決的實際問題，表現(xiàn)出了良好的智能特性。
4.神經(jīng)網(wǎng)絡連接方式分為哪幾類
神經(jīng)網(wǎng)絡模型的分類
人工神經(jīng)網(wǎng)絡的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網(wǎng)絡連接的拓樸結構分類和按照網(wǎng)絡內(nèi)部的信息流向分類。
1 按照網(wǎng)絡拓樸結構分類
網(wǎng)絡的拓樸結構，即神經(jīng)元之間的連接方式。按此劃分，可將神經(jīng)網(wǎng)絡結構分為兩大類：層次型結構和互聯(lián)型結構。
層次型結構的神經(jīng)網(wǎng)絡將神經(jīng)元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經(jīng)元負責接收來自外界的輸入信息，并傳給中間各隱層神經(jīng)元；隱層是神經(jīng)網(wǎng)絡的內(nèi)部信息處理層，負責信息變換。根據(jù)需要可設計為一層或多層；最后一個隱層將信息傳遞給輸出層神經(jīng)元經(jīng)進一步處理后向外界輸出信息處理結果。
而互連型網(wǎng)絡結構中，任意兩個節(jié)點之間都可能存在連接路徑，因此可以根據(jù)網(wǎng)絡中節(jié)點的連接程度將互連型網(wǎng)絡細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網(wǎng)絡信息流向分類
從神經(jīng)網(wǎng)絡內(nèi)部信息傳遞方向來看，可以分為兩種類型：前饋型網(wǎng)絡和反饋型網(wǎng)絡。
單純前饋網(wǎng)絡的結構與分層網(wǎng)絡結構相同，前饋是因網(wǎng)絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網(wǎng)絡中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。因此這類網(wǎng)絡很容易串聯(lián)起來建立多層前饋網(wǎng)絡。
反饋型網(wǎng)絡的結構與單層全互連結構網(wǎng)絡相同。在反饋型網(wǎng)絡中的所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。
5.神經(jīng)網(wǎng)絡的應用有哪些
神經(jīng)網(wǎng)絡的作用：（未盡之言參照百度百科）
{模擬人類實際神經(jīng)網(wǎng)絡的數(shù)學方法問世以來，人們已慢慢習慣了把這種人工神經(jīng)網(wǎng)絡直接稱為神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡在系統(tǒng)辨識.模式識別，智能控制等領域有著廣泛而吸引人的前景。特別在智能控制中，人們對神經(jīng)網(wǎng)絡的自學習功能尤其感興趣，并且把神經(jīng)網(wǎng)絡這一重要特點看作
是解決自動控制中按制器適應能力這個難題的關鍵鑰匙之一。 神經(jīng)網(wǎng)絡的基礎在于神經(jīng)元。 神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細胞為基礎的生物模型。在人們對生物神經(jīng)系統(tǒng)進行研究，以探討人工智能的機制時，把神經(jīng)元數(shù)學化，從而產(chǎn)生了神經(jīng)元數(shù)學模型。 大量的形式相同的神經(jīng)元連結在—起就組成了神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡是一個高度非線性動力學系統(tǒng)。雖然，每個神經(jīng)元的結構和功能都不復雜，但是神經(jīng)網(wǎng)絡的動態(tài)行為則是十分復雜的；因此，用神經(jīng)網(wǎng)絡可以表達實際物理世界的各種現(xiàn)象。神經(jīng)網(wǎng)絡模型是以神經(jīng)元的數(shù)學模型為基礎來擁述的。神經(jīng)網(wǎng)絡模型由網(wǎng)絡拓撲.節(jié)點特點和學習規(guī)則來表示
主要使用的方面：
1.并行分布處理。 2.高度魯棒性和容錯能力。 3.分布存儲及學習能力。 4.能充分逼近復雜的非線性關系。
6.Hopfield 神經(jīng)網(wǎng)絡有哪幾種訓練方法
人工神經(jīng)網(wǎng)絡模型主要考慮網(wǎng)絡連接的拓撲結構、神經(jīng)元的特征、學習規(guī)則等。目前，已有近40種神經(jīng)網(wǎng)絡模型，其中有反傳網(wǎng)絡、感知器、自組織映射、Hopfield網(wǎng)絡、波耳茲曼機、適應諧振理論等。根據(jù)連接的拓撲結構，神經(jīng)網(wǎng)絡模型可以分為：
(1)前向網(wǎng)絡 網(wǎng)絡中各個神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網(wǎng)絡實現(xiàn)信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復合。網(wǎng)絡結構簡單，易于實現(xiàn)。反傳網(wǎng)絡是一種典型的前向網(wǎng)絡。
(2)反饋網(wǎng)絡 網(wǎng)絡內(nèi)神經(jīng)元間有反饋，可以用一個無向的完備圖表示。這種神經(jīng)網(wǎng)絡的信息處理是狀態(tài)的變換，可以用動力學系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關系。Hopfield網(wǎng)絡、波耳茲曼機均屬于這種類型。
學習是神經(jīng)網(wǎng)絡研究的一個重要內(nèi)容，它的適應性是通過學習實現(xiàn)的。根據(jù)環(huán)境的變化，對權值進行調(diào)整，改善系統(tǒng)的行為。由Hebb提出的Hebb學習規(guī)則為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。Hebb規(guī)則認為學習過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經(jīng)元的活動而變化。在此基礎上，人們提出了各種學習規(guī)則和算法，以適應不同網(wǎng)絡模型的需要。有效的學習算法，使得神經(jīng)網(wǎng)絡能夠通過連接權值的調(diào)整，構造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲和處理體現(xiàn)在網(wǎng)絡的連接中。
根據(jù)學習環(huán)境不同，神經(jīng)網(wǎng)絡的學習方式可分為監(jiān)督學習和非監(jiān)督學習。在監(jiān)督學習中，將訓練樣本的數(shù)據(jù)加到網(wǎng)絡輸入端，同時將相應的期望輸出與網(wǎng)絡輸出相比較，得到誤差信號，以此控制權值連接強度的調(diào)整，經(jīng)多次訓練后收斂到一個確定的權值。當樣本情況發(fā)生變化時，經(jīng)學習可以修改權值以適應新的環(huán)境。使用監(jiān)督學習的神經(jīng)網(wǎng)絡模型有反傳網(wǎng)絡、感知器等。非監(jiān)督學習時，事先不給定標準樣本，直接將網(wǎng)絡置于環(huán)境之中，學習階段與工作階段成為一體。此時，學習規(guī)律的變化服從連接權值的演變方程。非監(jiān)督學習最簡單的例子是Hebb學習規(guī)則。競爭學習規(guī)則是一個更復雜的非監(jiān)督學習的例子，它是根據(jù)已建立的聚類進行權值調(diào)整。自組織映射、適應諧振理論網(wǎng)絡等都是與競爭學習有關的典型模型。
研究神經(jīng)網(wǎng)絡的非線性動力學性質(zhì)，主要采用動力學系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計理論，來分析神經(jīng)網(wǎng)絡的演化過程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡的協(xié)同行為和集體計算功能，了解神經(jīng)信息處理機制。為了探討神經(jīng)網(wǎng)絡在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發(fā)揮作用?；煦缡且粋€相當難以精確定義的數(shù)學概念。一般而言，“混沌”是指由確定性方程描述的動力學系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機性。“確定性”是因為它由內(nèi)在的原因而不是外來的噪聲或干擾所產(chǎn)生，而“隨機性”是指其不規(guī)則的、不能預測的行為，只可能用統(tǒng)計的方法描述?；煦鐒恿W系統(tǒng)的主要特征是其狀態(tài)對初始條件的靈敏依賴性，混沌反映其內(nèi)在的隨機性?；煦缋碚撌侵该枋鼍哂谢煦缧袨榈姆蔷€性動力學系統(tǒng)的基本理論、概念、方法，它把動力學系統(tǒng)的復雜行為理解為其自身與其在同外界進行物質(zhì)、能量和信息交換過程中內(nèi)在的有結構的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)。混沌動力學系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結合的結果，稱之為奇異吸引子。
7.神經(jīng)網(wǎng)絡算法是什么
Introduction 神經(jīng)網(wǎng)絡是新技術領域中的一個時尚詞匯。
很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關于神經(jīng)網(wǎng)絡的基本包括它的功能、一般結構、相關術語、類型及其應用。
“神經(jīng)網(wǎng)絡”這個詞實際是來自于生物學，而我們所指的神經(jīng)網(wǎng)絡正確的名稱應該是“人工神經(jīng)網(wǎng)絡（ANNs）”。在本文，我會同時使用這兩個互換的術語。
一個真正的神經(jīng)網(wǎng)絡是由數(shù)個至數(shù)十億個被稱為神經(jīng)元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網(wǎng)絡。人工神經(jīng)網(wǎng)絡就是嘗試模擬這種生物學上的體系結構及其操作。
在這里有一個難題：我們對生物學上的神經(jīng)網(wǎng)絡知道的不多！因此，不同類型之間的神經(jīng)網(wǎng)絡體系結構有很大的不同，我們所知道的只是神經(jīng)元基本的結構。 The neuron 雖然已經(jīng)確認在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細胞。
基本神經(jīng)元包含有synapses、soma、axon及dendrites。Synapses負責神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經(jīng)元跳到另一個神經(jīng)元。
然后這些電子訊號會交給soma處理及以其內(nèi)部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。
最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。 如同生物學上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡也有基本的神經(jīng)元。
每個神經(jīng)元有特定數(shù)量的輸入，也會為每個神經(jīng)元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。
然后，神經(jīng)元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經(jīng)元都有它們各自的臨界值（threshold），而當權重合計值大于臨界值時，神經(jīng)元會輸出1。
相反，則輸出0。最后，輸出會被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計算。
Learning 正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網(wǎng)絡類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。
由于結構體系的不同，訓練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓練規(guī)則需要“教師”告訴他們特定的輸入應該作出怎樣的輸出。
然后訓練規(guī)則會調(diào)整所有需要的權重值（這是網(wǎng)絡中是非常復雜的），而整個過程會重頭開始直至數(shù)據(jù)可以被網(wǎng)絡正確的分析出來。監(jiān)管方式的訓練模式包括有back-propagation及delta rule。
非監(jiān)管方式的規(guī)則無需教師，因為他們所產(chǎn)生的輸出會被進一步評估。 Architecture 在神經(jīng)網(wǎng)絡中，遵守明確的規(guī)則一詞是最“模糊不清”的。
因為有太多不同種類的網(wǎng)絡，由簡單的布爾網(wǎng)絡（Perceptrons），至復雜的自我調(diào)整網(wǎng)絡（Kohonen），至熱動態(tài)性網(wǎng)絡模型（Boltzmann machines）！而這些，都遵守一個網(wǎng)絡體系結構的標準。 一個網(wǎng)絡包括有多個神經(jīng)元“層”，輸入層、隱蔽層及輸出層。
輸入層負責接收輸入及分發(fā)到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結果給輸出層，而用戶則可以看到最終結果。
現(xiàn)在，為免混淆，不會在這里更深入的探討體系結構這一話題。對于不同神經(jīng)網(wǎng)絡的更多詳細資料可以看Generation5 essays 盡管我們討論過神經(jīng)元、訓練及體系結構，但我們還不清楚神經(jīng)網(wǎng)絡實際做些什么。
The Function of ANNs 神經(jīng)網(wǎng)絡被設計為與圖案一起工作 - 它們可以被分為分類式或聯(lián)想式。分類式網(wǎng)絡可以接受一組數(shù)，然后將其分類。
例如ONR程序接受一個數(shù)字的影象而輸出這個數(shù)字?；蛘逷PDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。
更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。 聯(lián)想模式接受一組數(shù)而輸出另一組。
例如HIR程序接受一個‘臟’圖像而輸出一個它所學過而最接近的一個圖像。聯(lián)想模式更可應用于復雜的應用程序，如簽名、面部、指紋識別等。
The Ups and Downs of Neural Networks 神經(jīng)網(wǎng)絡在這個領域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。
神經(jīng)網(wǎng)絡可以處理例外及不正常的輸入數(shù)據(jù)，這對于很多系統(tǒng)都很重要（例如雷達及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡都是模仿生物神經(jīng)網(wǎng)絡的，即是他們仿照大腦的運作方式工作。
神經(jīng)網(wǎng)絡也得助于神經(jīng)系統(tǒng)科學的發(fā)展，使它可以像人類一樣準確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在。 是的，神經(jīng)網(wǎng)絡也有些不好的地方。
這通常都是因為缺乏足夠強大的硬件。神經(jīng)網(wǎng)絡的力量源自于以并行方式處理資訊，即是同時處理多項數(shù)據(jù)。
因此，要一個串行的機器模擬并行處理是非常耗時的。 神經(jīng)網(wǎng)絡的另一個問題是對某一個問題構建網(wǎng)絡所定義的條件不足 - 有太多因素需要考慮：訓練的算法、體系結構、每層的神經(jīng)元個數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。
因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發(fā)神經(jīng)網(wǎng)絡去有效地解決問題。 。
