VDI VDE 3550 Blatt 1-2001 Computational Intelligence - Artificial neuronal network in automation - Terms and definitions.pdf

1、VEREIN DEUTSCHERINGENIEUREVERBAND DERELEKTROTECHNIKELEKTRONIKINFORMATIONSTECHNIKComputational IntelligenceKnstliche Neuronale Netze in der AutomatisierungstechnikBegriffe und DefinitionenArtificial neuronal network in automationTerms and definitionsVDI/VDE 3550Blatt 1 / Part 1Ausg. deutsch/englischI

2、ssue German/EnglishVDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA)Fachausschuss Neuronale Netze und Evolutionre AlgorithmenVDI/VDE-Handbuch RegelungstechnikVDI/VDE-RICHTLINIENZu beziehen durch / Available from Beuth Verlag GmbH, 10772 Berlin Alle Rechte vorbehalten / All rights reserved

3、 Verein Deutscher Ingenieure, Dsseldorf 2001Vervielfltigung auchfr innerbetriebliche Zwecke nicht gestattet / Reproduction even for internal use not permittedDie deutsche Version dieser Richtlinie ist verbindlich.ICS 17.020 September 2001The German version of this guideline shall be taken as authori

4、ta-tive. No guarantee can be given with respect to the English trans-lation.Inhalt SeiteVorbemerkung . . . . . . . . . . . . . . . . . . . . 21 Motivation, Zweck und Geltungsbereich . . . 22 Begriffe und Definitionen. . . . . . . . . . . . 33 Englische Begriffe mit Verweisen auf dasGlossar . . . . .

5、 . . . . . . . . . . . . . . . . . 11Schrifttum . . . . . . . . . . . . . . . . . . . . 12Contents PagePreliminary note . . . . . . . . . . . . . . . . . . . 21 Motivation, purpose and scope of application 22 Terms and definitions . . . . . . . . . . . . . . 33 English terms with reprimands to the g

6、lossary . . . . . . . . . . . . . . . . . . . . . . 11Bibliography . . . . . . . . . . . . . . . . . . . . . 12Frhere Ausgabe: 09.99, Entwurf,deutschFormer edition: 09/99, draft, in German onlyInhaltlich berprftund unverndertweiterhin gltig2008SeptemberB55EB1B3E14C22109E918E8EA43EDB30F09DCCB7EF86D9N

7、ormCD - Stand 2012-08All rights reserved Verein Deutscher Ingenieure, Dsseldorf 20012 VDI/VDE 3550 Blatt 1 / Part 1VorbemerkungUnter der Bezeichnung Computational Intelligence,kurz CI, haben in der Vergangenheit drei zunchstvoneinander unabhngige Wissensgebiete Knstliche Neuronale NetzeEvolutionre A

8、lgorithmenFuzzy ControlEingang in die industrielle Praxis gefunden.Allen drei Wissensgebieten ist gemeinsam, dass sieauf einer subsymbolischen Datenverarbeitung basie-ren und Problemlsungsstrategien objektivieren.Zudem lassen sich insbesondere komplexe Aufga-benstellungen erst durch hybride Anstze,

9、d.h. dengemeinsamen Einsatz von Neuronalen Netzen, Evo-lutionren Algorithmen und Fuzzy Control lsen.Um bei der industriellen Anwendung dieser Wissens-gebiete eine fr Entwickler, Hersteller und Anwendereinheitliche Sprachregelung zu treffen, hat sich dieGMA entschlossen, fr das Fachgebiet Computatio-

10、nal Intelligence eine Richtlinie mit Begriffen undDefinitionen zu erarbeiten, die aus folgenden Blt-tern besteht:Blatt 1 Knstliche Neuronale Netze in der Auto-matisierungstechnik; Begriffe und Definiti-onenBlatt 2 Fuzzy- Logik und Fuzzy Control; Begriffeund DefinitionenBlatt 3 Evolutionre Algorithme

11、n in der Auto-matisierungstechnik; Begriffe und Definiti-onenDas hier vorliegende Blatt 1 wurde von einer Arbeits-gruppe des GMA-Fachausschusses NeuronaleNetze und Evolutionre Algorithmen“ erarbeitet.1 Motivation, Zweck und GeltungsbereichDie Motivation fr den Einsatz Neuronaler Netze inder Automati

12、sierungstechnik ergibt sich aus der Er-kenntnis, dass selbst mit modernster Rechnertechno-logie eine Reihe von alltglichen Aufgaben nicht ge-lst werden knnen, die biologischen Gehirnenkeinerlei Probleme bereiten. Obwohl die Arbeits-weise des Gehirns bei weitem noch nicht verstandenist, sind doch ein

13、fache Prinzipien erkannt und frtechnische Realisierungen bernommen worden, diein vielen Bereichen gute Ergebnisse erbringen.Mit dieser Richtlinie wird der Zweck verfolgt, fr in-dustrielle Anwender Neuronaler Netze eine einheit-liche Basis zur Verwendung der mageblichen Be-Preliminary noteUnder the d

14、esignation Computational Intelligence, inshort CI, three fields of knowledge which initiallywere different from one another artificial neuronal networksevolutionary algorithmsfuzzy controlhave, in the past, been introduced into industrial prac-tice.All three fields of knowledge have in common thatth

15、ey are based on subsymbolic data processing andobjectify problem-solving strategies. Moreover, es-pecially complex tasks can only be solved by meansof hybrid approaches, i.e. by the joint use of neuronalnetworks, evolutionary algorithms and fuzzy control.In order to establish a uniform terminology f

16、or devel-opers, manufacturers and users in the industrial prac-tice of these fields of knowledge, the VDI/VDE Soci-ety for Measurement and Automatic Control (GMA)has decided to prepare a directive containing termsand definitions for the technical field of Computa-tional Intelligence, which consists

17、of the followingParts:Part 1 Artificial neuronal networks inautomation; Terms and definitionsPart 2 Fuzzy logic and fuzzy control; Terms anddefinitionsPart 3 Evolutionary algorithms in automation;Terms and definitionsThe present Part 1 was prepared by a study group ofthe GMA Technical Committee ”Neu

18、ronal Networksand Evolutionary Algorithms“.1 Motivation, purpose and scope of applicationThe motivation for using neuronal networks in auto-mation stems from the realization that a series ofdaily tasks which present no problem whatever tobiological brains cannot be solved using the most ad-vanced co

19、mputer technology. Although we are stillfar from understanding how the brain works, simpleprinciples have already been discovered and used forcarrying out technical projects, giving good results inmany fields.The purpose of this guideline is to provide industrialusers of neuronal networks with a uni

20、form basis forusing the most important terms and to store the termsB55EB1B3E14C22109E918E8EA43EDB30F09DCCB7EF86D9NormCD - Stand 2012-08Alle Rechte vorbehalten Verein Deutscher Ingenieure, Dsseldorf 2001 VDI/VDE 3550 Blatt 1 / Part 1 3 griffe zu schaffen und die Begriffe mit Definitionenzu hinterlege

21、n.Die Richtlinie gilt fr die Anwendung NeuronalerNetze im industriellen Einsatz.along with their definitions.This guideline applies to the use of neuronal net-works in industrial application.2 Begriffe und DefinitionenTerms and definitionsABAdaline Netzmodell, das sich auf lineare Aktivierungsfunkti

22、onen be-schrnkt und Schwellwert-funktionen als Ausgabefunk-tionen hatAnmerkung: Von Widrow und Hoff ein-gefhrtAdaption a) Vorgang der geeigneten Vern-derung der Gewichte einesNeuronalen Netzes fr ein ver-bessertes Systemverhalten Im-plementierung von Lernenb) Permanente Anpassung einesNeuronalen Net

23、zes im BetriebAdaptionsphase siehe Trainingsphase Adaptionsregel siehe LernregelaktivierendeVerbindungsiehe exzitatorische Verbin-dungAktivierung Interner Wert eines Neurons, deraus den gewichteten Eingangs-werten berechnet wirdAktivierungsfunk-tionFunktion, welche aus den Ein-gangssignalen eines Ne

24、uronsdessen Aktivierung berechnetANN ArtificialNeural NetworkKnstliches Neuronales Netz Approximator siehe universeller Approxima-torART Adaptive Re-sonance TheoryVo n Grossberg und Carpenterentwickelte Theorie zur ber-windung des Stabilitts-Plas-tizitts-Dilemmas- bei Modellenmit lateraler Inhibitio

25、nAnmerkung: Die auf dieser Theorie beru-henden Netz-Modelle wurden zur auf-merksamkeitsgesteuerten Klassifikationentwickelt.Assoziativ-speicherSystem, das einen inhaltsorien-tierten Zugriff statt eines Zugriffsber eine zustzliche Adressie-rung realisiertAnmerkung: Beim assoziativem Zugriffmuss der S

26、chlssel nicht exakt angegebenwerden, sondern kann aus Teilen des Ori-ginals, einem verrauschten Original etc.,bestehen.Ausgabefunktion Funktion zur Bestimmung deraktuellen Ausgabe eines Neu-rons in Abhngigkeit von der ak-tuellen AktivierungAnmerkung 1: Einige Netzmodelle wh-len als Ausgabefunktion d

27、ie Identitt, sodass der Aktivierungszustand einer Verar-beitungseinheit ohne weitere Transforma-tion weitergegeben wird.Anmerkung 2: Die Aktivierungsfunk-tion und die Ausgabefunktion werdenoft unter dem Terminus Transferfunk-tion“ zusammengefasst.Ausgabeknoten/-neuron Neuron mit unmittelbarer Ver-bi

28、ndung zur AuenweltAnmerkung: Der Ausgabewert des Neu-rons wird als Ausgabewert des Netzes ge-nutzt.Ausgabeschicht Schicht der AusgabeneuronenAuto-Assoziation Assoziation, bei der jedes Ein-gabemuster sich selbst wieder alsAusgabe zugeordnet istBackpropa-gation-AlgorithmusOptimierungsalgorithmus fr d

29、ie Gewichte in einem mehr-schichtigen Feed-ForwardNetzAnmerkung: Mit der Vernderung der Gewichte wird in der Ausgabeschichtbegonnen und in der Eingabeschichtbeendet. Es handelt sich um ein Lernver-fahren fr MLP, das auf einem Gradi-entenabstiegsverfahren beruht.B55EB1B3E14C22109E918E8EA43EDB30F09DCC

30、B7EF86D9NormCD - Stand 2012-08All rights reserved Verein Deutscher Ingenieure, Dsseldorf 2001 4 VDI/VDE 3550 Blatt 1 / Part 1CDBackpropagation Through TimeLernverfahren fr ein rckge-koppeltes (rekurrentes) Netzdurch Entfaltung“ in ein mehrschichtiges NetzAnmerkung: Es bercksichtigt, dass beirekurren

31、ten Netzen manche Eingnge vonvergangenen Netzausgngen abhngen.Batch-Training siehe Datensatz-basiertBias-Neuron Neuron, das ohne Eingngeimmer eine 1“ am Ausgang lie-fertAnmerkung: Wird zum Hinzufgen kon-stanter Terme innerhalb des Netzes be-nutzt.Bias-VarianzDilemmaFehler eines Neuronalen Netzesbei

32、der GeneralisierungAnmerkung: Dieser Fehler lsst sich inzwei Anteile zerlegen: Der Bias-Anteilbeschreibt den Fehleranteil, der auf Grundeines zu unflexiblen Netzes, d.h. mit zuwenigen Parametern, zu Stande kommt.Der Varianz-Anteil beschreibt den Fehler-anteil, der durch ungenau geschtzte Gewichte (P

33、arameter) auf Grund vonRauschen zu Stande kommt. Das Di-lemma besteht darin, die Summe beiderAnteile mglichst klein zu halten, wobeiprinzipiell mit zunehmender Netzkomple-xitt der Bias fllt und die Varianz steigt.Boltzmann-Maschine Ein rekurrentes, stochastischesNetzAnmerkung: Die Zustnde des Netzes

34、werden durch die Boltzmann-Verteilungbestimmt. Das Lernen erfolgt auf der Ba-sis von Simulated Annealing.Brain-State-in-a-BoxEin von Anderson entwickeltes,auf dem Basismodell des linea-ren Assoziators beruhendes Mo-dell, das versucht, einen Bezugzu kognitiven Vorgngen immenschlichen Gehirn herzustel

35、-lenAnmerkung: Das Modell sieht die mgli-chen Zustnde des menschlichen Gehirnsals die Eckpunkte eines Wrfels in einemRaum an, der durch die Dimensionierungdes Aktivierungsvektors aufgespanntwird. Jede beliebige Aktivierung wirddurch lineare Transformation schrittweisein einen Vektor berfhrt, der ein

36、em derEckpunkte des Hyper-Wrfels entspricht.Cascade Correla-tionKonstruktives Verfahren zur Er-zeugung von MLPClustering Verfahren, die Daten nach einemhnlichkeitsma gruppieren undso eine Informationskompres-sion durchfhrenCMAC Cerebel-lar Model Articu-lation ControllerEin von Albus entwickeltesMode

37、ll fr die Bewegungssteue-rung durch das KleinhirnAnmerkung: Der CMAC-Algorithmussimuliert die Grobcodierung eines mehr-dimensionalen Eingangssignals, die ver-teilte Speicherung der Information sowieden inhaltsadressierten (assoziativen) Zu-griff auf gespeicherte Daten.Competitive learning siehe Wett

38、bewerbslernen Counterpropaga-tion-Netz Feed-Forward Netz, das eineKombination von Lernverfahrennach Kohonen und GrossbergverwendetCross ValidierungVerfahren zur Abschtzung derGte eines Neuronalen NetzesAnmerkung 1: Der Datensatz wird in kTeile geteilt und das Neuronale Netz je-weils mit k-1 Teilen t

39、rainiert und demrestlichen Teil getestet. Danach werdenalle k Generalisierungsfehler auf den Test-daten summiert und als Ma fr die Gtedes Neuronalen Netzes verwandt.Anmerkung 2: Ein bekanntes Beispiel frCross Validierung ist die Leave-one-out“Methode, bei welcher k gleich der Anzahlder Daten ist.Dat

40、enpunkt-basiertVernderung der Gewichte ei-nes Neuronales Netzes nach Pr-sentation eines einzelnen Daten-punktesDatensatz-basiert Vernderung der Gewichte ei-nes Neuronalen Netzes nach Pr-sentation eines abgeschlossenenDatensatzesDelta-Regel Von Widrow und Hoff entwik-kelte Lernregel, die als Gre zurB

41、erechnung der Vernderung der Gewichte die Differenz zwi-schen der gewnschten und dertatschlich vom Netz produzier-ten Ausgabe verwendetAnmerkung: Die generalisierte Delta-Regel findet im BackpropagationAlgorithmus Anwendung.dynamischeNeuronale NetzeNeuronale Netze, die dynami-sches Verhalten nachbil

42、den kn-nenAnmerkung: Dies geschieht entwederdurch die Erweiterung der Netzstrukturmit dynamischen Elementen (interne Dy-namik) oder durch das Vorschalten einerKette von dynamischen Elementen vor einstatisches Neuronales Netz (externe Dy-namik).B55EB1B3E14C22109E918E8EA43EDB30F09DCCB7EF86D9NormCD - S

43、tand 2012-08Alle Rechte vorbehalten Verein Deutscher Ingenieure, Dsseldorf 2001 VDI/VDE 3550 Blatt 1 / Part 1 5 EFGHEingabeknoten/-neuronNeurone mit unmittelbarer Ver-bindung zur AuenweltAnmerkung: Sie dienen zur Einspeisungder Eingabe des Netzes.Eingabeschicht Schicht aus EingabeneuronenEnergiefunk

44、tion Funktion, die die Gesamtenergieeines Systems beschreibt, welcheim Rahmen einer Optimierungs-aufgabe minimiert werden kannAnmerkung: Eine der wichtigsten Gr-en bei rckgekoppelten Netzen ist dieEnergie E des Systems. hnlich wie inphysikalischen Systemen ist der stabileZustand durch ein Minimum an

45、 Gesamt-energie E(t) gekennzeichnet.Epoche Die Verarbeitung des gesamtenDatensatzesAnmerkung: Beim Datensatz-basier-ten Training entspricht jede Iteration einerEpoche.Erregungs-zustand siehe AktivierungError-Backpropa-gation siehe Backpropagation Algo-rithmusevolutionre AlgorithmenMassiv parallele O

46、ptimierungs-verfahren, welche die natrlicheEvolution nachahmenExtrapolation Verhalten eines NN auerhalbdes durch die Trainingsdaten auf-gespannten Eingangsraumsexzitatorische Verbindung Verbindung mit positivem Ge-wicht, die die Aktivierungeiner Verarbeitungseinheit erh-hen kannFan-In Anzahl der ein

47、gangsseitig ver-bundenen NeuronenFan-Out Anzahl der ausgangsseitig ver-bundenen NeuronenFeed-Forward NetzNetz, bei dem ein Signalpfad nie-mals zum selben Knoten zurck-fhrtAnmerkung: Gegensatz zu Rekurren-ten NetzenFeedback Rckkopplung: Nutzen von Aus-gangssignalen als Eingabewertedes NetzesFehlerflc

48、he Mglichkeit zur Darstellung aller Fehlersignale eines NetzesAnmerkung: Fasst man alle n Gewichteeines Feed-Forward Netzes als Vernder-liche in n Dimensionen auf, so kann mansich alle Werte des Fehlersignals e auf ei-ner Hyperflche im n+l-dimensionalenRaum vorstellen. Fehlergebirge siehe Fehlerflch

49、eFehlersignal Durch Soll/Ist-Vergleich derAusgabe an einer Verarbeitungs-einheit ermittelter Wertgeneralisierte Delta-Regel Vo n Rumelhart und Hinton ein-gefhrte Erweiterung der Delta-Regel, die fr mehr-schichtige Netze mit verborge-nen Neuronen eingesetzt werdenkann (siehe auch Backpropa-gation Algorithmus)Generalisierung Fhigkeit, neue, noch nie gese