Laut Shannon-Theorem

In der Informationstheorie, das Shannon-Theorem oder die zweite Kanalcodierungstheorem feststellt, daß ein Kommunikationskanal durch Rauschen beeinflußt, ist es möglich, die Daten mit Fehlerwahrscheinlichkeit Pe so klein zu übertragen, wie bis zu einer maximalen Frequenz durch den Kanal erwünscht gleich. Dieses überraschende Ergebnis, das auch als Fundamentalsatz der Informationstheorie bekannt ist, wurde zum ersten Mal von Claude Shannon 1948 vorgestellt.

Die Shannon-Kapazität, die auch als Shannon-Grenze bekannt, ist ein Kommunikationskanal die maximale Übertragungsrate von Daten, die den Kanal für ein gegebenes Niveau der Signal / Rauschverhältnis bieten können, mit einer Fehlerquote beliebig klein.

Anzeigen

Der Satz 1948 von Claude Shannon formuliert, beschreibt den maximal möglichen Wirkungsgrad eines Verfahrens zur Korrektur von Fehler in Abhängigkeit von dem Rauschpegel. Die Theorie erklärt nicht, wie man einen guten Code zu bauen, aber nur fest, was der Code Leistung ausgezeichnet. Der zweite Shannon-Theorem hat zahlreiche Anwendungen, die beide auf dem Gebiet der Telekommunikation und der Archivierung von Daten. Dieser Satz ist die Grundlage der modernen Informationstheorie. Shannon hat nur eine Spur von Beweisen. Die ersten strengen Beweis ist auf Amiel Feinstein 1954.

Das Theorem besagt, daß bei einem Kanal mit einer Kapazität C, auf dem Informationen mit einer Rate R übertragen wird, dann, wenn

Es ist ein Code, mit dem Sie die Fehlerwahrscheinlichkeit an den Empfänger beliebig klein machen kann. Dies bedeutet, dass theoretisch ist es möglich, Daten ohne Fehler in jedem Fall weniger als übertragen C.

Auch das Umgekehrte ist wichtig. Wenn

Sie eine Fehlerwahrscheinlichkeit nicht erreichen kann, so klein wie gewünscht. Jeder Code würde eine Fehlerwahrscheinlichkeit größer als ein bestimmter Wert größer als Null, und dieser Wert steigt mit der Geschwindigkeit haben. Daher ist es nicht möglich, zu garantieren, dass die Daten zuverlässig auf einem Kanal mit einer Geschwindigkeit größer als die Kapazität übertragen. Der Satz nicht der Fall betrachtet, in welcher R und C gleich sind.

Einfache Muster, wie Codes in Wiederholung werden Verfahren zur Fehlerkorrektur ineffizient und nicht in der Lage, die Shannon-Grenze nähern. Umge fortgeschrittenen Techniken wie Reed-Solomon-Codes oder Turbo-Codes ist viel näher an der Shannon-Grenze, auf Kosten der hohen Rechenaufwand. Mit der neuesten Turbo-Codes und der Rechenleistung auf die heutige DSPs verfügbar ist, ist es nun möglich, näher als 10,1 Dezibel gegenüber dem Shannon-Grenze erhalten

Aussage

Theorem:

Track-Demo

Wie bei vielen anderen wichtigsten Erkenntnisse in der Informationstheorie, der Beweis des zweiten Satzes von Shannon enthält eine Demonstration der Zugänglichkeit und einen Test der inversen. Diese beiden Komponenten werden verwendet, um zu begrenzen, in diesem Fall ist der Satz von möglichen Raten, die Kommunikation über einen rauschbehafteten Kanal und beweisen, dass diese Grenzen Grenzen streng.

Die folgenden Titel sind nur eine Sammlung von zahlreichen Verfahren in der Informationstheorie vorgeschlagen.

Erreichbarkeit für diskrete Kanäle ohne Gedächtnis

Dieses spezielle Erreichbarkeits ist ähnlich dem verwendet werden, um die Eigenschaften der asymptotischen Gleichverteilung zu zeigen.

Diese Technik verwendet ein Argument, das auf einer Auswahl von Zufallscode, für die die Menge von Codewörtern nach dem Zufallsprinzip aufgebaut ist; Dies ermöglicht es, die Rechenkomplexität zu reduzieren, jedoch versuchen die Existenz eines Code, der für jede niedrigere Rate als die Kanalkapazität gewünschten Fehlerwahrscheinlichkeit entspricht.

Mit Hilfe eines Argument an die AEP bezogenen, Daten von Strings von Symbolen lange es Quellen lange Zeichenketten von n Ausgänge des Kanals, können wir einen Satz definieren, auf die folgende Weise gemeinsam typisch:

Wir sagen, dass zwei Sequenzen und werden gemeinsam typisch, wenn sie ein ganzes gemeinsam typischen neu definiert ist.


Schritte

  • Im Stil der Argumentation des Random-Codierung generieren wir Zufallscodewörter der Länge n aus der Wahrscheinlichkeitsdichte Q.
  • Dieser Code ist sowohl mit dem Sender und dem Empfänger bekannt ist; auch sie davon aus, dass beide wissen, dass die Übergangsmatrix für den Kanal in Gebrauch ist.
  • Eine Meldung W wird entsprechend der Gleichverteilung auf der Menge der möglichen Codeworte ausgewählt. Dh.
  • Die Nachricht wird an den Kanal gesendet.
  • Der Empfänger die Nachricht in Übereinstimmung mit der Verteilung
  • Von auf dem Kanal sendet die Codeworte, zu empfangen und zu decodieren, in einem gewissen Quellsymbol, wenn es nur ein Codewort, das gemeinsam mit typischen Y. Wenn es Codewörter gemeinsam typischen, oder wenn es mehr als eine, dann haben Sie einen Fehler machen. Ein Fehler tritt auf, wenn ein Codewort decodiert nicht das Codewort gesendet entsprechen. Diese Technik wird als Codierung für typischen Satz angezeigt.

Die Fehlerwahrscheinlichkeit ist in zwei Teile unterteilt:

  • Erstens kann es Fehler geben, wenn es keine einzige Sequenz X in Verbindung mit der typischen Sequenz Y empfangen.
  • Zweitens kann ein Fehler sein, wenn falscher Reihenfolge X gemeinsam typischen mit der Sequenz Y erhalten ist.
  • Basierend auf der Annahme der Zufälligkeit des Codes, können wir verlangen, dass die durchschnittliche Fehlerwahrscheinlichkeit gemittelt über alle Codes, nicht abhängig von der abgeschickt. So können wir ohne Verlust der Allgemeingültigkeit sei angenommen, W = 1.
  • Vom Gelenk AEP, wissen wir, dass die Wahrscheinlichkeit, dass es keine gemeinsamen typischen Sequenzen X, gegen 0 strebt crescer n. Wir können die oben mit dieser Wahrscheinlichkeit zu begrenzen.
  • Auch von dem Gelenk AEP, wissen wir, dass die Wahrscheinlichkeit, dass eine bestimmte und das erhaltene durch W = 1 gemeinsam typisch ist.

Definiert:

das Ereignis, das eine Nachricht gemeinsam typischen mit der empfangenen Sequenz wird zuerst gesendet, wenn Sie die Nachricht.

Wir können sehen, dass auf Unendlichkeit n neigen, wenn für den Kanal, die Fehlerwahrscheinlichkeit zu Null tendiert.

Schließlich ist es die nachgewiesen haben, daß der Gesamtdurchschnitt der Codewörter "gut" ist, gibt es sicherlich eine Menge von Codewörtern, deren Leistung besser ist als der Durchschnitt, und dies erfüllt unsere Notwendigkeit, eine Fehlerwahrscheinlichkeit so klein wie gewünscht Kommunikation auf dem verrauschten Kanal.

Demonstration umzukehren schwache diskrete Kanäle ohne Gedächtnis

Angenommen, wir einen Code zusammengesetzt haben. Sei W gleichmäßig auf diesen Satz als Index gewonnen werden. Und die Codewörter und empfangen werden, jeweils

  •  die Gleichheiten verwenden, um die Entropie und gegenseitige Informationen.
  •  Da X eine Funktion W
  •  mit der Ungleichheit der Fano
  •  die Tatsache, dass die Kapazität der maximale gegenseitige Information.

Das Ergebnis dieser Schritte ist das. Am neigen der Länge n gegen unendlich, so erhält man die an der Oberseite durch 0 begrenzt ist, wenn R größer als C; stattdessen können wir niedrige Fehlerraten zu erhalten, wenn R kleiner als C.

Demonstration für starke inverse diskrete Kanäle ohne Gedächtnis

Eine starke inverse Theorem von Wolfowitz im Jahr 1957 gezeigt hat, heißt es, dass

für einige positive Konstante ist. Während die inverse schwachen Staaten, die die Fehlerwahrscheinlichkeit echt größer als 0 bis ins Unendliche neigen dazu, die starke Theorem besagt, dass der Fehler neigt exponentiell auf 1. So ist eine Schwelle, die zwischen Kommunikations absolut zuverlässig und vollständig teilt unzuverlässig.

Satz der Kanalcodierung für die Kanäle ohne Gedächtnis instationären

Wir nehmen an, dass der Kanal frei ist von dem Speicher, sondern dass seine Übergangswahrscheinlichkeiten variieren in Abhängigkeit von der Zeit, in einer sowohl dem Sender zu dem Empfänger bekannt ist.

Die Kanalkapazität gegeben ist durch

Das Maximum wird für Distributionen, die die Kapazität für jeden Kanal zu erreichen, dh erhalten

wobei die Kapazität des i-ten Kanal.

Track-Demo

Die Demonstration folgt im wesentlichen die gleichen Schritte des Ersten Shannon-Theorem. Die Erreichbarkeit wird aus dem Random-Codierung abgeleitet, wobei jeder nach dem Zufallsprinzip aus der Verteilung, die die Kapazität für einen bestimmten Kanal erreicht ausgewählte Symbol. Argumente auf der Grundlage der Typizität verwenden die Definition von typischen Satz für nicht ortsfesten Quellen in der AEP definiert.

Die untere Grenze kommt ins Spiel, wenn es konvergiert.

  0   0
Vorherige Artikel Sara Masotti
Nächster Artikel Jacopo Ferretti

In Verbindung Stehende Artikel

Kommentare - 0

Keine Kommentare

Fügen Sie einen Kommentar

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Zeichen übrig: 3000
captcha