Teoría de la Información - Comunicaciones 1

1. Introducción

La teoría de la información se basa en tres conceptos fundamentales:

La Medición de la Fuente de Información.
La Medición de la Capacidad de información del Canal.
Codificación para el aprovechamiento de la capacidad del canal para la transferencia de la Información.

Teorema fundamental: Si la velocidad de la información proveniente de una fuente no excede la capacidad del canal, entonces existe una técnica de codificación de manera tal que la información puede ser transmitida sobre el canal con una pequeña tasa de error debida a la presencia de ruido.

Definición Técnica

La información es un término técnico que no debe confundirse con "conocimiento" o "significado". En el contexto de comunicación, es el producto producido por la fuente para transferir al destino. Implica que la información no estaba disponible anteriormente en el destino.

Ejemplo ilustrativo (Pronóstico del clima):

"El sol saldrá": No transmite prácticamente información (alta probabilidad, baja incertidumbre).
"Habrá tormentas dispersas": Proporciona información nueva.
"Habrá un tornado": Brinda mucha más información (evento poco frecuente, alta incertidumbre resuelta).

Conclusión: Cuanto menos probable sea el mensaje, más información transmite. La medida de información está relacionada con la incertidumbre del receptor o la libertad de elección ejercida por la fuente.

Diagrama del Sistema de Comunicación

El flujo físico y conceptual del sistema se divide en tres capas: la capa abstracta (Información), la capa lógica (Mensaje) y la capa física (Dato).

Información

Fuente

→

Mensaje

Cod. Fuente

Cod. Canal

→

Dato

Canal + Ruido

→

Mensaje

Dec. Canal

Dec. Fuente

→

Información

Destino

Lectura del diagrama:
1. Información (Púrpura): El significado y la incertidumbre. Nace en la Fuente y se recupera en el Destino.
2. Mensaje (Cian): Los símbolos y códigos estructurados. Se arma en los codificadores y se desarma en los decodificadores.
3. Dato (Naranja): La señal física cruda (voltajes, bits) que viaja por el canal soportando el ruido.

🔍 Explorá las visualizaciones alternativas del sistema:

📊 Diagrama en Bloques Enriquecido 📚 Arquitectura por Capas

2. Cantidad de Información

La cantidad de información que se recibe es inversamente proporcional a la probabilidad del evento.

I(x_i) = log₂(1 / P(x_i)) = -log₂(P(x_i)) [bits] Donde: I(x_i) = información del evento x_i, P(x_i) = probabilidad del evento (adimensional)

Para n mensajes equiprobables, la probabilidad de cada uno es P = 1/n:

I = log₂(n) [bits] Donde: n = número de mensajes posibles (adimensional)

Sistemas M-arios: Se envían muestras PAM a la velocidad f_s [muestras/seg] con M mensajes equiprobables. La probabilidad de cada mensaje es P = 1/M.

Mensajes sucesivos: Si una fuente produce dos mensajes sucesivos e independientes (x₁ y x₂), la cantidad de información total producida es aditiva:

I(x₁, x₂) = I(x₁) + I(x₂) = -log₂(P(x₁)) - log₂(P(x₂)) [bits] Esto se debe a que P(x₁, x₂) = P(x₁) · P(x₂) para eventos independientes

3. Entropía de la Fuente

Una Fuente de Información emite una secuencia de "M" símbolos diferentes (X₁, X₂... X_m) con sus respectivas probabilidades (P₁, P₂... P_m).

Condiciones de la fuente:

Fuente Estacionaria (P = cte en el tiempo).
Símbolos Estadísticamente independientes.
Velocidad promedio r [símbolos/seg].

La cantidad de información producida por la fuente es una variable aleatoria. La información esperada por símbolo se conoce como la ENTROPÍA de la fuente:

H(X) = - Σ_i=1^M P(x_i) · log₂(P(x_i)) [bits/símbolo] Donde: M = número de símbolos del alfabeto, P(x_i) = probabilidad del símbolo i-ésimo (adimensional), Σ P(x_i) = 1

Gráfico de Entropía Binaria

La incertidumbre es máxima cuando la probabilidad es 0.5 (ej. lanzar una moneda).

🐈 Analogía: El Gato de Schrödinger y la Entropía

El gráfico de entropía binaria es el mapa de la ignorancia del observador frente a un sistema:

El pico (p=0.5, H=1 bit): La caja cerrada. El gato está en superposición (50% vivo, 50% muerto). Tu incertidumbre es máxima. No tienes información real, solo probabilidades.
Los extremos (p=1 o p=0, H=0): Abrir la caja. El acto de observar (medir) colapsa el sistema. Caes de golpe a la base del gráfico: la incertidumbre desaparece por completo.
Medir es ganar 1 bit: Pasar del pico a la base significa recibir exactamente 1 bit de información. Es el evento físico que obliga al universo a decidir el estado del gato.

4. Velocidad de la Información

Dado que la fuente produce "r" símbolos por segundo, el tiempo de duración de una secuencia de "n" símbolos es n/r [seg]. La información debe ser transmitida a una velocidad promedio de:

R = [n · H(X)] / (n / r) = r · H(X) [bits/seg] Donde: r = velocidad de símbolos [símbolos/seg], H(X) = entropía [bits/símbolo], n = número de símbolos (adimensional)

Ejemplo: Fuente que emite r = 2000 [símbolos/seg] de un alfabeto de M = 4 símbolos con probabilidades dadas.

Paso 1: Calcular H(X) con la fórmula de entropía → resultado en [bits/símbolo].
Paso 2: Multiplicar R = r · H(X) = 2000 [símbolos/seg] · H(X) [bits/símbolo] = velocidad de información en [bits/seg].

5. ¿Por qué codificar?

Cuando la fuente produce M símbolos igualmente probables, todos tienen la misma cantidad de información e igual eficiencia. Pero cuando los símbolos presentan diferentes probabilidades, una transmisión más eficiente requiere codificación.

Explorá los dos ejemplos detallados en archivos separados:

📡

El Código Morse a través de los Idiomas

Análisis comparativo de eficiencia según la frecuencia de letras en inglés, español, francés, alemán, ruso y japonés (Wabun).

🚁

Codificación Huffman: Drone de Reparto

Ejemplo paso a paso del algoritmo con árbol visual, cálculo de ahorro energético y conexión con ZIP/JPEG/MP3.

💡 Conexión conceptual: Morse (1838) y Huffman (1952) aplican exactamente el mismo principio: asignar códigos más cortos a los símbolos más probables. Morse lo hizo empíricamente analizando imprentas; Huffman demostró matemáticamente en el MIT que su algoritmo produce el código óptimo para símbolos individuales.

6. Capacidad del Canal

El ancho de banda (B) y la potencia de ruido (N) restringen la cantidad de información. En un canal con ruido blanco Gaussiano, la velocidad máxima es C bits/seg.

Variables y Fórmulas Base

B: Ancho de banda del canal [Hz].
S: Potencia de la Señal [W] o [V²].
N: Potencia de ruido [W] o [V²].
S/N: Relación Señal/Ruido (adimensional) o [dB] si se expresa en decibelios.

El número de niveles distintos (M) que se pueden distinguir sin error está definido por la relación voltaje eficaz de señal / voltaje eficaz de ruido:

M = √(1 + S/N) [niveles] Donde: S = potencia de señal [V²], N = potencia de ruido [V²], S/N = relación señal/ruido (adimensional)

La máxima cantidad de información transmitida por cada pulso con M niveles distintos es:

I_pulso = log₂(M) = ½ · log₂(1 + S/N) [bits/pulso] Donde: M = número de niveles distinguibles (adimensional)

Si el canal puede transmitir un máximo de k pulsos por segundo, la capacidad del canal es:

C = k · log₂(M) = k · ½ · log₂(1 + S/N) [bits/seg] Donde: k = velocidad de pulsos [pulsos/seg], M = niveles (adimensional)

Teorema de Shannon-Hartley (Forma continua)

Para un canal con ancho de banda B [Hz] y ruido blanco Gaussiano aditivo:

C = B · log₂(1 + S/N) [bits/seg] Donde: B = ancho de banda [Hz], S/N = relación señal/ruido (adimensional). Para convertir de dB a lineal: S/N = 10^(dB/10)

Ejemplo: Canal telefónico con B = 3000 [Hz], S/N = 30 [dB] = 1000 (lineal).

C = 3000 · log₂(1 + 1000) ≈ 3000 · 9.97 ≈ 29,900 [bits/seg]

7. Ejemplos Prácticos Resueltos

Ejemplo 1: Baraja de cartas

Se selecciona una carta en forma aleatoria de una baraja de 52 cartas. Se informa que se trata de un corazón (13 cartas).

a) ¿Cuánta información en bits ha recibido?

La probabilidad inicial de que sea corazón era P = 13/52 = 1/4. Al recibir el mensaje, la incertidumbre se reduce a 0.

I = log₂(52 / 13) = log₂(4) = 2 [bits]

b) ¿Cuánta información más se necesita para especificar la carta elegida?

Quedan 13 cartas posibles (equiprobables, una de cada corazón).

I = log₂(13) ≈ 3.7 [bits]

Ejemplo 2: Calificaciones

Se asignan igual número de categorías: A, B, C, D, F (5 opciones equiprobables).

a) ¿Cuánta información recibe cuando se informa que su categoría no es F?

La probabilidad de "no ser F" es P = 4/5.

I = log₂(1 / (4/5)) = log₂(5/4) = log₂(1.25) ≈ 0.32 [bits]

b) ¿Cuánta información adicional se necesita para determinar su calificación?

Quedan 4 opciones posibles (A, B, C, D), todas equiprobables.

I = log₂(4) = 2 [bits]

Ejemplo 3: Señal de TV

Imagen B/N compuesta por 3·10⁵ elementos de imagen. Cada elemento es equiprobable entre 10 niveles de brillantez distinguibles. Se transmiten 30 cuadros por segundo. S/N = 30 [dB] (relación lineal = 1000).

1. Información por elemento:

I_elem = log₂(10) ≈ 3.32 [bits/elem]

2. Velocidad de información (R):

R = (3·10⁵ [elem/cuadro]) · (30 [cuadros/seg]) · (3.32 [bits/elem]) ≈ 3·10⁷ [bits/seg]

3. Ancho de banda mínimo (B):

Usando el teorema de Shannon-Hartley: C = B · log₂(1 + S/N), despejamos B:

B = R / log₂(1 + S/N) = (3·10⁷ [bits/seg]) / log₂(1001) ≈ (3·10⁷) / 9.97 ≈ 3·10⁶ [Hz] = 3 [MHz]

8. Aplicaciones Modernas

Compresión (ZIP, MP3, JPEG): Usan codificación de fuente (como Huffman) para eliminar redundancia y reducir el tamaño de los archivos.
Wi-Fi y 5G: Usan codificación de canal y modulaciones complejas para acercarse al límite de Shannon, enviando datos rápido incluso con interferencias.
Códigos QR: Incluyen redundancia calculada (codificación de canal) para que el código siga siendo legible aunque esté parcialmente roto o sucio.

Anexo: Dato, Información y Mensaje

Diferenciación de los conceptos desde una perspectiva etimológica, filosófica y práctica.

1. Dato

Etimológico: Del latín datum ("lo dado"). Un hecho bruto, sin procesar.
Filosófico: La realidad sin interpretar. Carece de significado intrínseco hasta que un observador le asigna contexto.
Práctico: Un símbolo aislado o un bit ("0" o "1") por sí solo. Ej: el número "30".

2. Información

Etimológico: Del latín informatio ("dar forma"). La acción de moldear los datos crudos para el entendimiento.
Filosófico: Aquello que reduce la incertidumbre. "La diferencia que marca la diferencia" (G. Bateson).
Práctico: Datos organizados con propósito. En la Teoría de la Información (Shannon), es la medida de la incertidumbre resuelta. Ej: saber que "30" significa "30% de probabilidad de lluvia".

3. Mensaje

Etimológico: Del latín missus ("enviado").
Filosófico: La materialización de la intención comunicativa. El vehículo que permite que la información viaje de la fuente al destino.
Práctico: La secuencia concreta y física de símbolos que viaja por el canal. Ej: la cadena de bits "10110" o la frase "Habrá tormentas".

Relación práctica (El flujo):
1. Dato: 0110 (señal eléctrica sin contexto).
2. Mensaje: El decodificador traduce los bits a: "Habrá un tornado".
3. Información: El impacto en el receptor. Al ser un evento de baja probabilidad, la incertidumbre se reduce drásticamente y se toma una decisión.

Glosario Rápido

Bit: Unidad mínima de información (reduce la incertidumbre a la mitad).
Baud: Símbolos o pulsos transmitidos por segundo [símbolos/seg] (velocidad de señal, equivale a 'k' o 'r' en el texto).
Entropía (H): Medida de la incertidumbre o información promedio de una fuente [bits/símbolo].
Ancho de Banda (B): Rango de frecuencias que soporta un canal [Hz].
SNR (S/N): Relación Señal/Ruido. Comparación entre potencia útil y ruido de fondo (adimensional o en [dB]).