Teori informasi (Inggris: information theory) adalah disiplin ilmu dalam bidang matematika terapan yang berkaitan dengan kuantisasi data sehingga data atau
informasi itu dapat disimpan dan dikirimkan tanpa kesalahan (error) melalui suatu kanal komunikasi. Entropi
informasi (information entropy) sering dipakai sebagai alat untuk maksud ini, dan biasanya dinyatakan sebagai banyaknya bit rerata yang diperlukan untuk penyimpanan dan pengiriman
informasi tersebut. Sebagai contoh, jika keadaan cuaca harian dinyatakan dengan entropi 3 bit, maka kita katakan bahwa cuaca itu mempunyai rata-rata 3 bit tiap harinya.
Aplikasi dari topik dasar dalam
Teori informasi meliputi kompresi data tanpa cacat (lossless data compression, pada file ZIP misalnya), kompresi data (lossy data compression, pada file MP3, misalnya), dan pengkodean kanal (channel coding, pada saluran DSL, ADSL dll). Biasanya
Teori informasi merupakan titik temu dari bidang –bidang matematika, statistika, ilmu komputer, fisika, neurobiologi, dan teknik listrik serta komputer. Implementasi dari
Teori ini berdampak langsung dengan misi ruang angkasa, pemahaman mengenai lubang hitam dalam galaksi, dengan penelitian linguistika dan persepsi manusia, dengan jaringan komputer, jaringan Internet serta jaringan telepon genggam.
Secara khusus,
Teori informasi adalah cabang dari matematika peluang dan statistik, yang berkaitan dengan konsep
informasi dan entropi
informasi seperti telah dijelaskan di atas. Claude Shannon (1916-2001) dikenal sebagai "bapak dari
Teori informasi". Shannon mendefinisikan pengukuran dari entropi
informasi (dalam bit) sebagai:
H
=
−
∑
i
p
i
log
2
p
i
{\displaystyle H=-\sum _{i}p_{i}\log _{2}p_{i}\,}
Rumus ini jika diterapkan pada suatu sumber
informasi, dapat menentukan kapasitas dari saluran yang diperlukan untuk mengirim data yang diterjemahkan ke dalam digit biner.
Pranala luar
NCIFCRF.gov Diarsipkan 2012-08-29 di Wayback Machine., Eprint, Schneider, T., "Information Theory Primer"
ND.edu, Srinivasa, S. "A Review on Multivariate Mutual Information"
Conceptsearching.com Diarsipkan 2010-02-04 di Wayback Machine., Challis, J., "Lateral Thinking in Information Retrieval"
Chem.wisc.edu, Journal of Chemical Education, Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!
ITsoc.org Diarsipkan 2009-01-22 di Wayback Machine., IEEE Information Theory Society and ITsoc.org Diarsipkan 2009-01-22 di Wayback Machine. review articles
Cam.ac.uk, On-line textbook: "Information Theory, Inference, and Learning Algorithms" by David MacKay - giving an entertaining and thorough introduction to Shannon theory, including state-of-the-art methods from coding theory, such as arithmetic coding, low-density parity-check codes, and Turbo codes.
UMBC.edu, Eprint, Erill, I., "A gentle introduction to information content in transcription factor binding sites"