| Tantárgy neve: Információelmélet |
Tantárgy Neptun kódja: Nappali: GEMAK264-B Tárgyfelelős intézet: MAT - Matematikai Intézet |
| Tantárgyelem: A_V3 | |
| Tárgyfelelős: Dr. Fegyverneki Sándor - egyetemi docens | |
| Közreműködő oktató(k): | |
| Javasolt félév: 6 | Előfeltétel:GEMAK232-B |
| Óraszám/hét: Előadás (nappali): 2 Gyakorlat (nappali): 2 | Számonkérés módja: kollokvium |
| Kreditpont: 5 | Munkarend: Nappali |
| Tantárgy feladata és célja: Az információmennyiség mérésének megismerése. Az információtovábbítás alapvető modelljeinek vizsgálata. Tudás: Ismeri az informatikai szakterület tudásanyagát megalapozó általános és specifikus matematikai, számítástudományi elveket, tényeket, szabályokat, összefüggéseket, és eljárásokat. Az érintett területek: analízis (kalkulus), numerikus analízis, diszkrét matematika, lineáris algebra, operációkutatás, valószínűségszámítás és statisztika, logikai alapok, számításelmélet, algoritmusok tervezése és elemzése, automaták és formális nyelvek, mesterséges intelligencia alapjai. Képesség: Képes az általános és specifikus matematikai, számítástudományi elveket, tényeket, szabályokat, összefüggéseket alkalmazni informatikai szakterületen. Attitűd: Nyitott a képesítésével, szakterületével kapcsolatos szakmai, technológiai fejlődés és innováció megismerésére és befogadására. Autonomia és felelősség: Törekszik a hatékony és minőségi munkavégzésre. | |
| Tárgy tematikus leírása: Az egyirányú hírközlési rendszer általános modellje. Az információmennyiség mérése: Hartley-féle értelmezése. Az esemény Shannon-féle információmennyisége, Jensen-egyenlőtlenség, az entrópia tulajdonságai. I-divergencia, kölcsönös információmennyiség, McMillan-felbontási tétel, a feltételes entrópia. Kódoláselméleti fogalmak, forráskódolás: stacionaritás, betűnkénti és blokkonkénti kódolás, emlékezet-nélküliség, egyértelmű dekódolhatóság. Keresési stratégiák és prefix kódok. Kraft-Fano egyenlőtlenség. Hatásfok, McMillan-dekódolási tétel. Shannon-Fano-, Gilbert-Moore-, Huffman-féle kód. Az optimális kód tulajdonságai, a kódfához kapcsolódó tulajdonságok. Stacionér forrás entrópiája, a zajmentes hírközlés alaptétele. Lempel-Ziv kódolás és változatai. Csatornakapacitás: emlékezetnélküli eset, zajmentes eset, bináris szimmetrikus csatorna, zajos csatorna típusok. Zajmentes nem azonos átviteli idő esete: információ átviteli sebesség, csatornakapacitás, optimális eloszlás. Az átlagos időhossz, Kraft-Fano egyenlőtlenség. Általános zajos csatorna esete: négyzetes átviteli mátrix, Arimoto-Blahut algoritmus, általános eset additív költséggel. McMillan-felbontási tétel és a zajos kódolás kapcsolata Zajos csatorna kódolása:, (k,n)-kód, , maximum likelihood dekódolás, csoportkód, lineáris kód, szisztematikus kód, szindróma, mellékosztályok és szindrómák kapcsolata, mellékosztály és dekódolási táblázat, Speciális kódolások Analóg források és csatornák: Entrópia, I-divergencia. Speciális eloszlások entrópiája. Csatornakapacitás. Entrópia maximalizálás, véges szórású eset. | |
| Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Nappali): A félévvégi aláírás feltétele: A 7. ill. a 13. héten egy-egy elégséges szintű zárthelyi dolgozat megírása. A zárthelyi időtartama 60 perc és a megoldási szint elégséges, ha legalább egy feladat teljes megoldását tartalmazza és legalább 50% teljesítése. Ha nem sikerül, akkor pótlás az utolsó héten a megfelelő tananyagrészekből. | |
| Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Levelező): | |
| Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Nappali): A kollokvium írásbeli. Kérdezhető elméleti és gyakorlati tananyag, ami az órákon elhangzott. Az írásbeli vizsgán (időtartam 90 perc) 8 elméleti kérdés (1-1 pont) és 4 feladat (2-2 pont) van. Kiértékelés: 0-5 pont (elégtelen), 6-7 pont (elégséges), 8-9 pont (közepes), 10-11 pont (jó), 12-16 pont (jeles), ha az elméleti kérdésekből legalább 4, a feladatokból pedig legalább 2 pontja van, egyébként elégtelen. | |
| Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Levelező): | |
| Kötelező irodalom: 1. Fegyverneki Sándor: Információelmélet elektronikus jegyzet, progmat.hu honlap. | |
| Ajánlott irodalom: 1.Csiszár I., Fritz J.: Információelmélet. Tankönyvkiadó, Bp. 1980. (ELTE jegyzet) | |