| Tantárgy neve: Információ- és kódelmélet (ZV1) |
Tantárgy Neptun kódja: Nappali: GEMAK122M Tárgyfelelős intézet: MAT - Matematikai Intézet |
| Tantárgyelem: A | |
| Tárgyfelelős: Dr. Fegyverneki Sándor - egyetemi docens | |
| Közreműködő oktató(k): | |
| Javasolt félév: 2 | Előfeltétel: |
| Óraszám/hét: Előadás (nappali): 3 Gyakorlat (nappali): 1 | Számonkérés módja: kollokvium |
| Kreditpont: 5 | Munkarend: Nappali |
| Tantárgy feladata és célja: Az információmennyiség mérésének megismerése. Az információtovábbítás alapvető modelljeinek vizsgálata. Tudás: Az informatikai szakmán belül, a specializációtól függően mélyebb elméleti és gyakorlati ismeretekkel rendelkezik az alábbiak közül egy vagy néhány területen: szoftvertervezés, rendszerszimuláció és -modellezés, kommunikációs hálózatok, mobil- és erőforrás-korlátos alkalmazások, számítógépes grafika és képfeldolgozás, kritikus és beágyazott rendszerek, médiainformatika, IT-biztonság, párhuzamos rendszerek, intelligens rendszerek, számításelmélet, adatbázisok. Képesség: Az információtechnológia eszközeit és formális módszereit készség szinten használja. Attitűd: Munkáját kreatívan, rugalmasan végzi, a problémákat felismeri és azokat intuícióra és módszerességre építve oldja meg. Autonomia és felelősség: Szakmai kompetenciái alapján egyaránt alkalmas működéskritikus és érzékeny információkat tartalmazó rendszerek fejlesztésére és üzemeltetésére. | |
| Tárgy tematikus leírása: Az egyirányú hírközlési rendszer általános modellje. Az információmennyiség mérése: Hartley-féle értelmezése. Az esemény Shannon-féle információmennyisége, Jensen-egyenlőtlenség, az entrópia tulajdonságai. I-divergencia, kölcsönös információmennyiség, McMillan-felbontási tétel, a feltételes entrópia. Kódoláselméleti fogalmak, forráskódolás: stacionaritás, betűnkénti és blokkonkénti kódolás, emlékezet-nélküliség, egyértelmű dekódolhatóság. Keresési stratégiák és prefix kódok. Kraft-Fano egyenlőtlenség. Hatásfok, McMillan-dekódolási tétel. Shannon-Fano-, Gilbert-Moore-, Huffman-féle kód. Az optimális kód tulajdonságai, a kódfához kapcsolódó tulajdonságok. Stacionér forrás entrópiája, a zajmentes hírközlés alaptétele. Lempel-Ziv kódolás és változatai. Csatornakapacitás: emlékezetnélküli eset, zajmentes eset, bináris szimmetrikus csatorna, zajos csatorna típusok. Zajmentes nem azonos átviteli idő esete: információ átviteli sebesség, csatornakapacitás, optimális eloszlás. Az átlagos időhossz, Kraft-Fano egyenlőtlenség. Általános zajos csatorna esete: négyzetes átviteli mátrix, Arimoto-Blahut algoritmus, általános eset additív költséggel. McMillan-felbontási tétel és a zajos kódolás kapcsolata Zajos csatorna kódolása:, (k,n)-kód, , maximum likelihood dekódolás, csoportkód, lineáris kód, szisztematikus kód, szindróma, mellékosztályok és szindrómák kapcsolata, mellékosztály és dekódolási táblázat, Speciális kódolások Analóg források és csatornák: Entrópia, I-divergencia. Speciális eloszlások entrópiája. Csatornakapacitás. Entrópia maximalizálás, véges szórású eset. | |
| Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Nappali): A félévvégi aláírás feltétele: A 7. ill. a 13. héten egy-egy elégséges szintű zárthelyi dolgozat megírása. A zárthelyi időtartama 60 perc és a megoldási szint elégséges, ha legalább egy feladat teljes megoldását tartalmazza és legalább 50% teljesítése. Ha nem sikerül, akkor pótlás az utolsó héten a megfelelő tananyagrészekből. | |
| Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Levelező): | |
| Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Nappali): A kollokvium írásbeli. Kérdezhető elméleti és gyakorlati tananyag, ami az órákon elhangzott. Az írásbeli vizsgán (időtartam 90 perc) 8 elméleti kérdés (1-1 pont) és 4 feladat (2-2 pont) van. Kiértékelés: 0-5 pont (elégtelen), 6-7 pont (elégséges), 8-9 pont (közepes), 10-11 pont (jó), 12-16 pont (jeles), ha az elméleti kérdésekből legalább 4, a feladatokból pedig legalább 2 pontja van, egyébként elégtelen. | |
| Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Levelező): | |
| Kötelező irodalom: 1. Fegyverneki Sándor: Információelmélet elektronikus jegyzet, progmat.hu honlap. 2. Györfi L., Győri S., Vajda I.: Információ- és kódelmélet. Typotex, Budapest, 2002. 3. Cover, T.M., Thomas, J.A.: Elements of Information Theory. Wiley, New York, 1991. | |
| Ajánlott irodalom: 1.Csiszár I., Fritz J.: Információelmélet. Tankönyvkiadó, Bp. 1980. (ELTE jegyzet) 2. Ködmön J.: Kriptográfia, ComputerBooks, Budapest, 1999/2000 3. Pieprzyk, J., Hardjono, T., Seberry, J.: Fundamentals of Computer Security. Springer, Berlin, 2003 4.MacKay, D.: Information Theory, Inference and Learning Algorithms. Cambridge University Press, Cambridge, 2003 Letölthető: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf | |