Жалпы, мұндай тақырып бар - мәтінді жиілік талдау. Берілген тіл үшін мағыналы мәтіндегі жеке әріптердің кездесу жиілігі тұрақты шама болып табылады деген пікір айтылады. Екі, үш (диграмма, триграмма) және төрт әріптің тіркесімі де тұрақты.
Бұл факт, атап айтқанда, шифрларды бұзу үшін криптографияда қолданылды.
Мен криптографияда өте жақсы емеспін және ойыма келетін жалғыз нәрсе - тікелей ауыстыру шифрін бұзу. Хабарламада қолданылған бастапқы әліпбидің таңбалары белгілі бір ереже бойынша басқа таңбаларға түрленетін кезде ең қарапайым шифр деп айту керек. Айтпақшы, мұндай шифрларды қолданбай ашуға болады статистикалық талдау(мұнда қатені азайту үшін өте үлкен мәтін бөліктерінің болуы міндетті түрде қажет), бірақ жай ғана кейбір сөздерді болжау арқылы - «Билейтін адамдар» әңгімесін қараңыз.
Және соңғы жанасу (міндетті емес). Кейде (әрдайым дерлік) калькулятор сипаттамамен қамтамасыз етілуі керек - параметрлері қандай, ол қандай формулаларды пайдаланады және жалпы, мұның бәрі не үшін - дәл қазір істеп жатқанымдай. Ол үшін мақала жазылады, ал калькулятор тікелей мақалаға енгізіледі. Мақала жазу үшін «Менің калькуляторларым» бөлімінің негізгі бетіндегі «Жасау...» -> «Мақала» мәзір тармағын таңдап, жазуды бастаңыз. Калькуляторды енгізу үшін асты сызылған үлкен А әрпі бар түймені басыңыз және ашылатын диалогтық терезеде жаңадан жасалған калькуляторды таңдаңыз.
Орыс алфавитіндегі ең көп таралған әріпті «o» деп атауға болады. «А» емес, бірақ барлық балалар өздерінің алғашқы сөздерін осы әріппен үйренеді: «ана», «әке» немесе «бер». «Және» емес, бірақ біз оны жалғаулық жалғау ретінде жиі қолданатын сияқтымыз.
Мәліметтер көрсеткендей, алфавиттің басқа дауысты әріптерімен салыстырғанда, жиілігі 0,1%-дан асатын «о» әрпі, мысалы, 0,07-0,08%, бұл өте көп.
Дауыссыз дыбыстардың ішінде «н» әрпі бірінші орында тұр.
Мұндай деректер NCRY – Орыс тілінің Ұлттық корпусындағы жиілікті арнайы формула арқылы талдау арқылы алынады. NKRY — жазбаша және ауызша мәтіндердің электронды мұрағаты, ол шамамен 230 миллион сөз қолданысынан тұрады.
Біздің әліпбиіміздің ең танымал әріпін ескере отырып, «таутограмма» деп аталатын қызықты құбылысты атап өткен жөн. Бұл бір әріптен басталатын әңгіме немесе өлең құрастыру керек әдеби қыздырудың бір түрі. Айтпақшы, орыс тіліндегі сөздердің көпшілігі басталатын әріп (оны қолдану жиілігімен шатастырмаңыз) «р» болып табылады, бірақ дауысты дыбыстардың арасында сөзсіз көшбасшылық біздің қазіргі сүйіктімізге жатады.
«Жалғыз. Өте. Күзгі монотондылықта сүйкімділіктің сынықтары құлап кетті. Олимп алыстағы сауда нүктесі болып қала берді. Өте шалғай. Реніштер қалды, жанасу отынан туындаған еріген жылымықтың бөртпе анықтамалары. Қалғандары теріс, теріске шығарылған, қоғамға алданған болып шықты. Күздің төлдері көл көзінің қалдықтарымен сүрініп, айналып ұшып кетті. Кейбір терезелер ашық қалды. Жеке омонимдердің ашулы іздерін тұлғаланудың қабылданбаған шапандары басып тұрады. Теңіз шырғанағының қызғылт сары реңктері жалғыздықтың үлкен көрінісімен сипатталады. Қалғаны – сүйектену, қияметтің ұйып қалуы. Аралдар сенімділік туралы эсселерден алынған анттарға толы. Салқындатқыш алдер шламы қарлығаш айқайға байланысты аттас шеңберлер құрады. Шенеунік теріс сенімділікті жоя отырып, жалпы көрініске айналды. Қоныстанған бейнелер күзгі сандырақты ренжітіп түсіндірді, керісінше алдау деп атады. Жастар объективті көзқарасты жоққа шығара отырып, сиқырлы күзді сызып тастады... Күз теңіз шырғанақтарының сарғыш сынықтарындай ұшып, шаршаған дауларды жалғыз жауаптарға қалдырды...».
Бұл күлкілі, солай емес пе? Бұл соншалықты ақымақтық емес :)
Айтпақшы, ағылшын тілінде ең көп таралған әріп «e» және дауыссыз дыбыс «t» болып табылады.
Ал, ағылшын тіліндегі таутограмма:
Минерва тәрізді айбынды Мэри қозғалады.
Заң, латын, бостандық, Люси жақсы көреді үйренді.
Элизаның талғампаздығы әр көзге таң қалдырады.
Тыныш үнсіз Сюзанның күлкілері таң қалдырды.
Ақымақтардан, ақымақтардан, жағымпаздан, ең әділ Фанни ұшады.
Баспа станогының немесе ДК пернетақтасындағы әріптердің орналасу реті кездейсоқ құрастырылмағаны, белгілі бір ережелерге бағынатыны белгілі. Осылайша, жиі қолданылатын әріптер пернетақтаның орталық бөлігінде, ал сирек кездесетін әріптер шеттерде орналасқан. Дауысты дыбыстардың дауыссыз дыбыстарға қарағанда жиі қолданылатыны да белгілі. Бұл ақпарат орыс тілінің ұлттық корпусындағы арнайы формула арқылы алынды.
Ең көп таралған дауысты дыбыстар
Бір қызығы, «о» әрпі жазбаша сөйлеуде дауысты дыбыстар арасында да, дауыссыз дыбыстар арасында да қолданыс саны бойынша көшбасшы болып табылады. Одан кейін «а» және «және» тұрады, содан кейін дауыссыз дыбыстар басталады. Мамандардың айтуынша, «о» әрпінің қолданылу жиілігі пайыздың оннан бір бөлігін құраса, басқа дауысты дыбыстардың жиілігі жетіден сегіз жүзден пайызға дейін жетеді.
Ең танымал дауыссыз дыбыстар
Ең жиі қолданылатын дауыссыз дыбыс – «n». Сонымен қатар, орыс тіліндегі сөздердің ең көп саны «p» әрпінен басталады. Дауысты дыбыстардың ішінде «о» осы негізде көшбасшы болып табылады.
Орыс тіліндегі ең сирек дауыссыз дыбыс – «ф» әрпі, одан келетін сөздерде қолданылады шет тілдері, сондай-ақ ономатопеялар, мысалы, «шорлау».
Мұндай статистика таутограммаларды құрастыру кезінде пайдалы болуы мүмкін. Бұл сөздік ойынның мәні - әр сөз бір әріптен басталуы керек үйлесімді әңгіме құру.
Бұл мақалада біз талқылауды өте бастаймыз қызықты тақырып- мәтіндік ақпаратты талдау үшін статистиканы қолдану. Мәтінді талдау үшін статистиканы пайдалану дәстүрлі тапсырма екенін ескеріңіз.
Алдымен біз біраз береміз қызықты фактілерәр түрлі тілдердегі әріптердің және олардың комбинацияларының пайда болу жиілігі туралы (толығырақ ақпаратты кітаптан қараңыз). Келесі мақалаларда біз талдаудың және графикалық бейнелеудің күрделі әдістерін қалай қолдану керектігін көрсетеміз.
Мәтіндік хабарламалардың жиілік сипаттамалары
Сонымен, мәтін сөздерден, әріптерден тұратын сөздерден тұрады. Әр тілдегі әртүрлі әріптердің саны шектеулі және әріптерді жай ғана тізімдеуге болады. Мәтіннің маңызды сипаттамалары әріптердің қайталануы, әріптердің жұптары (диаграммалар) және жалпы м-Жарайды ( м-грамма), әріптердің бір-бірімен үйлесімділігі, дауысты және дауыссыз дыбыстардың кезектесуі және басқалары. Бір қызығы, бұл сипаттамалар өте тұрақты. Біз «неге» деген сұрақты сахнаның артына қалдырамыз.
Жүйені пайдалану СТАТИСТИКАСіз бұл үлгілерді, мысалы, Интернет мәтіндерінде тексере аласыз.
Идея - әрқайсысының пайда болу санын санау n ммүмкін м-грамм жеткілікті ұзын ашық мәтіндерде Т=т 1 т 2 …т л, алфавиттің әріптерінен ( a 1 , a 2 , ..., a n). Сонымен қатар, дәйекті мМәтіннің граммасы:
t 1 t 2 ...t m , t 2 t 3 ... t m+1 , ..., t i-m+1 t l-m+2 ...t l.
Егер – көріністер саны м-грамм a i1 a i2 ...a imмәтінде Т, А Л– есептелгендердің жалпы саны м-грамм, содан кейін тәжірибе көрсеткендей, жеткілікті үлкен Лжиіліктер
бұл үшін м-граммдардың бір-бірінен айырмашылығы аз.
Осыған байланысты салыстырмалы жиілік (1) ықтималдықтың жуықтауы болып саналады П (a i1 a i2 ...a im) мұның пайда болуы м-граммалар мәтіннің кездейсоқ таңдалған жерінде (бұл тәсіл ықтималдықты статистикалық анықтауда қабылданған).
Төменде бірқатар еуропалық тілдер үшін әріп жиіліктерінің кестелері (пайызбен) берілген. Мәліметтер кітаптан алынды.
| Әліпбидің әріпі | француз | неміс | Ағылшын тілі | испан | итальян |
|---|---|---|---|---|---|
| А | 7.68 | 5.52 | 7.96 | 12.90 | 11.12 |
| Б | 0.80 | 1.56 | 1.60 | 1.03 | 1.07 |
| C | 3.32 | 2.94 | 2.84 | 4.42 | 4.11 |
| D | 3.60 | 4.91 | 4.01 | 4.67 | 3.54 |
| Е | 17.76 | 19.18 | 12.86 | 14.15 | 11.63 |
| Ф | 1.06 | 1.96 | 2.62 | 0.70 | 1.15 |
| Г | 1.10 | 3.60 | 1.99 | 1.00 | 1.73 |
| Х | 0.64 | 5.02 | 5.39 | 0.91 | 0.83 |
| I | 7.23 | 8.21 | 7.77 | 7.01 | 12.04 |
| Дж | 0.19 | 0.16 | 0.16 | 0.24 | - |
| Қ | - | 1.33 | 0.41 | - | - |
| Л | 5.89 | 3.48 | 3.51 | 5.52 | 5.95 |
| М | 2.72 | 1.69 | 2.43 | 2.55 | 2.65 |
| Н | 7.61 | 10.20 | 7.51 | 6.20 | 7.68 |
| О | 5.34 | 2.14 | 6.62 | 8.84 | 8.92 |
| П | 3.24 | 0.54 | 1.81 | 3.26 | 2.66 |
| Q | 1.34 | 0.01 | 0.17 | 1.55 | 0.48 |
| Р | 6.81 | 7.01 | 6.83 | 6.95 | 6.56 |
| С | 8.23 | 7.07 | 6.62 | 7.64 | 4.81 |
| Т | 7.30 | 5.86 | 9.72 | 4.36 | 7.07 |
| У | 6.05 | 4.22 | 2.48 | 4.00 | 3.09 |
| В | 1.27 | 0.84 | 1.15 | 0.67 | 1.67 |
| В | - | 1.38 | 1.80 | - | - |
| X | 0.54 | - | 0.17 | 0.07 | - |
| Ы | 0.21 | - | 1.52 | 1.05 | - |
| З | 0.07 | 1.17 | 0.05 | 0.31 | 1.24 |
Әртүрлі көздерде берілген кестелердегі жиілік мәндеріндегі кейбір айырмашылықтар жиіліктердің мәтіннің ұзындығына ғана емес, оның табиғатына да айтарлықтай тәуелді екендігімен түсіндіріледі. Мысалы, техникалық мәтіндерде сирек кездесетін әріп Ффункция, дифференциал, диффузия, коэффициент, т.б. сөздердің жиі қолданылуына байланысты біршама кең тарауы мүмкін.
Кейбіреулерінде жеке әріптерді қолдану жиілігінде нормадан бұдан да үлкен ауытқулар байқалады өнер туындылары, әсіресе поэзияда. Сондықтан, әріптердің орташа жиілігін сенімді анықтау үшін әртүрлі көздерден алынған әртүрлі мәтіндердің жиынтығы болғаны жөн. Алайда, әдетте, мұндай ауытқулар елеусіз және бірінші жақындау үшін оларды елемеуге болады.
Әріптердің жиіліктерінің көрнекі көрінісі пайда болу диаграммасымен берілген. Сонымен, ағылшын тілі үшін кестеге сәйкес мұндай диаграмма 1-суретте көрсетілген. Оны құру үшін біз жүйені қолдандық СТАТИСТИКА.
Орыс тілі үшін олар анықталған алфавит таңбаларының жиіліктері (кему ретімен) Ев Йо, ббірге Коммерсант, сонымен қатар сөздер арасында бос орын (-) белгісі бар, келесі кестеде берілген (қараңыз).
| -
0.175 | ТУРАЛЫ
0.090 | ОНЫ
0.072 | А
0.062 |
| ЖӘНЕ
0.062 | Т
0.053 | Н
0.053 | МЕН
0.045 |
| Р
0.040 | IN
0.038 | Л
0.035 | TO
0.028 |
| М
0.026 | D
0.025 | П
0.023 | У
0.021 |
| I
0.018 | Ы
0.016 | З
0.016 | б, б
0.014 |
| Б
0.014 | Г
0.013 | Х
0.012 | Ы
0.010 |
| X
0.009 | ЖӘНЕ
0.007 | Ю
0.006 | Ш
0.006 |
| C
0.004 | SCH
0.003 | Е
0.003 | Ф
0.002 |
Кесте негізінде келесі жиілік диаграммасын аламыз (2-сурет).
Орыс алфавитіндегі ең көп таралған он әріпті есте сақтаудың мнемоникалық ережесі бар. Бұл әріптер SENOVALITER деген күлкілі сөзді құрайды. Сіз сондай-ақ ағылшын тіліндегі жалпы әріптерді есте сақтаудың ұқсас әдісін ұсына аласыз, мысалы, TETRIS-HONDA сөзін (кестені қараңыз).
Биграмма, триграмма және төрт грамм мағыналы мәтіндердің жиілік сипаттамалары да тұрақты.
Мұнда орыс тіліне арналған биграмма жиіліктерінің кестелері берілген Ағылшын тілдері(кітаптан алынған кестелер). Ыңғайлы болу үшін олар келесі схемаға сәйкес төрт бөлікке бөлінеді:
| 1-бөлім | 2-бөлім |
| 3-бөлім | 4-бөлім |
|
1-бөлім |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| А | Б | IN | Г | D | Е | ЖӘНЕ | З | ЖӘНЕ | Ы | TO | Л | М | Н | ТУРАЛЫ | П | |
| А | 2 | 12 | 35 | 8 | 14 | 7 | 6 | 15 | 7 | 7 | 19 | 27 | 19 | 45 | 5 | 11 |
| Б | 5 | 9 | 1 | 6 | 6 | 2 | 21 | |||||||||
| IN | 35 | 1 | 5 | 3 | 3 | 32 | 2 | 17 | 7 | 10 | 3 | 9 | 58 | 6 | ||
| Г | 7 | 3 | 3 | 5 | 1 | 5 | 1 | 50 | ||||||||
| D | 25 | 3 | 1 | 1 | 29 | 1 | 1 | 13 | 1 | 5 | 1 | 13 | 22 | 3 | ||
| Е | 2 | 9 | 18 | 11 | 27 | 7 | 5 | 10 | 6 | 15 | 13 | 35 | 24 | 63 | 7 | 16 |
| ЖӘНЕ | 5 | 1 | 6 | 12 | 5 | 6 | ||||||||||
| З | 35 | 1 | 7 | 1 | 5 | 3 | 4 | 2 | 1 | 2 | 9 | 9 | 1 | |||
| ЖӘНЕ | 4 | 6 | 22 | 5 | 10 | 21 | 2 | 23 | 19 | 11 | 19 | 21 | 20 | 32 | 8 | 13 |
| Ы | 1 | 1 | 4 | 1 | 3 | 1 | 2 | 4 | 5 | 1 | 2 | 7 | 9 | 7 | ||
| TO | 24 | 1 | 4 | 1 | 4 | 1 | 1 | 26 | 1 | 4 | 1 | 2 | 66 | 2 | ||
| Л | 25 | 1 | 1 | 1 | 1 | 33 | 2 | 1 | 36 | 1 | 2 | 1 | 8 | 30 | 2 | |
| М | 18 | 2 | 4 | 1 | 1 | 21 | 1 | 2 | 23 | 3 | 1 | 3 | 7 | 19 | 5 | |
| Н | 54 | 1 | 2 | 3 | 3 | 34 | 58 | 3 | 1 | 24 | 67 | 2 | ||||
| ТУРАЛЫ | 1 | 28 | 84 | 32 | 47 | 15 | 7 | 18 | 12 | 29 | 19 | 41 | 38 | 30 | 9 | 18 |
| П | 7 | 15 | 4 | 9 | 1 | 46 | ||||||||||
|
2-бөлім |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Р | МЕН | Т | У | Ф | X | C | Х | Ш | SCH | Ы | б | Е | Ю | I | |
| А | 26 | 31 | 27 | 3 | 1 | 10 | 6 | 7 | 10 | 1 | 2 | 6 | 9 | ||
| Б | 8 | 1 | 6 | 1 | 11 | 2 | |||||||||
| IN | 6 | 19 | 6 | 7 | 1 | 1 | 2 | 4 | 1 | 18 | 1 | 2 | 3 | ||
| Г | 7 | 2 | |||||||||||||
| D | 6 | 8 | 1 | 10 | 1 | 1 | 1 | 5 | 1 | 1 | |||||
| Е | 39 | 37 | 33 | 3 | 1 | 8 | 3 | 7 | 3 | 3 | 1 | 1 | 2 | ||
| ЖӘНЕ | 1 | ||||||||||||||
| З | 3 | 1 | 2 | 4 | 4 | ||||||||||
| ЖӘНЕ | 11 | 29 | 29 | 3 | 1 | 17 | 3 | 11 | 1 | 1 | 1 | 3 | 17 | ||
| Ы | 3 | 10 | 2 | 1 | 3 | 2 | |||||||||
| TO | 10 | 3 | 7 | 10 | 1 | ||||||||||
| Л | 3 | 1 | 6 | 4 | 1 | 3 | 20 | 4 | 9 | ||||||
| М | 2 | 5 | 3 | 9 | 1 | 2 | 5 | 1 | 1 | 3 | |||||
| Н | 1 | 9 | 9 | 7 | 1 | 5 | 2 | 36 | 3 | 5 | |||||
| ТУРАЛЫ | 43 | 50 | 39 | 3 | 2 | 5 | 2 | 12 | 4 | 3 | 2 | 3 | 2 | ||
| П | 41 | 1 | 6 | 2 | 2 | ||||||||||
|
3-бөлім |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| А | Б | IN | Г | D | Е | ЖӘНЕ | З | ЖӘНЕ | Ы | TO | Л | М | Н | ТУРАЛЫ | П | |
| Р | 55 | 1 | 4 | 4 | 3 | 37 | 3 | 1 | 24 | 3 | 1 | 3 | 7 | 56 | 2 | |
| МЕН | 8 | 1 | 7 | 1 | 2 | 25 | 6 | 40 | 13 | 3 | 9 | 27 | 11 | |||
| Т | 35 | 1 | 27 | 1 | 3 | 31 | 1 | 28 | 5 | 1 | 1 | 11 | 56 | 4 | ||
| У | 1 | 4 | 4 | 4 | 11 | 2 | 6 | 3 | 2 | 8 | 5 | 5 | 5 | 1 | 5 | |
| Ф | 2 | 2 | 2 | 1 | ||||||||||||
| X | 4 | 1 | 4 | 1 | 3 | 1 | 2 | 3 | 4 | 3 | 3 | 4 | 18 | 5 | ||
| C | 3 | 7 | 10 | 2 | 1 | |||||||||||
| Х | 12 | 23 | 13 | 2 | 6 | |||||||||||
| Ш | 5 | 11 | 14 | 1 | 2 | 2 | 2 | |||||||||
| SCH | 3 | 8 | 6 | 1 | ||||||||||||
| Ы | 1 | 9 | 1 | 3 | 12 | 2 | 4 | 7 | 3 | 6 | 6 | 3 | 2 | 10 | ||
| б | 2 | 4 | 1 | 1 | 2 | 2 | 2 | 6 | 3 | 13 | 2 | 4 | ||||
| Е | 1 | 1 | ||||||||||||||
| Ю | 2 | 1 | 2 | 1 | 3 | 1 | 1 | 1 | 1 | 1 | 3 | |||||
| I | 1 | 3 | 9 | 1 | 3 | 3 | 1 | 5 | 3 | 2 | 3 | 3 | 4 | 6 | 3 | 6 |
|
4-бөлім |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Р | МЕН | Т | У | Ф | X | C | Х | Ш | SCH | Ы | б | Е | Ю | I | |
| Р | 1 | 5 | 9 | 16 | 1 | 1 | 1 | 2 | 8 | 3 | 5 | ||||
| МЕН | 4 | 11 | 82 | 6 | 1 | 1 | 2 | 2 | 1 | 8 | 17 | ||||
| Т | 26 | 18 | 2 | 10 | 1 | 11 | 21 | 4 | |||||||
| У | 7 | 14 | 7 | 1 | 8 | 3 | 2 | 9 | 1 | ||||||
| Ф | 1 | 1 | |||||||||||||
| X | 3 | 4 | 2 | 2 | 1 | 1 | |||||||||
| C | 1 | 1 | |||||||||||||
| Х | 7 | 1 | 1 | 1 | |||||||||||
| Ш | 1 | 1 | |||||||||||||
| SCH | 1 | ||||||||||||||
| Ы | 3 | 9 | 4 | 1 | 16 | 1 | 2 | ||||||||
| б | 1 | 11 | 3 | 1 | 4 | 1 | 3 | 1 | |||||||
| Е | 1 | 9 | |||||||||||||
| Ю | 1 | 1 | 7 | 1 | 1 | 4 | |||||||||
| I | 3 | 6 | 10 | 2 | 1 | 4 | 1 | 1 | 1 | 1 | 1 | ||||
Керемет үстелдер к-грамды компакт-дискілердегі көптеген кітаптардың электронды нұсқаларының мәтіндерін пайдалану арқылы алу оңай.
Ашық мәтіндер туралы дәлірек ақпарат алу үшін кестелерді құруға және талдауға болады к- грамм к>2, бірақ білім беру мақсатында биграммалармен шектелу жеткілікті. Біркелкі емес к-граммен (тіпті сөздермен) тығыз байланысты тән ерекшелігіашық мәтін – ондағы жеке мәтін фрагменттерінің: түбірлердің, жалғаулардың, жұрнақтардың, сөздер мен сөз тіркестерінің көп қайталануларының болуы. Сонымен, орыс тілі үшін мұндай таныс фрагменттер ең көп таралған биграммалар мен триграммалар болып табылады:
ST, BUT, EN, TO, NA, OV, NI, RA, VO, KO
STO, ENO, NOV, TOV, OVO, OVA
Әріптердің үйлесімділігі туралы, яғни әріптердің бір-бірімен қолайлы байланыстары туралы ақпарат пайдалы, оны биграмдық жиілік кестелерінен оңай алуға болады.
Бұл әр әріптің сол және оң жағында (тиісті биграммалардың жиілігінің кему реті бойынша) ең қолайлы «көршілер» орналасқан кестеге қатысты. Мұндай кестелер әдетте берілген әріптің алдындағы (немесе одан кейінгі) дауыстылар мен дауыссыз дыбыстардың (пайызбен) үлесін де көрсетеді.
Орыс әріптерінің тіркесімі:
| Г | МЕН | Солға | Дұрыс | Г | МЕН | |
|---|---|---|---|---|---|---|
| 3 | 97 | l, d, k, t, v, r, n | А | л, п, с, т, р, в, к, м | 12 | 88 |
| 80 | 20 | и, е, у, и, а, о | Б | о, с, е, а, р, у | 81 | 19 |
| 68 | 32 | i, t, a, e, i, o | IN | о, а, мен, с, с, п, л, р | 60 | 40 |
| 78 | 22 | r, y, a, i, e, o | Г | o, a, p, l, i, v | 69 | 31 |
| 72 | 28 | r, i, y, a, i, e, o | D | e, a, i, o, n, y, p, v | 68 | 32 |
| 19 | 81 | m, i, l, d, t, r, n | Е | n, t, r, s, l, v, m, i | 12 | 88 |
| 83 | 17 | r, e, i, a, y, o | ЖӘНЕ | e, i, d, a, n | 71 | 29 |
| 89 | 11 | o, e, a, және | З | a, n, c, o, m, d | 51 | 49 |
| 27 | 73 | r, t, m, i, o, l, n | ЖӘНЕ | s, n, c, i, e, m, k, h | 25 | 75 |
| 55 | 45 | b, v, e, o, a, i, s | TO | o, a, i, p, y, t, l, e | 73 | 27 |
| 77 | 23 | g, v, s, i, e, o, a | Л | и, е, о, а, б, и, ю, у | 75 | 25 |
| 80 | 20 | i, s, a, i, e, o | М | и, е, о, у, а, п, п, с | 73 | 27 |
| 55 | 45 | d, b, n, o | Н | о, а, и, е, с, п, у | 80 | 20 |
| 11 | 89 | r, p, k, v, t, n | ТУРАЛЫ | c, s, t, r, i, d, n, m | 15 | 85 |
| 65 | 35 | ішінде, бірге, у, а, мен, е, о | П | o, p, e, a, y, i, l | 68 | 32 |
| 55 | 45 | i, k, t, a, p, o, e | Р | a, e, o, i, y, i, s, n | 80 | 20 |
| 69 | 31 | s, t, v, a, e, i, o | МЕН | t, k, o, i, e, b, s, n | 32 | 68 |
| 57 | 43 | h, y, i, a, e, o, s | Т | o, a, e, i, b, v, r, s | 63 | 37 |
| 15 | 85 | p, t, k, d, n, m, r | У | t, p, s, d, n, y, w | 16 | 84 |
| 70 | 30 | n, a, e, o, және | Ф | және, e, o, a, e, o, a | 81 | 19 |
| 90 | 10 | y, e, o, a, s, және | X | o, i, s, n, v, p, r | 43 | 57 |
| 69 | 31 | e, yu, n, a, және | C | i, e, a, s | 93 | 7 |
| 82 | 18 | e, a, y, i, o | Х | e, i, t, n | 66 | 34 |
| 67 | 33 | b, y, s, e, o, a, i, v | Ш | e, i, n, a, o, l | 68 | 32 |
| 84 | 16 | e, b, a, i, y | SCH | e, i, a | 97 | 3 |
| 0 | 100 | m, r, t, s, b, c, n | Ы | l, x, e, m, i, v, s, n | 56 | 44 |
| 0 | 100 | n, s, t, l | б | n, k, v, p, s, e, o, және | 24 | 76 |
| 14 | 86 | с, с, м, л, д, т, р, п | Е | n, t, r, s, k | 0 | 100 |
| 58 | 42 | b, o, a, i, l, y | Ю | d, t, sch, c, n, p | 11 | 89 |
| 43 | 57 | o, n, r, l, a, i, s | I | v, s, t, p, d, k, m, l | 16 | 84 |
Әріптердің бір-бірімен үйлесімділігін талдағанда, қарапайым мәтіндегі әріптердің пайда болуының алдыңғы әріптердің айтарлықтай санына тәуелділігін есте ұстаған жөн. Бұл заңдылықтарды талдау үшін шартты ықтималдық түсінігі қолданылады.
Ашық мәтіндерді бақылау шартты ықтималдықтар үшін келесі теңсіздіктер орындалатынын көрсетеді: p(a i1)≠p(a i1 /a i2), p(a i1 /a i2)≠p(a i1 /a i2 a i3),....
Алфавиттің қарапайым мәтіндегі әріптерінің алдыңғы әріптерге тәуелділігі туралы мәселені белгілі орыс математигі А.А.Марков (1856 – 1922) жүйелі түрде зерттеген. Ашық мәтіндегі әріптердің кездесуін бір-бірінен тәуелсіз деп санауға болмайтынын дәлелдеді. Осыған байланысты А.А.Марков ашық мәтіндердің дауысты және дауыссыз дыбыстардың кезектесуімен байланысты тағы бір тұрақты үлгісін атап өтті. Ол дауысты-дауысты биграммалардың кездесу жиілігін есептеді ( Г, Г), дауысты-дауыссыз ( Г, бірге), дауыссыз дыбыс ( бірге, Г), дауыссыз-дауыссыз ( бірге, бірге) ұзындығы 10 5 таңбадан тұратын орыс тіліндегі мәтін. Есептеу нәтижелері келесі кестеде көрсетілген:
| Г | МЕН | Барлығы | |
|---|---|---|---|
| Г | 6588 | 38310 | 44898 |
| МЕН | 38296 | 16806 | 55102 |
Бұл кестеден орыс тілі дауыстылар мен дауыссыз дыбыстардың кезектесуімен сипатталатынын көруге болады, ал салыстырмалы жиіліктер сәйкес шартты және шартсыз ықтималдықтардың жуықтауы ретінде қызмет ете алады:
б(Г/бірге)≈0.663, б(бірге/Г)≈0.872,
б(Г)≈0.432, б(бірге)≈0.568.
А.А.Марковтан кейін мәтіндегі әріптердің пайда болу тәуелділігін алдыңғы бірнеше әріптерден кейін К.Шэннон ақпарат теориясының әдістерімен зерттеген. Шын мәнінде, олар, атап айтқанда, мұндай тәуелділіктің шамамен 30 таңба тереңдігінде байқалатынын көрсетті, содан кейін ол іс жүзінде жоқ.
Көркем мәтіндегі дауысты дыбыстардың үлесі:
Жоғарыда келтірілген үлгілер адамдар арасындағы қарым-қатынаста қолданылатын қарапайым «оқылатын» ашық мәтіндерге қатысты. Жоғарыда айтылғандай, бұл үлгілер криптоталдауда үлкен рөл атқарады. Атап айтқанда, олар хабарламалар ағынында ашық мәтінді тану мәселесінде математикалық статистика әдістерін қолдануға мүмкіндік беретін ашық мәтіннің формалды критерийлерін құруда қолданылады. Арнайы алфавиттерді пайдалану кезінде, мысалы, машинадан машинаға ақпарат алмасу кезінде немесе деректерді беру жүйелерінде пайда болатын «ашық мәтіндердің» жиілік сипаттамаларының ұқсас зерттеулері қажет. Мұндай жағдайларда «анық мәтін» үшін формальды критерийлерді құру әлдеқайда қиын міндет болып табылады.
Мысал ретінде әріптердің жиілік сипаттамаларын келтірейік Ағылшын алфавиті, ASCII кодына енгізілген.
Криптографиядан басқа ашық хабарламалардың жиілік сипаттамалары басқа салаларда айтарлықтай қолданылады. Мысалы, компьютер пернетақтасы, жазу машинкасы немесе Linotype - бұл әліпбидің әріптерінің бір-біріне қатысты орналасуын олардың қолдану жиілігіне байланысты оңтайландырумен байланысты теруді жылдамдату идеясының тамаша іске асуы.
Әдебиет:
Алферов А.П. және т.б., «Криптография»
Яглом А.М., Яглом И.М., Ықтималдық және ақпарат, М.: Наука, 1973.
Бодуэн С., Криптографияның элементтері / Ред. Педоне А. – Париж, 1939 ж.
Фридман В.Ф., Каллимахос Д., Әскери криптоанализ, 1-бөлім, 2-том, Эгей саябағы баспасөзі, Лагуна Хилс CA, 1920 ж.
Орыс тілінде қай әріп жиі қолданылады? Ал білудің ең оңай жолы қандай және ең жақсы жауап алды
Виктор Эдиновичтің жауабы[гуру]
Жалғыз дұрыс жауап! Кезінде кез келген типограф теру кезінде қай қаріптің (әріптің) көп қолданылатынын өз тәжірибесінен білетін.
Виктор Эдинович
Ағартылған
(38377)
Жоқ. Тек мен бұрынғы энциклопедист ғалыммын...
Жауап беру Елизавета Венцевич[гуру]
Мен «А» деп ойлаймын.
Жауап беру Александра Лапикова[гуру]
жазушы пернетақтасының тозу дәрежесіне қарай
Жауап беру ЙолаФка[гуру]
букаФка АААААААААААА))))
Жауап беру БОБА БОБАХОБ[гуру]
«Х» әрпі дәлел деп ойлаймын? жай ғана көшеде серуендеңіз
Жауап беру *
[сарапшы]
ең жиі қолданылатын 3 әріп - U Y X
Жауап беру Қосулы[гуру]
мүмкін Коммерсант
Жауап беру Дюсмикеев Валерий[гуру]
А әрпі
Жауап беру &Ъ[гуру]
Барлығы қалай әзілдейді. Әрине, О әрпі!!!
Жауап беру Павел Макагонов[гуру]
О, одан кейін Е, одан кейін мен, одан кейін А. Содан кейін дауыссыз дыбыстар N, T, S, R, т.б.
Маған көптеген мәтіндер негізінде математиканы орындауға тура келді. Бұзақыларға сенбеңіз.
Жауап беру Елена құлпынай[белсенді]
Әрине R әрпі. Себебі ол пернетақтаның ортасында!! ! 🙂
Жауап беру Inga zajontz[гуру]
біз кез келген сөздікті аламыз, көбіне «р» әрпінен басталатын сөздер, «р» әрпінен кейін, «о» әрпінен кейін, «Т» әрпінен кейін, соңында орыс тіліне ең тән сөз — кеңдік пен қарапайымдылық.
Даль бойынша
Жауап беру Александр Райзер[гуру]
Орыс тілінің қай әріпі жиі кездесетінін анықтауға тырысыңыз?
О әрпі. Пайда болу жиілігі – 0,090. Яғни, 1000 әріп қатарында О әрпі орта есеппен 90 рет шығады.
Қандай әріптер жетекші орындарды алады және жиі кездеседі?
Дауысты дыбыстар. Олар орыс тілінде жиі кездесетін, сөйлеуімізді «әуезді» етеді. Одан кейін Е және Е әріптері (бірге олар бір-бірінен ажыратылмайды, өйткені жазу кезінде олар жиі Е жоғалтады). Пайда болу жиілігі – 0,072. Олардың артында A және I әріптері бар. Олардың әрқайсысының пайда болу жиілігі 0,062.
Бұл мәтінді декодтау үшін жеткілікті ме? Негізінде, иә, егер кодтар тізбегі бізге белгілі немесе белгісіз кейбір кодтауларда орыс тіліндегі мәтінді қамтитынына сенімді болсақ. Бірақ ұсынылған кодтар тізбегі орыс тіліне ешқандай қатысы жоқ деген ықтималдық әрқашан бар. Мұны тексеру үшін орыс тіліндегі сөздердің жиілік сөздігін пайдалану қажет.
Орыс тілінде қандай сөз жиі кездеседі деп ойлайсыз?
I жалғаулығынан кейін бірдей қысқа сөйлем мүшелері - IN, NOT, OH, ON. Бірақ көбінесе, әрине, олқылық болады.
Дешифрленген мәтін жиілік сөздігін пайдаланып сәйкестікке тексерілуі керек. Тек азды-көпті толық сәйкестікпен ғана біз орыс тілінде жазылған мәтінмен айналысамыз деп айта аламыз.
Бұл мәтін жеткілікті үлкен болса, 100% нәтиже береді. Егер біз бірнеше сөз туралы айтатын болсақ, онда әріптердің жиілігі (және одан да көп сөздер) бұзылуы мүмкін. Бұл жағдайда не істеу керек? Оқырманға таңдаудың бірнеше нұсқасын ұсынуымыз керек. Ең көп таралған дауысты әріптердің бірін пайдаланып мәтінді декодтау. Дауысты дыбыстар! Олар әрқашан басқа әріптерге қарағанда жиі пайда болады. Егер мәтін орыс тілінде кодталған болса, онда табысқа кепілдік беріледі.