Secara umum, ada topik seperti itu - analisis frekuensi teks. Dikatakan bahwa untuk bahasa tertentu, frekuensi kemunculan huruf-huruf individual dalam teks yang bermakna adalah nilai yang stabil. Kombinasi dua, tiga (digram, trigram) dan empat huruf juga stabil.
Fakta ini, khususnya, digunakan dalam kriptografi untuk memecahkan sandi.
Saya tidak pandai kriptografi, dan satu-satunya hal yang terlintas dalam pikiran saya adalah memecahkan sandi substitusi langsung. Harus dikatakan bahwa sandi yang paling primitif adalah ketika karakter alfabet asli yang digunakan dalam pesan diubah menjadi karakter lain menurut aturan tertentu. Omong-omong, sandi seperti itu bisa dibuka tanpa menggunakan analisis statistik(dimana, untuk mengurangi kesalahan, jelas diperlukan adanya potongan teks yang agak besar), tetapi cukup dengan menebak beberapa kata - lihat cerita “The Dancing Men”.
Dan sentuhan terakhir (opsional). Terkadang (hampir selalu) kalkulator perlu dilengkapi dengan deskripsi - apa saja parameternya, rumus apa yang digunakannya, dan secara umum, mengapa semua ini diperlukan - seperti yang saya lakukan sekarang. Untuk melakukan ini, sebuah artikel ditulis, dan kalkulator dimasukkan langsung ke dalam artikel. Untuk menulis artikel, pilih item menu “Buat…” -> “Artikel” di halaman utama bagian “Kalkulator Saya” dan mulailah menulis. Untuk menyisipkan kalkulator, tekan tombol dengan huruf A besar yang digarisbawahi dan pilih kalkulator yang baru dibuat pada dialog yang terbuka.
Huruf paling umum dalam alfabet Rusia dapat dengan aman disebut “o”. Bukan “a”, meskipun semua anak mempelajari kata pertama mereka dengan huruf ini: “ibu”, “ayah”, atau “memberi”. Bukan “dan”, meskipun sepertinya kita sering menggunakannya sebagai konjungsi penghubung.
Data menunjukkan, huruf “o” lah yang frekuensinya melebihi 0,1%, dibandingkan huruf vokal alfabet lainnya yang frekuensinya misalnya 0,07-0,08%, cukup banyak.
Di antara huruf konsonan, huruf “n” didahulukan.
Data tersebut diperoleh dengan menganalisis frekuensi di NCRY - Korpus Nasional Bahasa Rusia, menggunakan rumus khusus. NKRY adalah arsip elektronik teks tertulis dan lisan, yang terdiri dari sekitar 230 juta penggunaan kata.
Mengingat huruf paling populer dalam alfabet kita, ada baiknya menyebutkan fenomena menarik yang disebut “tautogram”. Ini adalah semacam pemanasan sastra di mana Anda perlu membuat cerita atau puisi yang dimulai dengan huruf yang sama. Ngomong-ngomong, huruf yang mengawali sebagian besar kata dalam bahasa Rusia (jangan bingung dengan frekuensi penggunaan) adalah "p", tetapi di antara huruf vokal, kepemimpinan yang tidak diragukan lagi adalah favorit kami saat ini.
"Sendiri. Sangat. Fragmen pesona menghilang dalam monoton musim gugur. Olympus tetap menjadi jalan keluar yang jauh. Sangat terpencil. Kebencian tetap ada, definisi gegabah tentang pencairan yang disebabkan oleh api sentuhan. Selebihnya ternyata negatif, ditolak, ditipu masyarakat. Keturunan musim gugur tersandung dan terbang bersama sisa-sisa mata danau. Beberapa jendela tetap terbuka. Jejak marah dari homonim individu dibayangi oleh jubah personifikasi yang ditolak. Warna oranye buckthorn laut menggambarkan cerminan kesepian yang sangat besar. Sisanya adalah pengerasan, mati rasa akibat malapetaka. Pulau-pulau tersebut ditumbuhi sumpah-sumpah dari esai tentang kepastian. Stek alder yang mendingin membentuk lingkaran dengan nama yang sama, karena tangisannya yang parau. Pejabat itu berubah menjadi cerminan umum, menghapuskan kepastian negatif. Gambar-gambar yang menetap dengan kesal menjelaskan omong kosong musim gugur, menyebut yang sebaliknya sebagai penipuan. Para pemuda dengan putus asa menggambarkan musim gugur yang mempesona, menyangkal sikap obyektif... Musim gugur beterbangan seperti pecahan jeruk buckthorn laut, meninggalkan perselisihan yang melelahkan menjadi jawaban yang sepi..."
Lucu sekali, bukan? Lagipula itu bukan omong kosong :)
Ngomong-ngomong, dalam bahasa Inggris huruf yang paling umum adalah “e”. Dan konsonannya adalah “t”
Nah, dan tautogram dalam bahasa Inggris:
Gerakan Maria yang agung seperti Minerva.
Hukum, Latin, Kebebasan, terpelajar yang disukai Lucy.
Keanggunan Eliza terlihat setiap mata.
Senyum Susan yang hening dan hening mengejutkan.
Dari pesolek, bodoh, sanjungan, Fanny tercantik terbang.
Diketahui bahwa tata letak huruf pada keyboard mesin cetak atau PC tidak disusun secara acak, melainkan mengikuti aturan tertentu. Jadi, huruf yang paling sering digunakan terletak di bagian tengah keyboard, dan huruf yang jarang digunakan terletak di bagian tepinya. Diketahui juga bahwa vokal lebih sering digunakan daripada konsonan. Informasi ini diperoleh dengan menggunakan formula khusus di Korpus Nasional Bahasa Rusia.
Vokal yang paling umum
Anehnya, huruf “o” adalah yang terdepan dalam jumlah penggunaan dalam pidato tertulis, baik di antara vokal maupun di antara konsonan. Diikuti oleh “a” dan “dan”, dan setelah itu konsonan dimulai. Menurut para ahli, frekuensi penggunaan huruf “o” adalah sepersepuluh persen, sedangkan frekuensi penggunaan huruf vokal lainnya berkisar antara tujuh hingga delapan perseratus persen.
Konsonan paling populer
Konsonan yang paling umum digunakan adalah "n". Selain itu, jumlah kata terbanyak dalam bahasa Rusia dimulai dengan huruf “p”. Di antara vokal, “o” adalah pemimpin atas dasar ini.
Konsonan paling langka dalam pidato Rusia adalah huruf “f”, yang digunakan pada kata-kata asal bahasa asing, serta onomatopoeia, seperti “mendengus”.
Statistik tersebut dapat berguna saat menyusun tautogram. Inti dari permainan kata ini adalah untuk menciptakan cerita yang koheren, setiap kata harus dimulai dengan huruf yang sama.
Pada artikel ini kita akan memulai pembahasannya secara ekstrim topik yang menarik- penerapan statistik untuk menganalisis informasi teks. Perhatikan bahwa penggunaan statistik untuk analisis teks adalah tugas tradisional.
Pertama kami akan memberikan beberapa fakta menarik mengenai frekuensi kemunculan huruf dan kombinasinya dalam berbagai bahasa (lebih jelasnya lihat buku). Pada artikel selanjutnya kami akan menunjukkan bagaimana menerapkan metode analisis dan representasi grafis yang lebih kompleks.
Karakteristik frekuensi pesan teks
Jadi, teks terdiri dari kata-kata, kata-kata dari huruf. Jumlah huruf yang berbeda dalam setiap bahasa dibatasi dan huruf-huruf tersebut dapat dicantumkan dengan mudah. Ciri-ciri penting teks adalah pengulangan huruf, pasangan huruf (digram) dan secara umum M-OKE ( M-gram), kecocokan huruf satu sama lain, pergantian vokal dan konsonan dan beberapa lainnya. Sungguh luar biasa bahwa karakteristik ini cukup stabil. Kami meninggalkan pertanyaan “mengapa” di balik layar.
Menggunakan sistem STATISTIK Anda dapat memeriksa pola-pola ini, misalnya, dalam teks Internet.
Idenya adalah menghitung jumlah kemunculan masing-masing nm mungkin M-gram dalam teks biasa yang cukup panjang T=t 1 t 2 …tl, terdiri dari huruf-huruf alfabet ( sebuah 1 , sebuah 2 , ..., sebuah n). Pada saat yang sama, berturut-turut M-gram teks:
t 1 t 2 ...t m , t 2 t 3 ... t m+1 , ..., t i-m+1 t l-m+2 ...t l.
Jika – jumlah penampilan M-gram sebuah i1 sebuah i2 ...sebuah im dalam teks T, A L– jumlah total yang dihitung M-gram, maka pengalaman menunjukkan bahwa untuk cukup besar L frekuensi
untuk ini M-gram sedikit berbeda satu sama lain.
Oleh karena itu, frekuensi relatif (1) dianggap sebagai perkiraan probabilitas P (sebuah i1 sebuah i2 ...sebuah im) penampilan ini M-gram di tempat yang dipilih secara acak dalam teks (pendekatan ini diadopsi dalam penentuan statistik probabilitas).
Di bawah ini adalah tabel frekuensi huruf (dalam persentase) untuk sejumlah bahasa Eropa. Data diambil dari buku.
| Huruf alfabet | Perancis | Jerman | bahasa Inggris | Spanyol | Italia |
|---|---|---|---|---|---|
| A | 7.68 | 5.52 | 7.96 | 12.90 | 11.12 |
| B | 0.80 | 1.56 | 1.60 | 1.03 | 1.07 |
| C | 3.32 | 2.94 | 2.84 | 4.42 | 4.11 |
| D | 3.60 | 4.91 | 4.01 | 4.67 | 3.54 |
| E | 17.76 | 19.18 | 12.86 | 14.15 | 11.63 |
| F | 1.06 | 1.96 | 2.62 | 0.70 | 1.15 |
| G | 1.10 | 3.60 | 1.99 | 1.00 | 1.73 |
| H | 0.64 | 5.02 | 5.39 | 0.91 | 0.83 |
| SAYA | 7.23 | 8.21 | 7.77 | 7.01 | 12.04 |
| J | 0.19 | 0.16 | 0.16 | 0.24 | - |
| K | - | 1.33 | 0.41 | - | - |
| L | 5.89 | 3.48 | 3.51 | 5.52 | 5.95 |
| M | 2.72 | 1.69 | 2.43 | 2.55 | 2.65 |
| N | 7.61 | 10.20 | 7.51 | 6.20 | 7.68 |
| HAI | 5.34 | 2.14 | 6.62 | 8.84 | 8.92 |
| P | 3.24 | 0.54 | 1.81 | 3.26 | 2.66 |
| Q | 1.34 | 0.01 | 0.17 | 1.55 | 0.48 |
| R | 6.81 | 7.01 | 6.83 | 6.95 | 6.56 |
| S | 8.23 | 7.07 | 6.62 | 7.64 | 4.81 |
| T | 7.30 | 5.86 | 9.72 | 4.36 | 7.07 |
| kamu | 6.05 | 4.22 | 2.48 | 4.00 | 3.09 |
| V | 1.27 | 0.84 | 1.15 | 0.67 | 1.67 |
| W | - | 1.38 | 1.80 | - | - |
| X | 0.54 | - | 0.17 | 0.07 | - |
| Y | 0.21 | - | 1.52 | 1.05 | - |
| Z | 0.07 | 1.17 | 0.05 | 0.31 | 1.24 |
Beberapa perbedaan nilai frekuensi dalam tabel yang diberikan di berbagai sumber dijelaskan oleh fakta bahwa frekuensi sangat bergantung tidak hanya pada panjang teks, tetapi juga pada sifatnya. Misalnya dalam teks teknis huruf langka F bisa menjadi sangat umum karena seringnya penggunaan kata-kata seperti fungsi, diferensial, difusi, koefisien, dll.
Penyimpangan yang lebih besar dari norma dalam frekuensi penggunaan huruf individual diamati di beberapa negara karya seni, khususnya dalam puisi. Oleh karena itu, untuk menentukan frekuensi rata-rata huruf secara andal, diinginkan untuk memiliki sekumpulan teks berbeda yang dipinjam dari berbagai sumber. Namun, sebagai aturan, penyimpangan tersebut tidak signifikan, dan pada perkiraan pertama penyimpangan tersebut dapat diabaikan.
Representasi visual dari frekuensi huruf diberikan oleh diagram kejadian. Jadi, untuk bahasa Inggris, sesuai dengan tabel, diagram seperti itu ditunjukkan pada Gambar 1. Untuk membangunnya, kami menggunakan sistem STATISTIK.
Untuk bahasa Rusia, frekuensi (dalam urutan menurun) dari karakter alfabet tempat mereka diidentifikasi E C Yo, B Dengan Kommersant, dan juga terdapat tanda spasi (-) di antara kata, disajikan pada tabel berikut (lihat).
| -
0.175 | TENTANG
0.090 | DIA
0.072 | A
0.062 |
| DAN
0.062 | T
0.053 | N
0.053 | DENGAN
0.045 |
| R
0.040 | DI DALAM
0.038 | L
0.035 | KE
0.028 |
| M
0.026 | D
0.025 | P
0.023 | kamu
0.021 |
| SAYA
0.018 | Y
0.016 | Z
0.016 | b, b
0.014 |
| B
0.014 | G
0.013 | H
0.012 | Y
0.010 |
| X
0.009 | DAN
0.007 | Yu
0.006 | S
0.006 |
| C
0.004 | SCH
0.003 | E
0.003 | F
0.002 |
Berdasarkan tabel tersebut diperoleh diagram frekuensi sebagai berikut (Gbr. 2).
Ada aturan mnemonik untuk menghafal sepuluh huruf paling umum dalam alfabet Rusia. Huruf-huruf ini membentuk kata konyol SENOVALITER. Anda juga dapat menyarankan cara serupa untuk menghafal huruf-huruf umum dalam bahasa Inggris, misalnya menggunakan kata TETRIS-HONDA (lihat tabel).
Karakteristik frekuensi bigram, trigram, dan fourgram teks bermakna juga stabil.
Berikut adalah tabel frekuensi bigram untuk bahasa Rusia dan bahasa Inggris(tabel dipinjam dari buku). Untuk kenyamanan, mereka dibagi menjadi empat bagian sesuai skema berikut:
| Bagian 1 | Bagian2 |
| Bagian 3 | Bagian4 |
|
Bagian 1 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| A | B | DI DALAM | G | D | E | DAN | Z | DAN | Y | KE | L | M | N | TENTANG | P | |
| A | 2 | 12 | 35 | 8 | 14 | 7 | 6 | 15 | 7 | 7 | 19 | 27 | 19 | 45 | 5 | 11 |
| B | 5 | 9 | 1 | 6 | 6 | 2 | 21 | |||||||||
| DI DALAM | 35 | 1 | 5 | 3 | 3 | 32 | 2 | 17 | 7 | 10 | 3 | 9 | 58 | 6 | ||
| G | 7 | 3 | 3 | 5 | 1 | 5 | 1 | 50 | ||||||||
| D | 25 | 3 | 1 | 1 | 29 | 1 | 1 | 13 | 1 | 5 | 1 | 13 | 22 | 3 | ||
| E | 2 | 9 | 18 | 11 | 27 | 7 | 5 | 10 | 6 | 15 | 13 | 35 | 24 | 63 | 7 | 16 |
| DAN | 5 | 1 | 6 | 12 | 5 | 6 | ||||||||||
| Z | 35 | 1 | 7 | 1 | 5 | 3 | 4 | 2 | 1 | 2 | 9 | 9 | 1 | |||
| DAN | 4 | 6 | 22 | 5 | 10 | 21 | 2 | 23 | 19 | 11 | 19 | 21 | 20 | 32 | 8 | 13 |
| Y | 1 | 1 | 4 | 1 | 3 | 1 | 2 | 4 | 5 | 1 | 2 | 7 | 9 | 7 | ||
| KE | 24 | 1 | 4 | 1 | 4 | 1 | 1 | 26 | 1 | 4 | 1 | 2 | 66 | 2 | ||
| L | 25 | 1 | 1 | 1 | 1 | 33 | 2 | 1 | 36 | 1 | 2 | 1 | 8 | 30 | 2 | |
| M | 18 | 2 | 4 | 1 | 1 | 21 | 1 | 2 | 23 | 3 | 1 | 3 | 7 | 19 | 5 | |
| N | 54 | 1 | 2 | 3 | 3 | 34 | 58 | 3 | 1 | 24 | 67 | 2 | ||||
| TENTANG | 1 | 28 | 84 | 32 | 47 | 15 | 7 | 18 | 12 | 29 | 19 | 41 | 38 | 30 | 9 | 18 |
| P | 7 | 15 | 4 | 9 | 1 | 46 | ||||||||||
|
Bagian 2 |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R | DENGAN | T | kamu | F | X | C | H | S | SCH | Y | B | E | Yu | SAYA | |
| A | 26 | 31 | 27 | 3 | 1 | 10 | 6 | 7 | 10 | 1 | 2 | 6 | 9 | ||
| B | 8 | 1 | 6 | 1 | 11 | 2 | |||||||||
| DI DALAM | 6 | 19 | 6 | 7 | 1 | 1 | 2 | 4 | 1 | 18 | 1 | 2 | 3 | ||
| G | 7 | 2 | |||||||||||||
| D | 6 | 8 | 1 | 10 | 1 | 1 | 1 | 5 | 1 | 1 | |||||
| E | 39 | 37 | 33 | 3 | 1 | 8 | 3 | 7 | 3 | 3 | 1 | 1 | 2 | ||
| DAN | 1 | ||||||||||||||
| Z | 3 | 1 | 2 | 4 | 4 | ||||||||||
| DAN | 11 | 29 | 29 | 3 | 1 | 17 | 3 | 11 | 1 | 1 | 1 | 3 | 17 | ||
| Y | 3 | 10 | 2 | 1 | 3 | 2 | |||||||||
| KE | 10 | 3 | 7 | 10 | 1 | ||||||||||
| L | 3 | 1 | 6 | 4 | 1 | 3 | 20 | 4 | 9 | ||||||
| M | 2 | 5 | 3 | 9 | 1 | 2 | 5 | 1 | 1 | 3 | |||||
| N | 1 | 9 | 9 | 7 | 1 | 5 | 2 | 36 | 3 | 5 | |||||
| TENTANG | 43 | 50 | 39 | 3 | 2 | 5 | 2 | 12 | 4 | 3 | 2 | 3 | 2 | ||
| P | 41 | 1 | 6 | 2 | 2 | ||||||||||
|
Bagian 3 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| A | B | DI DALAM | G | D | E | DAN | Z | DAN | Y | KE | L | M | N | TENTANG | P | |
| R | 55 | 1 | 4 | 4 | 3 | 37 | 3 | 1 | 24 | 3 | 1 | 3 | 7 | 56 | 2 | |
| DENGAN | 8 | 1 | 7 | 1 | 2 | 25 | 6 | 40 | 13 | 3 | 9 | 27 | 11 | |||
| T | 35 | 1 | 27 | 1 | 3 | 31 | 1 | 28 | 5 | 1 | 1 | 11 | 56 | 4 | ||
| kamu | 1 | 4 | 4 | 4 | 11 | 2 | 6 | 3 | 2 | 8 | 5 | 5 | 5 | 1 | 5 | |
| F | 2 | 2 | 2 | 1 | ||||||||||||
| X | 4 | 1 | 4 | 1 | 3 | 1 | 2 | 3 | 4 | 3 | 3 | 4 | 18 | 5 | ||
| C | 3 | 7 | 10 | 2 | 1 | |||||||||||
| H | 12 | 23 | 13 | 2 | 6 | |||||||||||
| S | 5 | 11 | 14 | 1 | 2 | 2 | 2 | |||||||||
| SCH | 3 | 8 | 6 | 1 | ||||||||||||
| Y | 1 | 9 | 1 | 3 | 12 | 2 | 4 | 7 | 3 | 6 | 6 | 3 | 2 | 10 | ||
| B | 2 | 4 | 1 | 1 | 2 | 2 | 2 | 6 | 3 | 13 | 2 | 4 | ||||
| E | 1 | 1 | ||||||||||||||
| Yu | 2 | 1 | 2 | 1 | 3 | 1 | 1 | 1 | 1 | 1 | 3 | |||||
| SAYA | 1 | 3 | 9 | 1 | 3 | 3 | 1 | 5 | 3 | 2 | 3 | 3 | 4 | 6 | 3 | 6 |
|
Bagian 4 |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R | DENGAN | T | kamu | F | X | C | H | S | SCH | Y | B | E | Yu | SAYA | |
| R | 1 | 5 | 9 | 16 | 1 | 1 | 1 | 2 | 8 | 3 | 5 | ||||
| DENGAN | 4 | 11 | 82 | 6 | 1 | 1 | 2 | 2 | 1 | 8 | 17 | ||||
| T | 26 | 18 | 2 | 10 | 1 | 11 | 21 | 4 | |||||||
| kamu | 7 | 14 | 7 | 1 | 8 | 3 | 2 | 9 | 1 | ||||||
| F | 1 | 1 | |||||||||||||
| X | 3 | 4 | 2 | 2 | 1 | 1 | |||||||||
| C | 1 | 1 | |||||||||||||
| H | 7 | 1 | 1 | 1 | |||||||||||
| S | 1 | 1 | |||||||||||||
| SCH | 1 | ||||||||||||||
| Y | 3 | 9 | 4 | 1 | 16 | 1 | 2 | ||||||||
| B | 1 | 11 | 3 | 1 | 4 | 1 | 3 | 1 | |||||||
| E | 1 | 9 | |||||||||||||
| Yu | 1 | 1 | 7 | 1 | 1 | 4 | |||||||||
| SAYA | 3 | 6 | 10 | 2 | 1 | 4 | 1 | 1 | 1 | 1 | 1 | ||||
Meja yang bagus k-gram mudah diperoleh dengan menggunakan teks versi elektronik dari banyak buku yang terdapat dalam CD.
Untuk memperoleh informasi yang lebih akurat tentang teks biasa, Anda dapat membuat dan menganalisis tabel k-gram di k>2, tetapi untuk tujuan pendidikan cukup membatasi diri pada bigram saja. ketidakrataan k-gram (dan bahkan kata-kata) berkaitan erat dengan fitur karakteristik teks terbuka - kehadiran sejumlah besar pengulangan fragmen teks individual: akar, akhiran, sufiks, kata dan frasa. Jadi, untuk bahasa Rusia, fragmen yang familiar adalah bigram dan trigram yang paling umum:
ST, TAPI, EN, TO, NA, OV, NI, RA, VO, KO
STO, ENO, NOV, TOV, OVO, OVA
Informasi tentang kesesuaian huruf, yaitu tentang keterhubungan huruf yang disukai satu sama lain, berguna, yang dapat dengan mudah diperoleh dari tabel frekuensi bigram.
Ini mengacu pada tabel di mana “tetangga” yang paling disukai terletak di kiri dan kanan setiap huruf (dalam urutan frekuensi bigram yang sesuai). Tabel tersebut biasanya juga menunjukkan proporsi vokal dan konsonan (dalam persentase) sebelum (atau setelah) huruf tertentu.
Kombinasi huruf Rusia:
| G | DENGAN | Kiri | Benar | G | DENGAN | |
|---|---|---|---|---|---|---|
| 3 | 97 | aku, d, k, t, v, r, n | A | aku, n, s, t, r, v, k, m | 12 | 88 |
| 80 | 20 | saya, e, y, saya, a, o | B | o, s, e, a, r, y | 81 | 19 |
| 68 | 32 | saya, t, a, e, saya, o | DI DALAM | o, a, saya, s, s, n, aku, r | 60 | 40 |
| 78 | 22 | r, y, a, saya, e, o | G | o, a, p, l, i, v | 69 | 31 |
| 72 | 28 | r, saya, y, a, saya, e, o | D | e, a, i, o, n, y, p, v | 68 | 32 |
| 19 | 81 | m, saya, aku, d, t, r, n | E | n, t, r, s, aku, v, m, saya | 12 | 88 |
| 83 | 17 | r, e, saya, a, y, o | DAN | e, saya, d, a, n | 71 | 29 |
| 89 | 11 | o, e, a, dan | Z | a, n, c, o, m, d | 51 | 49 |
| 27 | 73 | r, t, m, saya, o, l, n | DAN | s, n, c, i, e, m, k, h | 25 | 75 |
| 55 | 45 | b,v,e,o,a,i,s | KE | o, a, i, p, y, t, l, e | 73 | 27 |
| 77 | 23 | g, v, s, saya, e, o, a | L | saya, e, o, a, b, saya, yu, y | 75 | 25 |
| 80 | 20 | saya, s, a, saya, e, o | M | saya, e, o, y, a, n, p, s | 73 | 27 |
| 55 | 45 | d, b, n, o | N | o, a, saya, e, s, n, y | 80 | 20 |
| 11 | 89 | r, hal, k, v, t, n | TENTANG | c, s, t, r, saya, d, n, m | 15 | 85 |
| 65 | 35 | di, dengan, y, a, i, e, o | P | o, hal, e, a, y, saya, l | 68 | 32 |
| 55 | 45 | saya, k, t, a, p, o, e | R | a, e, o, saya, y, saya, s, n | 80 | 20 |
| 69 | 31 | s, t, v, a, e, saya, o | DENGAN | t, k, o, i, e, b, s, n | 32 | 68 |
| 57 | 43 | h, y, saya, a, e, o, s | T | o, a, e, saya, b, v, r, s | 63 | 37 |
| 15 | 85 | p, t, k, d, n, m, r | kamu | t, p, s, d, n, y, w | 16 | 84 |
| 70 | 30 | n, a, e, o, dan | F | dan, e, o, a, e, o, a | 81 | 19 |
| 90 | 10 | y, e, o, a, s, dan | X | o, saya, s, n, v, hal, r | 43 | 57 |
| 69 | 31 | e, yu, n, a, dan | C | saya, e, a, s | 93 | 7 |
| 82 | 18 | e, a, y, saya, o | H | e, saya, t, n | 66 | 34 |
| 67 | 33 | b, y, s, e, o, a, saya, v | S | e, saya, n, a, o, l | 68 | 32 |
| 84 | 16 | e, b, a, saya, y | SCH | e, saya, a | 97 | 3 |
| 0 | 100 | m, r, t, s, b, c, n | Y | aku, x, e, m, aku, v, s, n | 56 | 44 |
| 0 | 100 | n, s, t, aku | B | n, k, v, p, s, e, o, dan | 24 | 76 |
| 14 | 86 | s, s, m, aku, d, t, r, n | E | n, t, r, s, k | 0 | 100 |
| 58 | 42 | b, o, a, saya, aku, y | Yu | d, t, sch, c, n, hal | 11 | 89 |
| 43 | 57 | o, n, r, aku, a, aku, s | SAYA | v, s, t, p, d, k, m, l | 16 | 84 |
Saat menganalisis kesesuaian huruf satu sama lain, perlu diingat ketergantungan kemunculan huruf dalam teks biasa pada sejumlah besar huruf sebelumnya. Untuk menganalisis pola-pola tersebut digunakan konsep probabilitas bersyarat.
Pengamatan terhadap teks biasa menunjukkan bahwa ketidaksetaraan berikut berlaku untuk probabilitas bersyarat: p(a i1)≠p(a i1 /a i2), p(a i1 /a i2)≠p(a i1 /a i2 a i3),....
Pertanyaan tentang ketergantungan huruf alfabet dalam teks biasa pada huruf-huruf sebelumnya dipelajari secara sistematis oleh matematikawan terkenal Rusia A. A. Markov (1856 – 1922). Ia membuktikan bahwa kemunculan huruf-huruf dalam teks biasa tidak dapat dianggap independen satu sama lain. Dalam hal ini, A. A. Markov mencatat pola stabil lainnya dalam teks terbuka yang terkait dengan pergantian vokal dan konsonan. Dia menghitung frekuensi kemunculan bigram vokal-vokal ( G, G), vokal-konsonan ( G, Dengan), konsonan-vokal ( Dengan, G), konsonan-konsonan ( Dengan, Dengan) dalam teks Rusia dengan panjang 10 5 karakter. Hasil perhitungannya ditunjukkan pada tabel berikut:
| G | DENGAN | Total | |
|---|---|---|---|
| G | 6588 | 38310 | 44898 |
| DENGAN | 38296 | 16806 | 55102 |
Tabel ini menunjukkan bahwa bahasa Rusia dicirikan oleh pergantian vokal dan konsonan, dan frekuensi relatif dapat berfungsi sebagai perkiraan probabilitas bersyarat dan tidak bersyarat yang sesuai:
P(G/Dengan)≈0.663, P(Dengan/G)≈0.872,
P(G)≈0.432, P(Dengan)≈0.568.
Setelah A. A. Markov, ketergantungan kemunculan huruf dalam sebuah teks, mengikuti beberapa teks sebelumnya, dipelajari dengan metode teori informasi oleh K. Shannon. Faktanya, mereka menunjukkan, khususnya, bahwa ketergantungan seperti itu terlihat hingga kedalaman sekitar 30 karakter, setelah itu praktis tidak ada.
Proporsi vokal dalam teks sastra:
Pola di atas berlaku untuk teks biasa yang “dapat dibaca” yang digunakan dalam komunikasi manusia. Seperti disebutkan sebelumnya, pola-pola ini memainkan peran besar dalam pembacaan sandi. Secara khusus, mereka digunakan dalam konstruksi kriteria formal untuk teks biasa, yang memungkinkan penerapan metode statistik matematika dalam masalah pengenalan teks biasa dalam aliran pesan. Saat menggunakan alfabet khusus, diperlukan studi serupa tentang karakteristik frekuensi "teks terbuka" yang muncul, misalnya, selama pertukaran informasi mesin-ke-mesin atau dalam sistem transmisi data. Dalam kasus ini, menyusun kriteria formal untuk “teks yang jelas” adalah tugas yang jauh lebih sulit.
Sebagai contoh, mari kita berikan ciri-ciri frekuensi huruf Alfabet bahasa Inggris, termasuk dalam kode ASCII.
Selain kriptografi, karakteristik frekuensi pesan terbuka banyak digunakan di bidang lain. Misalnya, papan ketik komputer, mesin tik, atau Linotype adalah perwujudan luar biasa dari gagasan mempercepat pengetikan, terkait dengan mengoptimalkan susunan huruf alfabet relatif satu sama lain, bergantung pada frekuensi penggunaannya.
Literatur:
Alferov A.P. dkk., "Kriptografi"
Yaglom A.M., Yaglom I.M., Probabilitas dan informasi, M.: Nauka, 1973.
Baudouin C., Elemen kriptografi / Ed. Pedone A. – Paris, 1939.
Friedman W.F., Callimahos D., Kriptanalisis militer, Bagian i, Vol 2, Aegean Park Press, Laguna Hills CA, 1920.
Huruf manakah yang paling sering digunakan dalam bahasa Rusia? Dan bagaimana cara termudah untuk mengetahui dan mendapatkan jawaban terbaik
Jawaban dari Viktor Edinovich[guru]
Satu-satunya jawaban yang benar! Pada suatu waktu, setiap juru ketik mengetahui dari pengalaman font (huruf) mana yang paling banyak digunakan saat mengetik.
Victor Edinovich
Tercerahkan
(38377)
TIDAK. Saya hanya mantan ensiklopedis...
Balasan dari Elizaveta Ventsevich[guru]
Menurutku "A".
Balasan dari Alexandra Lapikova[guru]
sesuai dengan tingkat keausan pada keyboard penulis
Balasan dari YolaFka[guru]
bukaFka AAAAAAAAAAAAA))))
Balasan dari BOBA BOBAHOB[guru]
Menurut saya huruf "X" itu buktinya? berjalan-jalan saja
Balasan dari *
[pakar]
3 huruf yang paling umum digunakan adalah U Y X
Balasan dari Pada[guru]
mungkin Kommersant
Balasan dari Valery Dusmikeev[guru]
Huruf A
Balasan dari &Ъ[guru]
Betapa semua orang bercanda. Tentu saja huruf O!!!
Balasan dari Pavel Makagonov[guru]
O, lalu E, lalu I, lalu A. Lalu konsonan N, T, S, R, dst.
Saya harus menghitung berdasarkan sejumlah besar teks. Jangan percaya pada para hooligan.
Balasan dari Elena Strathberry[aktif]
Tentu saja huruf R. Karena letaknya di tengah-tengah keyboard!! ! 🙂
Balasan dari Tidak masalah[guru]
kita ambil kamus apa saja, kebanyakan kata dimulai dengan "p", setelah dengan "r", setelah dengan "o", setelah dengan "T", pada akhirnya kata yang paling khas untuk bahasa Rusia adalah kelapangan dan kesederhanaan
menurut Dahl
Balasan dari Alexander Reiser[guru]
Coba tebak huruf mana dalam bahasa Rusia yang paling umum?
Huruf O. Frekuensi kejadian – 0,090. Artinya, dalam rangkaian 1000 huruf, huruf O rata-rata akan muncul sebanyak 90 kali.
Huruf manakah yang menempati posisi terdepan dan paling sering ditemukan?
vokal. Merekalah yang paling sering ditemukan dalam bahasa Rusia, membuat pidato kita “merdu”. Di belakang O ada huruf E dan E (bersama-sama tidak dipisahkan, karena saat menulis sering kehilangan E). Frekuensi kejadian – 0,072. Dibelakangnya terdapat huruf A dan I. Frekuensi kemunculannya masing-masing adalah 0,062.
Apakah ini cukup untuk memecahkan kode teks? Pada prinsipnya, ya, jika kami yakin bahwa rangkaian kode tersebut berisi teks dalam bahasa Rusia dalam salah satu penyandian yang kami ketahui atau tidak kami ketahui. Namun selalu ada kemungkinan bahwa rangkaian kode yang disajikan tidak ada hubungannya dengan bahasa Rusia. Untuk memverifikasi ini, Anda perlu menggunakan kamus frekuensi kata-kata dalam bahasa Rusia.
Menurut Anda, kata apa yang paling sering muncul dalam bahasa Rusia?
Konjungsi I diikuti oleh bagian ucapan yang sama pendeknya - IN, NOT, OH, ON. Namun seringkali, tentu saja, akan ada kesenjangan.
Teks yang diterjemahkan harus diperiksa kecocokannya menggunakan kamus frekuensi. Dan hanya dengan kebetulan yang kurang lebih kita dapat mengatakan bahwa kita sedang berhadapan dengan teks yang ditulis dalam bahasa Rusia.
Ini memberikan hasil 100% jika teksnya cukup besar. Jika kita berbicara tentang beberapa kata, frekuensi huruf (dan terlebih lagi kata) mungkin terganggu. Apa yang harus dilakukan dalam kasus ini? Kita perlu menawarkan kepada pembaca beberapa pilihan untuk dipilih. Dekode teks menggunakan salah satu huruf vokal yang paling umum. vokal! Mereka akan selalu muncul lebih sering dibandingkan surat lainnya. Jika teksnya dikodekan dalam bahasa Rusia, maka kesuksesan dijamin.