ზოგადად, არის ასეთი თემა - ტექსტის სიხშირის ანალიზი. ამტკიცებენ, რომ მოცემული ენისთვის მნიშვნელოვან ტექსტში ცალკეული ასოების გაჩენის სიხშირე სტაბილური მნიშვნელობაა. ორი, სამი (დიგრამები, ტრიგრამები) და ოთხი ასოების კომბინაციები ასევე სტაბილურია.
ეს ფაქტი, კერძოდ, გამოიყენებოდა კრიპტოგრაფიაში შიფრების გასატეხად.
მე არ ვარ კარგად კრიპტოგრაფიაში და ერთადერთი რაც მახსენდება არის პირდაპირი ჩანაცვლების შიფრის დარღვევა. უნდა ითქვას, რომ ყველაზე პრიმიტიული შიფრია, როცა შეტყობინებაში გამოყენებული ორიგინალური ანბანის სიმბოლოები გარკვეული წესის მიხედვით გარდაიქმნება სხვა სიმბოლოებად. სხვათა შორის, ასეთი შიფრების გახსნა შესაძლებელია გამოყენების გარეშე სტატისტიკური ანალიზი(სადაც, შეცდომის შესამცირებლად, აშკარად საჭიროა ტექსტის საკმაოდ დიდი ნაწილების არსებობა), მაგრამ უბრალოდ ზოგიერთი სიტყვის გამოცნობით - იხილეთ მოთხრობა "მოცეკვავე კაცები".
და საბოლოო შეხება (სურვილისამებრ). ზოგჯერ (თითქმის ყოველთვის) კალკულატორს სჭირდება აღწერილობა - რა პარამეტრებია, რა ფორმულებს იყენებს და ზოგადად, რატომ არის ეს ყველაფერი - ისევე, როგორც მე ახლა ვაკეთებ. ამისათვის იწერება სტატია და კალკულატორი ჩასმულია პირდაპირ სტატიაში. სტატიის დასაწერად აირჩიეთ მენიუს პუნქტი "Create..." -> "Article" განყოფილების "ჩემი კალკულატორები" მთავარ გვერდზე და დაიწყეთ წერა. კალკულატორის ჩასართავად დააჭირეთ ღილაკს დიდი ხაზგასმული ასო A და აირჩიეთ ახლად შექმნილი კალკულატორი დიალოგში, რომელიც იხსნება.
რუსული ანბანის ყველაზე გავრცელებულ ასოს უსაფრთხოდ შეიძლება ეწოდოს "o". არა "ა", თუმცა ყველა ბავშვი სწავლობს თავის პირველ სიტყვებს ამ ასოთი: "დედა", "მამა" ან "მიეც". არა "და", თუმცა შეიძლება ჩანდეს, რომ ჩვენ მას ხშირად ვიყენებთ როგორც დამაკავშირებელ კავშირს.
როგორც მონაცემები აჩვენებს, სწორედ ასო „ო“-ს აქვს 0,1%-ზე მეტი სიხშირე ანბანის სხვა ხმოვან ასოებთან შედარებით, რომელთა სიხშირეა, მაგალითად, 0,07-0,08%, რაც საკმაოდ ბევრია.
თანხმოვანთა შორის ასო "n" პირველ ადგილზეა.
ასეთი მონაცემები მიღებულია NCRY - რუსული ენის ეროვნულ კორპუსში სიხშირის ანალიზით, სპეციალური ფორმულის გამოყენებით. NKRY არის წერილობითი და სალაპარაკო ტექსტების ელექტრონული არქივი, რომელიც შედგება დაახლოებით 230 მილიონი სიტყვისგან.
ჩვენი ანბანის ყველაზე პოპულარული ასოს გათვალისწინებით, აღსანიშნავია საინტერესო ფენომენი სახელწოდებით "ტავტოგრამა". ეს არის ერთგვარი ლიტერატურული გახურება, სადაც თქვენ უნდა შეადგინოთ მოთხრობა ან ლექსი, რომელიც იწყება იმავე ასოდან. სხვათა შორის, ასო, რომლითაც იწყება რუსულ ენაში სიტყვების უმეტესობა (არ აურიოთ იგი გამოყენების სიხშირეში) არის "p", მაგრამ ხმოვანთა შორის უდავო ლიდერობა ეკუთვნის ჩვენს ამჟამინდელ ფავორიტს.
"მარტო. ძალიან. მომხიბვლელობის ფრაგმენტები შემოდგომის ერთფეროვნებაში წაიქცა. Olympus დარჩა შორეულ გასასვლელად. ძალიან დისტანციური. დარჩა წყენა, შეხების ცეცხლით გამოწვეული დათბობის გამონაყარის განმარტებები. დანარჩენი ნეგატიური, უარყოფილი, საზოგადოების მიერ მოტყუებული აღმოჩნდა. შემოდგომის შთამომავლები დაბრკოლდნენ და ტბის თვალების ნარჩენებით დაფრინავდნენ. ზოგიერთი ფანჯარა ღია დარჩა. ცალკეული ჰომონიმების გაბრაზებული ანაბეჭდები დაჩრდილულია პერსონიფიკაციის უარყოფილი სამოსით. ზღვის წიწაკის ნარინჯისფერი ჩრდილები გამოკვეთილია მარტოობის უზარმაზარი ანარეკლით. დანარჩენი არის ოსიფიკაცია, განწირულობის დაბუჟება. კუნძულები სავსეა დაპირებებით ესეებიდან დარწმუნებულობის შესახებ. მურყნის გამაგრილებელი კალმები აყალიბებდა ამავე სახელწოდების წრეებს, უხეში ტირილის გამო. თანამდებობის პირი გადაიქცა გენერლის ანარეკლში, გააუქმა ნეგატიური დარწმუნება. დალაგებული გამოსახულებები აღშფოთებით ხსნიდნენ შემოდგომის სისულელეს, საპირისპიროს მოტყუებას უწოდებდნენ. ახალგაზრდები სასოწარკვეთილად ასახავდნენ მოჯადოებულ შემოდგომას, უარყოფდნენ ობიექტურ დამოკიდებულებას... შემოდგომა წიწაკის ნარინჯისფერი ნატეხებივით დაფრინავდა და დაღლილ კამათს მარტოხელა პასუხებს ტოვებდა...“
სასაცილოა, არა? სულაც არაა ასეთი სისულელე :)
სხვათა შორის, ინგლისურში ყველაზე გავრცელებული ასოა "e" და თანხმოვანი არის "t".
ისე, და ტავტოგრამა ინგლისურად:
მინერვას მაგვარი დიდებული მარიამი მოძრაობს.
კანონი, ლათინური, თავისუფლება, ნასწავლ ლუსის უყვარს.
ელიზას ელეგანტურობას ყოველი თვალი ადევნებს თვალს.
მშვიდად ჩუმად სიუზანის ღიმილი გაოცება.
ფოპებიდან, სულელებიდან, მლიქვნელებისგან, ყველაზე სამართლიანი ფანი ბუზებს.
ცნობილია, რომ სტამბის ან კომპიუტერის კლავიატურაზე ასოების განლაგება შემთხვევით არ არის შედგენილი, მაგრამ გარკვეულ წესებს ემორჩილება. ამრიგად, ყველაზე ხშირად გამოყენებული ასოები განლაგებულია კლავიატურის ცენტრალურ ნაწილში, ხოლო ნაკლებად გავრცელებული ასოები კიდეებზე. ასევე ცნობილია, რომ ხმოვნები უფრო ხშირად გამოიყენება ვიდრე თანხმოვნები. ეს ინფორმაცია მოპოვებულია რუსული ენის ეროვნულ კორპუსში სპეციალური ფორმულით.
ყველაზე გავრცელებული ხმოვნები
უცნაურად საკმარისია, რომ ასო "o" ლიდერია წერილობით მეტყველებაში გამოყენების რაოდენობით, როგორც ხმოვანთა, ასევე თანხმოვანთა შორის. მას მოსდევს "ა" და "და" და ამის შემდეგ იწყება თანხმოვნები. ექსპერტების აზრით, ასო „ო“-ს გამოყენების სიხშირე პროცენტის მეათედია, ხოლო სხვა ხმოვანთა სიხშირე პროცენტის შვიდიდან რვა ასეულამდე მერყეობს.
ყველაზე პოპულარული თანხმოვნები
ყველაზე ხშირად გამოყენებული თანხმოვანია „ნ“. უფრო მეტიც, რუსულ ენაში სიტყვების უდიდესი რაოდენობა იწყება ასო "პ"-ით. ხმოვანთა შორის, "o" არის ლიდერი ამ საფუძველზე.
რუსულ მეტყველებაში უიშვიათესი თანხმოვანი არის ასო "f", რომელიც გამოიყენება სიტყვებში უცხო ენები, ისევე როგორც ონომატოპეები, როგორიცაა „სნოტი“.
ასეთი სტატისტიკა შეიძლება სასარგებლო იყოს ტავტოგრამების შედგენისას. ამ სიტყვების თამაშის მიზანია შექმნას თანმიმდევრული ამბავი, რომელშიც თითოეული სიტყვა უნდა დაიწყოს ერთი და იგივე ასოთი.
ამ სტატიაში ჩვენ დავიწყებთ განხილვას უკიდურესად საინტერესო თემა- სტატისტიკის გამოყენება ტექსტური ინფორმაციის გასაანალიზებლად. გაითვალისწინეთ, რომ ტექსტის ანალიზისთვის სტატისტიკის გამოყენება ტრადიციული ამოცანაა.
ჯერ რამდენიმეს მივცემთ საინტერესო ფაქტებიასოების და მათი კომბინაციების გაჩენის სიხშირეზე სხვადასხვა ენაზე (დაწვრილებით იხილეთ წიგნი). მომდევნო სტატიებში ჩვენ გაჩვენებთ, თუ როგორ გამოვიყენოთ ანალიზისა და გრაფიკული წარმოდგენის უფრო რთული მეთოდები.
ტექსტური შეტყობინებების სიხშირის მახასიათებლები
ასე რომ, ტექსტი შედგება სიტყვებისგან, ასოების სიტყვებისგან. თითოეულ ენაში სხვადასხვა ასოების რაოდენობა შეზღუდულია და ასოების უბრალოდ ჩამოთვლა შესაძლებელია. ტექსტის მნიშვნელოვანი მახასიათებლებია ასოების გამეორება, ასოების წყვილი (დიგრამები) და ზოგადად. მ-კარგი ( მ-გრამი), ასოების ერთმანეთთან თავსებადობა, ხმოვანთა და თანხმოვანთა მონაცვლეობა და სხვა. აღსანიშნავია, რომ ეს მახასიათებლები საკმაოდ სტაბილურია. კითხვას „რატომ“ ვტოვებთ კულისებში.
სისტემის გამოყენებით სტატისტიკათქვენ შეგიძლიათ შეამოწმოთ ეს შაბლონები, მაგალითად, ინტერნეტ ტექსტებში.
იდეა არის თითოეულის შემთხვევის რაოდენობის დათვლა ნ მშესაძლებელია მ- გრამი საკმარისად გრძელ ღია ტექსტებში თ=t 1 t 2 …t l, რომელიც შედგება ანბანის ასოებისგან ( a 1, a 2, ..., a n). ამავე დროს, ზედიზედ მ- გრამი ტექსტი:
t 1 t 2 ...t m, t 2 t 3 ... t m+1 , ..., t i-m+1 t l-m+2 ...t l.
თუ – გამოჩენის რაოდენობა მ- გრამი a i1 a i2 ...a imტექსტში თ, ა ლ- დათვლილთა საერთო რაოდენობა მ-გრამი, მაშინ გამოცდილება გვიჩვენებს, რომ საკმარისად დიდია ლსიხშირეები
ამისთვის მ- გრამი ცოტათი განსხვავდება ერთმანეთისგან.
ამის გამო ფარდობითი სიხშირე (1) ითვლება ალბათობის მიახლოებად პ (a i1 a i2 ...a im) ამის გარეგნობა მ-გრამები ტექსტში შემთხვევით შერჩეულ ადგილას (ეს მიდგომა მიღებულია ალბათობის სტატისტიკურ განსაზღვრაში).
ქვემოთ მოცემულია ასოების სიხშირეების ცხრილები (პროცენტულად) რამდენიმე ევროპული ენისთვის. წიგნიდან აღებული მონაცემები.
| ანბანის ასო | ფრანგული | გერმანული | ინგლისური ენა | ესპანური | იტალიური |
|---|---|---|---|---|---|
| ა | 7.68 | 5.52 | 7.96 | 12.90 | 11.12 |
| ბ | 0.80 | 1.56 | 1.60 | 1.03 | 1.07 |
| C | 3.32 | 2.94 | 2.84 | 4.42 | 4.11 |
| დ | 3.60 | 4.91 | 4.01 | 4.67 | 3.54 |
| ე | 17.76 | 19.18 | 12.86 | 14.15 | 11.63 |
| ფ | 1.06 | 1.96 | 2.62 | 0.70 | 1.15 |
| გ | 1.10 | 3.60 | 1.99 | 1.00 | 1.73 |
| ჰ | 0.64 | 5.02 | 5.39 | 0.91 | 0.83 |
| მე | 7.23 | 8.21 | 7.77 | 7.01 | 12.04 |
| ჯ | 0.19 | 0.16 | 0.16 | 0.24 | - |
| კ | - | 1.33 | 0.41 | - | - |
| ლ | 5.89 | 3.48 | 3.51 | 5.52 | 5.95 |
| მ | 2.72 | 1.69 | 2.43 | 2.55 | 2.65 |
| ნ | 7.61 | 10.20 | 7.51 | 6.20 | 7.68 |
| ო | 5.34 | 2.14 | 6.62 | 8.84 | 8.92 |
| პ | 3.24 | 0.54 | 1.81 | 3.26 | 2.66 |
| ქ | 1.34 | 0.01 | 0.17 | 1.55 | 0.48 |
| რ | 6.81 | 7.01 | 6.83 | 6.95 | 6.56 |
| ს | 8.23 | 7.07 | 6.62 | 7.64 | 4.81 |
| თ | 7.30 | 5.86 | 9.72 | 4.36 | 7.07 |
| უ | 6.05 | 4.22 | 2.48 | 4.00 | 3.09 |
| ვ | 1.27 | 0.84 | 1.15 | 0.67 | 1.67 |
| ვ | - | 1.38 | 1.80 | - | - |
| X | 0.54 | - | 0.17 | 0.07 | - |
| ი | 0.21 | - | 1.52 | 1.05 | - |
| ზ | 0.07 | 1.17 | 0.05 | 0.31 | 1.24 |
სიხშირის მნიშვნელობების გარკვეული განსხვავება სხვადასხვა წყაროებში მოცემულ ცხრილებში აიხსნება იმით, რომ სიხშირეები მნიშვნელოვნად არის დამოკიდებული არა მხოლოდ ტექსტის სიგრძეზე, არამედ მის ბუნებაზეც. მაგალითად, ტექნიკურ ტექსტებში იშვიათი ასო ფშეიძლება საკმაოდ გავრცელებული გახდეს ისეთი სიტყვების ხშირი გამოყენების გამო, როგორიცაა ფუნქცია, დიფერენციალი, დიფუზია, კოეფიციენტი და ა.შ.
ცალკეული ასოების გამოყენების სიხშირეში ნორმიდან კიდევ უფრო დიდი გადახრები შეინიშნება ზოგიერთში ხელოვნების ნიმუშებიგანსაკუთრებით პოეზიაში. ამიტომ, ასოების საშუალო სიხშირის საიმედოდ დასადგენად, სასურველია სხვადასხვა წყაროდან ნასესხები სხვადასხვა ტექსტების ნაკრები. თუმცა, როგორც წესი, ასეთი გადახრები უმნიშვნელოა და პირველი მიახლოებით მათი უგულებელყოფა შეიძლება.
ასოების სიხშირეების ვიზუალური წარმოდგენა მოცემულია მოვლენის დიაგრამაზე. ასე რომ, ინგლისური ენისთვის, ცხრილის შესაბამისად, ასეთი დიაგრამა ნაჩვენებია ნახ. 1-ში. მის ასაგებად ჩვენ გამოვიყენეთ სისტემა სტატისტიკა.
რუსული ენისთვის, ანბანის სიმბოლოების სიხშირეები (კლებადობით), რომელშიც ისინი იდენტიფიცირებულია. ეგ იო, ბთან კომერსანტი, და ასევე არის სიტყვებს შორის ინტერვალის ნიშანი (-), მოცემულია შემდეგ ცხრილში (იხ.).
| -
0.175 | შესახებ
0.090 | მისი
0.072 | ა
0.062 |
| და
0.062 | თ
0.053 | ნ
0.053 | თან
0.045 |
| რ
0.040 | IN
0.038 | ლ
0.035 | TO
0.028 |
| მ
0.026 | დ
0.025 | პ
0.023 | უ
0.021 |
| მე
0.018 | ი
0.016 | ზ
0.016 | ბ, ბ
0.014 |
| ბ
0.014 | გ
0.013 | ჰ
0.012 | ი
0.010 |
| X
0.009 | და
0.007 | იუ
0.006 | შ
0.006 |
| C
0.004 | SCH
0.003 | ე
0.003 | ფ
0.002 |
ცხრილიდან გამომდინარე ვიღებთ შემდეგ სიხშირის დიაგრამას (ნახ. 2).
არსებობს რუსული ანბანის ათი ყველაზე გავრცელებული ასოს დამახსოვრების მნემონური წესი. ეს ასოები ქმნიან სასაცილო სიტყვას SENOVALITER. თქვენ ასევე შეგიძლიათ შემოგთავაზოთ ინგლისურ ენაში საერთო ასოების დამახსოვრების მსგავსი გზა, მაგალითად, სიტყვა TETRIS-HONDA-ს გამოყენებით (იხ. ცხრილი).
ასევე სტაბილურია ბიგრამების, ტრიგრამების და ოთხგრამიანი შინაარსიანი ტექსტების სიხშირის მახასიათებლები.
აქ მოცემულია ბიგრამის სიხშირეების ცხრილები რუსული და ინგლისური ენები(წიგნიდან ნასესხები ცხრილები). მოხერხებულობისთვის, ისინი იყოფა ოთხ ნაწილად შემდეგი სქემის მიხედვით:
| ნაწილი 1 | ნაწილი 2 |
| ნაწილი 3 | ნაწილი 4 |
|
ნაწილი 1 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ა | ბ | IN | გ | დ | ე | და | ზ | და | ი | TO | ლ | მ | ნ | შესახებ | პ | |
| ა | 2 | 12 | 35 | 8 | 14 | 7 | 6 | 15 | 7 | 7 | 19 | 27 | 19 | 45 | 5 | 11 |
| ბ | 5 | 9 | 1 | 6 | 6 | 2 | 21 | |||||||||
| IN | 35 | 1 | 5 | 3 | 3 | 32 | 2 | 17 | 7 | 10 | 3 | 9 | 58 | 6 | ||
| გ | 7 | 3 | 3 | 5 | 1 | 5 | 1 | 50 | ||||||||
| დ | 25 | 3 | 1 | 1 | 29 | 1 | 1 | 13 | 1 | 5 | 1 | 13 | 22 | 3 | ||
| ე | 2 | 9 | 18 | 11 | 27 | 7 | 5 | 10 | 6 | 15 | 13 | 35 | 24 | 63 | 7 | 16 |
| და | 5 | 1 | 6 | 12 | 5 | 6 | ||||||||||
| ზ | 35 | 1 | 7 | 1 | 5 | 3 | 4 | 2 | 1 | 2 | 9 | 9 | 1 | |||
| და | 4 | 6 | 22 | 5 | 10 | 21 | 2 | 23 | 19 | 11 | 19 | 21 | 20 | 32 | 8 | 13 |
| ი | 1 | 1 | 4 | 1 | 3 | 1 | 2 | 4 | 5 | 1 | 2 | 7 | 9 | 7 | ||
| TO | 24 | 1 | 4 | 1 | 4 | 1 | 1 | 26 | 1 | 4 | 1 | 2 | 66 | 2 | ||
| ლ | 25 | 1 | 1 | 1 | 1 | 33 | 2 | 1 | 36 | 1 | 2 | 1 | 8 | 30 | 2 | |
| მ | 18 | 2 | 4 | 1 | 1 | 21 | 1 | 2 | 23 | 3 | 1 | 3 | 7 | 19 | 5 | |
| ნ | 54 | 1 | 2 | 3 | 3 | 34 | 58 | 3 | 1 | 24 | 67 | 2 | ||||
| შესახებ | 1 | 28 | 84 | 32 | 47 | 15 | 7 | 18 | 12 | 29 | 19 | 41 | 38 | 30 | 9 | 18 |
| პ | 7 | 15 | 4 | 9 | 1 | 46 | ||||||||||
|
ნაწილი 2 |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| რ | თან | თ | უ | ფ | X | C | ჰ | შ | SCH | ი | ბ | ე | იუ | მე | |
| ა | 26 | 31 | 27 | 3 | 1 | 10 | 6 | 7 | 10 | 1 | 2 | 6 | 9 | ||
| ბ | 8 | 1 | 6 | 1 | 11 | 2 | |||||||||
| IN | 6 | 19 | 6 | 7 | 1 | 1 | 2 | 4 | 1 | 18 | 1 | 2 | 3 | ||
| გ | 7 | 2 | |||||||||||||
| დ | 6 | 8 | 1 | 10 | 1 | 1 | 1 | 5 | 1 | 1 | |||||
| ე | 39 | 37 | 33 | 3 | 1 | 8 | 3 | 7 | 3 | 3 | 1 | 1 | 2 | ||
| და | 1 | ||||||||||||||
| ზ | 3 | 1 | 2 | 4 | 4 | ||||||||||
| და | 11 | 29 | 29 | 3 | 1 | 17 | 3 | 11 | 1 | 1 | 1 | 3 | 17 | ||
| ი | 3 | 10 | 2 | 1 | 3 | 2 | |||||||||
| TO | 10 | 3 | 7 | 10 | 1 | ||||||||||
| ლ | 3 | 1 | 6 | 4 | 1 | 3 | 20 | 4 | 9 | ||||||
| მ | 2 | 5 | 3 | 9 | 1 | 2 | 5 | 1 | 1 | 3 | |||||
| ნ | 1 | 9 | 9 | 7 | 1 | 5 | 2 | 36 | 3 | 5 | |||||
| შესახებ | 43 | 50 | 39 | 3 | 2 | 5 | 2 | 12 | 4 | 3 | 2 | 3 | 2 | ||
| პ | 41 | 1 | 6 | 2 | 2 | ||||||||||
|
ნაწილი 3 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ა | ბ | IN | გ | დ | ე | და | ზ | და | ი | TO | ლ | მ | ნ | შესახებ | პ | |
| რ | 55 | 1 | 4 | 4 | 3 | 37 | 3 | 1 | 24 | 3 | 1 | 3 | 7 | 56 | 2 | |
| თან | 8 | 1 | 7 | 1 | 2 | 25 | 6 | 40 | 13 | 3 | 9 | 27 | 11 | |||
| თ | 35 | 1 | 27 | 1 | 3 | 31 | 1 | 28 | 5 | 1 | 1 | 11 | 56 | 4 | ||
| უ | 1 | 4 | 4 | 4 | 11 | 2 | 6 | 3 | 2 | 8 | 5 | 5 | 5 | 1 | 5 | |
| ფ | 2 | 2 | 2 | 1 | ||||||||||||
| X | 4 | 1 | 4 | 1 | 3 | 1 | 2 | 3 | 4 | 3 | 3 | 4 | 18 | 5 | ||
| C | 3 | 7 | 10 | 2 | 1 | |||||||||||
| ჰ | 12 | 23 | 13 | 2 | 6 | |||||||||||
| შ | 5 | 11 | 14 | 1 | 2 | 2 | 2 | |||||||||
| SCH | 3 | 8 | 6 | 1 | ||||||||||||
| ი | 1 | 9 | 1 | 3 | 12 | 2 | 4 | 7 | 3 | 6 | 6 | 3 | 2 | 10 | ||
| ბ | 2 | 4 | 1 | 1 | 2 | 2 | 2 | 6 | 3 | 13 | 2 | 4 | ||||
| ე | 1 | 1 | ||||||||||||||
| იუ | 2 | 1 | 2 | 1 | 3 | 1 | 1 | 1 | 1 | 1 | 3 | |||||
| მე | 1 | 3 | 9 | 1 | 3 | 3 | 1 | 5 | 3 | 2 | 3 | 3 | 4 | 6 | 3 | 6 |
|
ნაწილი 4 |
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| რ | თან | თ | უ | ფ | X | C | ჰ | შ | SCH | ი | ბ | ე | იუ | მე | |
| რ | 1 | 5 | 9 | 16 | 1 | 1 | 1 | 2 | 8 | 3 | 5 | ||||
| თან | 4 | 11 | 82 | 6 | 1 | 1 | 2 | 2 | 1 | 8 | 17 | ||||
| თ | 26 | 18 | 2 | 10 | 1 | 11 | 21 | 4 | |||||||
| უ | 7 | 14 | 7 | 1 | 8 | 3 | 2 | 9 | 1 | ||||||
| ფ | 1 | 1 | |||||||||||||
| X | 3 | 4 | 2 | 2 | 1 | 1 | |||||||||
| C | 1 | 1 | |||||||||||||
| ჰ | 7 | 1 | 1 | 1 | |||||||||||
| შ | 1 | 1 | |||||||||||||
| SCH | 1 | ||||||||||||||
| ი | 3 | 9 | 4 | 1 | 16 | 1 | 2 | ||||||||
| ბ | 1 | 11 | 3 | 1 | 4 | 1 | 3 | 1 | |||||||
| ე | 1 | 9 | |||||||||||||
| იუ | 1 | 1 | 7 | 1 | 1 | 4 | |||||||||
| მე | 3 | 6 | 10 | 2 | 1 | 4 | 1 | 1 | 1 | 1 | 1 | ||||
ლამაზი მაგიდები კ-გრამის მიღება ადვილია CD-ებზე განთავსებული მრავალი წიგნის ელექტრონული ვერსიის ტექსტების გამოყენებით.
უბრალო ტექსტების შესახებ უფრო ზუსტი ინფორმაციის მისაღებად, შეგიძლიათ ააწყოთ და გააანალიზოთ ცხრილები კ-გრამი ზე კ>2, მაგრამ საგანმანათლებლო მიზნებისთვის საკმარისია შემოვიფარგლოთ ბიგრამებით. უთანასწორობა კ-გრამი (და თუნდაც სიტყვები) მჭიდრო კავშირშია დამახასიათებელი თვისებაღია ტექსტი - მასში ცალკეული ტექსტის ფრაგმენტების გამეორებების დიდი რაოდენობით არსებობა: ფესვები, დაბოლოებები, სუფიქსები, სიტყვები და ფრაზები. ასე რომ, რუსული ენისთვის, ასეთი ნაცნობი ფრაგმენტები ყველაზე გავრცელებული ბიგრამები და ტრიგრამებია:
ST, BUT, EN, TO, NA, OV, NI, RA, VO, KO
STO, ENO, NOV, TOV, OVO, OVA
სასარგებლოა ინფორმაცია ასოების თავსებადობის, ანუ ასოების ერთმანეთთან სასურველი კავშირების შესახებ, რომლის მიღებაც მარტივად შეიძლება ბიგრამის სიხშირის ცხრილებიდან.
ეს ეხება ცხრილს, რომელშიც ყველაზე სასურველი „მეზობლები“ განლაგებულია თითოეული ასოს მარცხნივ და მარჯვნივ (შესაბამისი ბიგრამების სიხშირის კლებადობით). ასეთ ცხრილებში, როგორც წესი, ასევე მითითებულია ხმოვანთა და თანხმოვანთა პროპორცია (პროცენტულად) მოცემული ასოს წინ (ან შემდეგ).
რუსული ასოების კომბინაცია:
| გ | თან | მარცხენა | უფლება | გ | თან | |
|---|---|---|---|---|---|---|
| 3 | 97 | ლ, დ, კ, ტ, ვ, რ, ნ | ა | ლ, ნ, ს, ტ, რ, ვ, კ, მ | 12 | 88 |
| 80 | 20 | მე, ე, ი, მე, ა, ო | ბ | o, s, e, a, r, y | 81 | 19 |
| 68 | 32 | მე, ტ, ა, ე, ი, ო | IN | ო, ა, ი, ს, ს, ნ, ლ, რ | 60 | 40 |
| 78 | 22 | რ, ი, ა, ი, ე, ო | გ | o, a, p, l, i, v | 69 | 31 |
| 72 | 28 | რ, ი, ი, ა, მე, ე, ო | დ | e, a, i, o, n, y, p, v | 68 | 32 |
| 19 | 81 | მ, მე, ლ, დ, ტ, რ, ნ | ე | ნ, თ, რ, ს, ლ, ვ, მ, ი | 12 | 88 |
| 83 | 17 | რ, ე, მე, ა, ი, ო | და | ე, მე, დ, ა, ნ | 71 | 29 |
| 89 | 11 | ო, ე, ა და | ზ | ა, ნ, გ, ო, მ, დ | 51 | 49 |
| 27 | 73 | r, t, m, i, o, l, n | და | s, n, c, i, e, m, k, h | 25 | 75 |
| 55 | 45 | ბ, ვ, ე, ო, ა, ი, ს | TO | o, a, i, p, y, t, l, e | 73 | 27 |
| 77 | 23 | გ, ვ, ს, ი, ე, ო, ა | ლ | მე, ე, ო, ა, ბ, ი, იუ, ი | 75 | 25 |
| 80 | 20 | მე, ს, ა, მე, ე, ო | მ | i, e, o, y, a, n, p, s | 73 | 27 |
| 55 | 45 | დ, ბ, ნ, ო | ნ | o, a, i, e, s, n, y | 80 | 20 |
| 11 | 89 | r, p, k, v, t, n | შესახებ | c, s, t, r, i, d, n, m | 15 | 85 |
| 65 | 35 | in, with, y, a, i, e, o | პ | o, p, e, a, y, i, l | 68 | 32 |
| 55 | 45 | მე, კ, თ, ა, პ, ო, ე | რ | a, e, o, i, y, i, s, n | 80 | 20 |
| 69 | 31 | s, t, v, a, e, i, o | თან | t, k, o, i, e, b, s, n | 32 | 68 |
| 57 | 43 | თ, ი, მე, ა, ე, ო, ს | თ | ო, ა, ე, ი, ბ, ვ, რ, ს | 63 | 37 |
| 15 | 85 | p, t, k, d, n, m, r | უ | t, p, s, d, n, y, w | 16 | 84 |
| 70 | 30 | ნ, ა, ე, ო და | ფ | და, ე, ო, ა, ე, ო, ა | 81 | 19 |
| 90 | 10 | y, e, o, a, s და | X | o, i, s, n, v, p, r | 43 | 57 |
| 69 | 31 | e, yu, n, a და | C | მე, ე, ა, ს | 93 | 7 |
| 82 | 18 | ე, ა, ი, მე, ო | ჰ | e, i, t, n | 66 | 34 |
| 67 | 33 | b, y, s, e, o, a, i, v | შ | ე, მე, ნ, ა, ო, ლ | 68 | 32 |
| 84 | 16 | e, b, a, i, y | SCH | ე, მე, ა | 97 | 3 |
| 0 | 100 | m, r, t, s, b, c, n | ი | l, x, e, m, i, v, s, n | 56 | 44 |
| 0 | 100 | n, s, t, l | ბ | ნ, კ, ვ, პ, ს, ე, ო და | 24 | 76 |
| 14 | 86 | s, s, m, l, d, t, r, n | ე | ნ, თ, რ, ს, კ | 0 | 100 |
| 58 | 42 | ბ, ო, ა, მე, ლ, y | იუ | d, t, sch, c, n, p | 11 | 89 |
| 43 | 57 | ო, ნ, რ, ლ, ა, ი, ს | მე | ვ, ს, თ, პ, დ, კ, მ, ლ | 16 | 84 |
ასოების ერთმანეთთან თავსებადობის გაანალიზებისას უნდა გავითვალისწინოთ ასოების გარეგნობის დამოკიდებულება უბრალო ტექსტში წინა ასოების მნიშვნელოვან რაოდენობაზე. ამ შაბლონების გასაანალიზებლად გამოიყენება პირობითი ალბათობის ცნება.
უბრალო ტექსტებზე დაკვირვება გვიჩვენებს, რომ შემდეგი უტოლობები მოქმედებს პირობით ალბათობებზე: p(a i1)≠p(a i1 /a i2), p(a i1 /a i2)≠p(a i1 /a i2 a i3),....
ანბანის ასოების დამოკიდებულების საკითხს უბრალო ტექსტში წინა ასოებზე სისტემატურად სწავლობდა ცნობილი რუსი მათემატიკოსი A. A. Markov (1856 - 1922). მან დაამტკიცა, რომ ასოების გაჩენა ღია ტექსტში არ შეიძლება ჩაითვალოს ერთმანეთისგან დამოუკიდებლად. ამასთან დაკავშირებით, A. A. Markov აღნიშნა ღია ტექსტების კიდევ ერთი სტაბილური ნიმუში, რომელიც დაკავშირებულია ხმოვანთა და თანხმოვანთა მონაცვლეობასთან. მან გამოთვალა ხმოვან-ხმოვანთა ბიგრამების წარმოშობის სიხშირე ( გ, გ), ხმოვან-თანხმოვანი ( გ, თან), თანხმოვან-ხმოვანი ( თან, გ), თანხმოვან-თანხმოვანი ( თან, თან) რუსულ ტექსტში 10 5 სიმბოლოს სიგრძით. გაანგარიშების შედეგები ნაჩვენებია შემდეგ ცხრილში:
| გ | თან | სულ | |
|---|---|---|---|
| გ | 6588 | 38310 | 44898 |
| თან | 38296 | 16806 | 55102 |
ამ ცხრილიდან ჩანს, რომ რუსულ ენას ახასიათებს ხმოვანთა და თანხმოვანთა მონაცვლეობა, ხოლო ფარდობითი სიხშირეები შეიძლება იყოს შესაბამისი პირობითი და უპირობო ალბათობების მიახლოებები:
გვ(გ/თან)≈0.663, გვ(თან/გ)≈0.872,
გვ(გ)≈0.432, გვ(თან)≈0.568.
A.A. Markov-ის შემდეგ, ტექსტში ასოების გამოჩენის დამოკიდებულება, რამდენიმე წინას შემდეგ, შეისწავლა ინფორმაციის თეორიის მეთოდებით კ. შენონმა. ფაქტობრივად, მათ აჩვენეს, კერძოდ, რომ ასეთი დამოკიდებულება შესამჩნევია დაახლოებით 30 სიმბოლოს სიღრმეზე, რის შემდეგაც იგი პრაქტიკულად არ არსებობს.
ხმოვანთა პროპორცია ლიტერატურულ ტექსტში:
ზემოაღნიშნული შაბლონები ეხება ჩვეულებრივ „წაკითხვადი“ ღია ტექსტებს, რომლებიც გამოიყენება ადამიანთა კომუნიკაციაში. როგორც უკვე აღვნიშნეთ, ეს შაბლონები დიდ როლს თამაშობენ კრიპტოანალიზში. კერძოდ, ისინი გამოიყენება ღია ტექსტის ფორმალიზებული კრიტერიუმების ასაგებად, რაც შესაძლებელს ხდის მათემატიკური სტატისტიკის მეთოდების გამოყენებას ღია ტექსტის ამოცნობის პრობლემაში შეტყობინების ნაკადში. სპეციალური ანბანების გამოყენებისას საჭიროა „ღია ტექსტების“ სიხშირის მახასიათებლების მსგავსი კვლევები, რომლებიც წარმოიქმნება, მაგალითად, მანქანა-მანქანა ინფორმაციის გაცვლის დროს ან მონაცემთა გადაცემის სისტემებში. ამ შემთხვევებში, „მკაფიო ტექსტის“ ფორმალიზებული კრიტერიუმების აგება ბევრად უფრო რთული ამოცანაა.
მაგალითად, მოდით მივცეთ ასოების სიხშირის მახასიათებლები ინგლისური ანბანი, შედის ASCII კოდში.
კრიპტოგრაფიის გარდა, ღია შეტყობინებების სიხშირის მახასიათებლები მნიშვნელოვნად გამოიყენება სხვა სფეროებში. მაგალითად, კომპიუტერის კლავიატურა, საბეჭდი მანქანა ან ლინოტიპი არის აკრეფის დაჩქარების იდეის მშვენიერი განსახიერება, რომელიც ასოცირდება ანბანის ასოების ერთმანეთთან შედარებით განლაგების ოპტიმიზაციასთან, მათი გამოყენების სიხშირის მიხედვით.
ლიტერატურა:
ალფეროვი ა.პ. და სხვ., "კრიპტოგრაფია"
Yaglom A.M., Yaglom I.M., ალბათობა და ინფორმაცია, M.: Nauka, 1973 წ.
Baudouin C., Elements de cryptographie / ედ. პედონე ა – პარიზი, 1939 წ.
Friedman W. F., Callimahos D., Military cryptanalysis, Part I, Vol 2, Aegean Park Press, Laguna Hills CA, 1920 წ.
რომელი ასოა ყველაზე ხშირად გამოყენებული რუსულ ენაზე? და რა არის ყველაზე მარტივი გზა გასარკვევად და საუკეთესო პასუხის მისაღებად
პასუხი ვიქტორ ედინოვიჩისგან[გურუ]
ერთადერთი სწორი პასუხი! ერთ დროს ნებისმიერ ტიპოგრაფს გამოცდილებიდან იცოდა, რომელი შრიფტი (ასო) იყო ყველაზე მეტად გამოყენებული აკრეფისას.
ვიქტორ ედინოვიჩი
განათლებული
(38377)
არა. უბრალოდ მე ვარ ყოფილი ენციკლოპედისტი მეცნიერი...
პასუხი ელიზავეტა ვენცევიჩი[გურუ]
მგონი "A".
პასუხი ალექსანდრა ლაპიკოვა[გურუ]
მწერლის კლავიატურაზე ცვეთა ხარისხის მიხედვით
პასუხი იოლაფკა[გურუ]
ბუკაფკა AAAAAAAAAAAA ))))
პასუხი ბობა ბობაჰობი[გურუ]
მე ვფიქრობ, რომ ასო "X" არის მტკიცებულება? უბრალოდ გაისეირნე ქუჩაში
პასუხი *
[ექსპერტი]
ყველაზე ხშირად გამოყენებული 3 ასოა U Y X
პასუხი ჩართულია[გურუ]
ალბათ კომერსანტი
პასუხი დიუსმიკეევი ვალერი[გურუ]
ასო ა
პასუხი &I[გურუ]
როგორ ხუმრობს ყველა. რა თქმა უნდა ასო O!!!
პასუხი პაველ მაკაგონოვი[გურუ]
O, შემდეგ E, შემდეგ I, შემდეგ A. შემდეგ თანხმოვნები N, T, S, R და ა.შ.
მათემატიკა უნდა გამეკეთებინა ტექსტების დიდი რაოდენობით. ნუ ენდობით ხულიგნებს.
პასუხი ელენა სტრეტბერი[აქტიური]
რა თქმა უნდა ასო R. იმიტომ რომ კლავიატურის შუაშია!! ! 🙂
პასუხი ინგა ზაიონცი[გურუ]
ჩვენ ვიღებთ ნებისმიერ ლექსიკონს, ყველაზე მეტად სიტყვა, რომელიც იწყება "p", "r"-ის შემდეგ, "o"-ს შემდეგ, "T"-ის შემდეგ, ბოლოს და ბოლოს რუსულისთვის ყველაზე დამახასიათებელი სიტყვა არის ფართო და სიმარტივე.
დალის მიხედვით
პასუხი ალექსანდრ რეიზერი[გურუ]
შეეცადეთ გამოიცნოთ რუსული ენის რომელი ასოა ყველაზე გავრცელებული?
ასო O. გაჩენის სიხშირე – 0,090. ანუ 1000 ასოს თანმიმდევრობით ასო O საშუალოდ 90-ჯერ გამოჩნდება.
რომელი ასოები იკავებს წამყვან პოზიციებს და გვხვდება ყველაზე ხშირად?
ხმოვანთა. ეს არის ის, ვინც ყველაზე ხშირად გვხვდება რუსულ ენაში, რაც ჩვენს მეტყველებას "მელოდიური" ხდის. O-ს შემდეგ არის ასო E და E (ერთად არ არის გამოყოფილი, რადგან წერისას ხშირად კარგავენ E-ს). გაჩენის სიხშირე – 0,072. მათ უკან არის ასოები A და I. თითოეული მათგანის გამოჩენის სიხშირეა 0,062.
ეს საკმარისია ტექსტის გაშიფვრისთვის? პრინციპში, დიახ, თუ დარწმუნებული ვართ, რომ კოდების თანმიმდევრობა შეიცავს ტექსტს რუსულ ენაზე ჩვენთვის ცნობილ ან უცნობ ზოგიერთ კოდირებაში. მაგრამ ყოველთვის არის გარკვეული ალბათობა, რომ კოდების წარმოდგენილ თანმიმდევრობას საერთო არაფერი აქვს რუსულ ენასთან. ამის დასადასტურებლად, თქვენ უნდა გამოიყენოთ სიტყვების სიხშირის ლექსიკონი რუსულ ენაზე.
როგორ ფიქრობთ, რომელი სიტყვა გვხვდება ყველაზე ხშირად რუსულ ენაში?
I კავშირს მოსდევს მეტყველების თანაბრად მოკლე ნაწილები - IN, NOT, OH, ON. მაგრამ ყველაზე ხშირად, რა თქმა უნდა, იქნება უფსკრული.
გაშიფრული ტექსტი შესატყვისად უნდა შემოწმდეს სიხშირის ლექსიკონის გამოყენებით. და მხოლოდ მეტ-ნაკლებად სრული დამთხვევით შეგვიძლია ვთქვათ, რომ საქმე გვაქვს რუსულ ენაზე დაწერილ ტექსტთან.
ეს იძლევა 100% შედეგს, თუ ტექსტი საკმარისად დიდია. თუ ჩვენ ვსაუბრობთ რამდენიმე სიტყვაზე, მაშინ ასოების (და მით უმეტეს სიტყვების) სიხშირე შეიძლება დაირღვეს. რა უნდა გააკეთოს ამ შემთხვევაში? მკითხველს უნდა შევთავაზოთ არჩევანის რამდენიმე ვარიანტი. ტექსტის გაშიფვრა ერთ-ერთი ყველაზე გავრცელებული ხმოვანი ასოების გამოყენებით. ხმოვნები! ისინი ყოველთვის უფრო ხშირად გამოჩნდებიან, ვიდრე სხვა ასოები. თუ ტექსტი დაშიფრულია რუსულ ენაზე, მაშინ წარმატება გარანტირებულია.