English    Русский


Ілюстрації. Література. Додаткові матеріали Перелік друкованих робіт академіка АН СРСР В.М.Глушкова.Російською мовою Комп'ютери. Периферійні прилади. Мережі. Використання комп'ютерів в системах Віктор Михайлович Глушков. Життя та творчість. Зміст Віктор Глушков - основоположник інформаційних технологій в Україні та колишньому СРСР
Про одну ідею академіка В.М.Глушкова, яка випередила час
Комп'ютер "Киев"
ілюстрації


Стаття висвітлює одну з ідей у галузі штучного інтелекту, сформульовану вперше академіком В.М.Глушковим, а саме, про навчання комп'ютера розпізнавати осмисленість речень природної мови. ідея та результати машинних експериментів подаються переважно за допомогою цитат з наукових праць В.М.Глушкова.

In the article the idea firstly formulated in the field of artificial intellect by Academician V.M. Glushkov to teach the computer to recognize the meaning of natural language sentences is presented together with the computer experiments results. In particular, presentation is widely illustrated by citation from V.M. Glushkov's scientific papers.

Про одну ідею академіка В.М.Глушкова, яка випередила час

Н.М.Міщенко. 2013

Винахід перших електронних обчислювальних машин (ЕОМ) у другій половині 30-х та першій половині 40-х років XX століття, призначених для вирішення задач математики та математичної фізики, було стимульовано, в основному, потребами військово-морських відомств країн-учасниць Другої світової війни. Перехід до мирного часу ознаменувався початком застосування ЕОМ в інших сферах діяльності. Так, у середині 1950-х років у Москві розпочалися інтенсивні роботи з машинного перекладу в Інституті прикладної математики АН СРСР (О.С.Кулагіна), в Інституті мовознавства АН СРСР (І.А.Мельчук). У 1-му Московському державному педагогічному інституті іноземних мов у травні 1958 року відбулася Всесоюзна конференція з машинного перекладу (340 делегатів), коротка інформація про яку подана у збірнику "Проблеми кібернетики" вип. 2 за 1959 рік.

У червні 1959 року у Парижі відбулася Міжнародна конференція з обробки інформації ([1]). У розділі Праць конференції "Розпізнавання образів та машини, що навчаються" представлено 17 статей різної тематики: машинне розпізнавання образів, символів, мови, доказ теорем у обчисленні предикатів, в геометрії та ін.

Віктор Михайлович Глушков, доктор фізико-математичних наук, директор утвореного в Києві наприкінці 1957 року Обчислювального центру АН УРСР (далі - ОЦ), на той час був уже відомим фахівцем в абстрактній галузі математики - топологічної алгебри, проте він відразу оцінив можливості ЕОМ бути помічником людини у всіх сферах її діяльності, у тому числі й у галузі штучного інтелекту (ШІ). Така можливість з'явилася у ОЦ після встановлення у 1958 році двох універсальних ЕОМ - "Урал-1" та "Київ". Про ранній початок робіт зі створення ШІ в ОЦ свідчить уривок із монографії В.М.Глушкова [2] (тут і далі цитати наводяться курсивом):

"...автор ще у 1958 році успішно використовував універсальну електронну обчислювальну машину "Урал" для перевірки правильності доказу теорем в одній алгебраїчній теорії (яка, до речі, загалом є алгоритмічно нерозв'язною)".

Спочатку ЕОМ "Київ" орієнтувалася на вирішення задач обчислювальної математики, але починаючи з 1959 року, на ній вирішувалися також задачі, що стосуються ШІ: побудова автоматичного словника для перекладу (Л.А.Калужнін, А.О.Стогній, Л.С. Стойкова); статистичне дослідження друкованих текстів (Л.А.Калужнін, С.Н.Якименко); статистика флексій на матеріалі російської мови 1-го рівня (І.П.Севбо); автоматичне розпізнавання літер та цифр методом аналізу напряму (В.А.Ковалевський, А.Г.Семеновський); морфологічний аналіз текстів російською мовою (Н.М.Грищенко - дівоче прізвище автора цієї статті). Ці та інші результати висвітлювалися на Другій науковій конференції з обчислювальної математики та обчислювальної техніки, що проводилася в ОЦ 6-9 червня 1960 року ([3]).

Пріоритет розвитку штучного інтелекту у діяльності В.М.Глушкова підтвердився під час його візиту до США у складі радянської делегації у квітні-травні 1959 року, що відбувся у рамках обміну делегаціями вчених між США та СРСР ([4]). Серед заявлених ним в анкеті інтересів був і такий перекладений англійською мовою, як machine learning - термін, що означає здатність програм до самовдосконалення в процесі їх виконання.

У Нью-Йорку в Обчислювальному центрі (ОЦ) фірми IBM було продемонстровано гру з ЕОМ у шашки, яку, до речі, делегат В.А.Діткін, заступник директора ОЦ у Москві, виграв. В окремій аудиторії для учасників радянської делегації була прочитана коротка лекція з машин, що навчаються. Автори статті [4] називають лише В.М.Глушкова, який поставив кілька запитань на тему лекції.

У відділі В.М.Глушкова систематично проводилися семінари під його безпосереднім керівництвом. Якось на семінарі 1961 року В.М. доручив мені прореферувати статтю [5], в якій досить детально було описано програму під назвою General Problem Solver (GPS), у дослівному перекладі - "Загальний вирішувач проблем". Роботу програми продемонстровано у статті на прикладах доказу тотожностей у загальній алгебрі. Тоді я тільки почала вивчати англійську мову під керівництвом досвідченого вчителя Цукермана, якого В.М. запросив до ОЦ спеціально для навчання співробітників англійської мови. Розповідаючи зміст статті, дивувалася, коли В.М., випереджаючи доповідачку, робив висновки, що збігаються з висновками статті.

Створення в комп'ютері ШІ, порівнянного з людським, є надзвичайно складним завданням. У статті "Штучний інтелект" (ШІ), вміщеній у збірнику [6], В.М.Глушков описує шлях до реалізації ШІ, на якому слід, насамперед, алгоритмізувати процес мислення людини, створити модель світу, що містить початкове уявлення про світ, та засоби спілкування людини з комп'ютером для розвитку моделі. В.М. наводить критерій, сформульований англійським математиком Тьюрингом (1912-1954), яким можна встановити, чи може представлена для тестування інформаційно-програмна система належати ШІ. Згідно з Тьюрингом відповідь буде позитивною, якщо протягом досить тривалого часу людина, яка веде діалог з двома партнерами, що знаходяться за стінкою, не зможе впевнено розрізнити, хто його партнер з діалогу: людина або комп'ютер.

Поставлене завдання створення ШІ, порівнянного з людським, навряд чи можна здійснити в найближчому майбутньому, але створення ШІ для окремих спеціалізованих областей цілком здійсненне. Створюються моделі таких галузей. Одна з них, за часом перша - автоматичний переклад текстів природними мовами - після початкових, не зовсім вдалих експериментів, став досить кваліфікованим помічником людини. Цитую В.М. з [6]:

"Розширення кола таких спеціалізованих моделей значно наближає нас до можливості задоволення тесту Тьюринга. Щоправда, повна відповідність тесту може бути досягнуто лише тоді, коли модель виявить здатність до навчання".

У цій статті розглядається запропонований В.М.Глушковим алгоритм навчання комп'ютера розпізнавати свідомість фраз природною мовою, розширювати словник, створювати нові поняття на прикладі різних фраз. Мені було доручено у січні 1961 року програмувати цей алгоритм та проводити експерименти на ЕОМ "Київ".

В.М.Глушков у монографії [2] пояснив, як слід розуміти свідомість фраз у запропонованому їм алгоритмі навчання машини:

"...Поняття свідомості фрази точно не визначається. Передбачається просто, що "вчитель" якимось способом, дотримуючись, однак, звичайного життєвого поняття про сенс або безглуздість, зробив розбиття всіх фраз на два класи, що не перетинаються: клас осмислених фраз і клас безглуздих фраз. У процесі навчання кожній фразі, що подається на вхід алгоритму, зіставляється ознака її приналежності одному з цих двох класів..."

Найбільш раннє зі знайдених мною друкованих свідчень В.М.Глушкова про навчання машини належить до липня 1960 року, коли В.М. розповідав про цю ідею американському делегату міжнародного конгресу IFAC (International Federation of Automatic Control), який відбувся з 27 червня по 7 липня 1960 року в Москві. В американському журналі [7] була надрукована стаття-звіт, під назвою "Soviet Cybernetics and Computer Sciences - 1960", в якій автор, делегат конгресу зі США Edward A.Feigenbaum, представив інформацію про конгрес. Він мав дозвіл на відвідування кількох міст СРСР для ознайомлення з обчислювальними центрами та провідними вченими. У його плани входило відвідування Києва як головного центру кібернетичних досліджень у Радянському Союзі. З публікацій він знав про кілька дослідницьких проєктів, що проводились у Києві: моделювання діяльності вищої нервової системи; розпізнавання образів; математичні основи конструювання машин для діагностики серцевих захворювань; перевірка правильності математичних доказів; економічна кібернетика та інші.

Прибувши до Києва, він зателефонував до ОЦ АН УРСР з аеропорту, одразу отримав відповідь і негайно був доставлений до ОЦ машиною. Він пише (у перекладі з англійської):

"Я був зустрінутий тепло і з ентузіазмом доктором Глушковим, директором Центру, видатним теоретиком. Він розповідав про свою роботу в деталях. Говорив англійською, іноді запинаючись, але розумів усе, про що я говорив".

У ході розмови В.М. розповів делегату конгресу про свої результати в теорії абстрактних автоматів, а також про розпочаті роботи в галузі ШІ та, зокрема, про проблему навчання комп'ютера розпізнавати осмисленість фраз природної мови. Наводжу фрагмент із розповіді В.М. у перекладі з англійської:

"...Наша мета полягає в тому, щоб задати машині певну кількість осмислених пропозицій, і після їх обробки попросити машину відповісти, осмислено чи ні новозадана пропозиція. Якщо машина помилилася, то вказати на помилку. Ідея полягає в тому, щоб машина сформувала класи з тих осмислених пропозицій, які були вже подані, наприклад, нехай сформований клас об'єктів, які можуть стояти - будинок, хлопчик, людина, дитина. Якщо пропозиція з дієсловом "думати" буде подана вперше, машина правильно відповість, що "хлопчик думає", "чоловік думає", "дитина думає", а "будинок думає" - помилка. Тоді вона повинна сформувати новий клас об'єктів, які "стоять, але не думають". Число класів може бути дуже великим, але набагато менше безлічі всіх осмислених пропозицій, які можна побудувати зі слів заданого словника. Цей процес розщеплення та формування класів можна ініціювати і для пропозицій "іменник - дієслово - прийменник - іменник".

Висновки американського делегата - автора звіту про його зустрічі з вченими СРСР у перекладі з англійської:

"Оскільки роль комп'ютерів у сучасних науках і технологіях зростає, то немає сумніву в тому, що незабаром СРСР виготовлятиме стільки комп'ютерів, скільки йому потрібно. Наскільки ефективно вони будуть використовуватися, сказати неможливо, але поїздка автора переконала його в наступному: ...З'явилася група вчених і математиків, особливо в Москві та Києві, а, можливо, і в інших місцях, які поінформовані, зацікавлені та активні в таких галузях як теоретична кібернетика, моделі мозку, машини, що навчаються, комп'ютерний контроль інформації та використання комп'ютерів для планування економіки. Якщо читач хоче сам переконатися в цьому, автор звіту пропонує переглянути зміст п'ятитомної серії "Проблеми кібернетики" за редакцією О.А.Ляпунова, який сьогодні є одним з найбільших математиків світу. Дослідження в галузі ШІ та інших застосувань комп'ютерів стають перспективними, чого не можна було помітити ще рік тому".

І на закінчення звіту автор зазначив, що США мають певні переваги над СРСР у проєктуванні та виготовленні комп'ютерів, але в СРСР немає відставання у розвитку фундаментальних ідей у цій галузі.

У лютому 1961 року я розпочала програмувати алгоритм В.М.Глушкова навчання машини, маючи певний досвід програмування для ЕОМ "Київ": з 1959 року навчалася програмувати у відділі програмування, яким керувала К.Л.Ющенко. До середини 1960 року мною був запрограмований і випробуваний на ЕОМ "Київ" на аналізі окремих слів російської мови алгоритм морфологічного аналізу (МА), запропонований І.А.Мельчуком, тоді молодшим науковим співробітником Інституту мовознавства АН СРСР, Москва. За свідченням І.А.Мельчука, ця програма була першою такого призначення у СРСР. Моя стаття про програму МА була надрукована у зб. "Проблеми кібернетики", вип. 6 за 1962 рік разом зі статтею І.А.Мельчука.

ЕОМ "Київ" та всі машини того покоління не були пристосовані до введення-виведення та обробки текстової інформації, тому програмування та налагодження програм ШІ були досить трудомісткими. Для програми МА вводилися числа - закодовані вручну слова, ЕОМ друкувала результат у вигляді чисел, які слід перекодувати в слова. Робота над алгоритмом МА допомогла мені освоїти програмування текстових задач та викликала певний резонанс у ОЦ, що, очевидно, сприяло запрошенню мене до відділу В.М.Глушкова наприкінці 1960 року для програмування алгоритму навчання машини.

Наводжу постановку задачі з навчання комп'ютера розпізнавати осмисленість простих пропозицій російської мови з монографії В.М.Глушкова [2].

"...Точна постановка задачі про навчання розпізнаванню сенсу фраз полягає в наступному: необхідно побудувати самовдосконалювану систему алгоритмів, яка, після повідомлення їй деякого числа N1 випадково вибраних фраз із загального числа N осмислених фраз даної конструкції, навчилася б правильно розпізнавати осмисленість будь-якої фрази цієї ж конструкції, тобто відносити цю фразу або до осмислених, або до безглуздих фраз.

У процесі навчання розрізняють два режими: режим навчання та режим іспиту. У режимі навчання системі подають кілька (не всі) осмислених фраз. Потім у режимі іспиту подають фрази, а система має відповідати, вони мають сенс чи безглузді. У разі неправильної відповіді можна підказувати і таким чином навчати в режимі іспиту. Якщо в режимі навчання подати всі осмислені фрази, то машина завжди відповідатиме правильно. Такий процес ("зубріння") називається тривіальним. Заслуговує на увагу нетривіальний процес, коли системі подається частина осмислених фраз, а вона починає правильно відповідати на всі подані їй під час іспиту осмислені фрази.

...Пропонована система, що самовдосконалюється, для розпізнавання сенсу фраз, яку називатимемо смисловим дискримінатором, ґрунтується на ідеї фіксації зв'язків між різними осмисленими фразами за допомогою введення нових понять. Стосовно фраз найпростішої конструкції "підмет - присудок" доцільно вводити нові слова (поняття) для позначення класів іменників, що поєднуються з тими чи іншими множинами дієслів".

Саме у такому вигляді алгоритм було запрограмовано. Проте, у програмі дозволялися і конструкції фраз типу підмет - присудок - доповнення (з прийменником чи без). Програма складалася із 400 команд ЕОМ "Київ".

Під час роботи над програмуванням алгоритму навчання машини та проведенням експериментів моїм безпосереднім керівником був Анатолій Олександрович Стогній (1932-2007), на той час аспірант В.М.Глушкова. Він подав мені алгоритм навчання машини усно (алгоритм тоді ще не був опублікований), я йому передавала результати машинних експериментів, які він обговорював з В.М. без моєї участі.

По закінченні роботи з програмою навчання всі матеріали про експерименти, у тому числі й програму було передано А.О.Стогнію. У моєму архіві зберігається лише чернетка однієї таблиці з підсумковими результатами кількох серій експериментів (40 іменників, 50 дієслів і кілька прийменників) без вказівки часу їх проведення. Подаю результати двох серій експериментів без пояснень. Машині подано 333 пропозиції, отримано 12 класів, у яких зафіксовано 31 зв'язок іменників з дієсловами. Після самонавчання - 48 зв'язків, з них невірних 14. Після збільшення кількості пропозицій вдвічі отримано: 11 класів, 43 зв'язки, після самонавчання - 50 зв'язків, з них 3 невірних. В експериментах використано тривіальний алгоритм екстраполяції досвіду, оскільки новий алгоритм екстраполяції В.М.Глушкова тоді мені не був відомий.

5-6 травня 1961 року в Києві відбувся симпозіум "Принципи побудови систем, що самонавчаються", були видані тези доповідей [8]. На симпозіумі В.М.Глушков зробив доповідь "Про навчання розпізнавання осмислених пропозицій на ЕОМ", співдоповідачі А.О.Стогній та Н.М.Грищенко. У доповіді В.М. наведено нові факти порівняно з тими, які були вже запрограмовані. Доповіді щодо конкретних результатів В.М. завжди супроводжував розповіддю про перспективи подальших досліджень.

Після симпозіуму програму навчання комп'ютера було розширено у зв'язку з новими фактами, озвученими В.М. у доповіді.

На симпозіумі відбулися ще дві доповіді з ОЦ: В.М.Глушков, В.А.Ковалевський, В.І.Рибак "Про один алгоритм навчання розпізнаванню образів"; О.А.Летичевський, А.А.Дородницина "Моделювання природного відбору", експерименти з моделювання згодом демонструвалися в ОЦ на дисплеї, приєднаному до машини "Київ".

У збірнику "Проблеми кібернетики", Вип. 7 1962 року видання в розділі "Хроніка" були опубліковані назви та анотації доповідей цього симпозіуму.

Збірники "Проблеми кібернетики" за редакцією О.А.Ляпунова були цікаві й для вчених США. Очевидно, цьому посприяв делегат конгресу IFAC у Москві 1960 року Edward A.Feigenbaum, який відвідав у Києві В.М.Глушкова. У 1963 році у США з'явився меморандум під назвою "Soviet Cybernetics Technology: 1. Soviet Cybernetics, 1959-1962". Редактори Willis H.Ware та Wade B.Holland. До речі, Willis H.Ware очолював американську делегацію, яка відвідала СРСР, зокрема і Київ 28 травня 1959 року в рамках обміну делегаціями вчених між США та СРСР. Він був редактором та співавтором звіту про цей візит. У звіті коротко описані та сфотографовані ЕОМ "Київ", СЕСМ З.Л.Рабіновича, аналогова машина Г.Є.Пухова, пристрій, що читає В.А.Ковалевського.

Меморандум містить переклади англійською мовою більшості статей із збірників "Проблеми кібернетики" за 1959-1962 роки. Зокрема, із Вип. 7 цієї збірки у меморандумі наведено інформацію про симпозіум у Києві у 1961 році. Висловлено жаль про те, що вони не змогли знайти праць симпозіуму, тоді як у збірнику стверджується, що вони вже видані. Насправді, у збірці надруковано "тези видано". Тези були опубліковані у 1961 році до початку симпозіуму, а у 1962 році вийшла у Києві збірка [9], що містить текст доповіді В.М.Глушкова про навчання машини.

У Ленінграді (нині С.-Петербург) 3-12 липня 1961 року відбувся 4-й Всесоюзний математичний з'їзд. На з'їзд із ОЦ було відряджено рекордну кількість математиків та програмістів (до 20 осіб). Усі летіли в одному літаку з В.М.Глушковим. Дорогою він показував через ілюмінатори різні визначні місця, зокрема, озера Чудське, Ладозьке. Щоб побачити, співробітники ОЦ бігали від одного ілюмінатора до іншого, викликаючи занепокоєння стюардес. Здається, у літаку була лише наша делегація.

На з'їзді В.М.Глушков виступав на пленарному засіданні з доповіддю "Алгебраїчна теорія автоматів". Співробітники ОЦ виступали у секції "Обчислювальна математика". В.М.Глушков зробив доповідь "Деякі математичні проблеми теорії автоматів, що навчаються", А.О.Стогній, Н.М.Грищенко виступили з доповіддю "Навчальна алгоритмічна система для розпізнавання осмислених пропозицій".

У зв'язку з розширенням нечислових областей застосування комп'ютерної техніки виникла потреба у вдосконаленні комп'ютерів. Перелік вимог щодо удосконалення та їх обґрунтування були темою кандидатської дисертації А.О.Стогнія. У лютому 1962 року відбувся успішний захист його дисертації під назвою "Дослідження раціональних принципів побудови універсальних цифрових машин для перетворення буквеної інформації". У дисертації розглянуто кілька логічних задач, виконаних на ЕОМ "Київ" під керівництвом А.О.Стогнія. У тому числі розглянуто алгоритм та експерименти з навчання машини розпізнавати зміст простих речень природною мовою.

Наприкінці травня 1962 року відбулася знаменна подія - Обчислювальний центр АН УРСР було перетворено на Інститут кібернетики АН УРСР (далі - ІК). В.М.Глушков - директор ІК та завідувач відділу теорії цифрових автоматів з 25.05.1962 року.

Якось на своєму робочому столі серед інших паперів я випадково виявила написану В.М.Глушковим записку з написом рукою Стогнія - Наді. Подаю її текст:

""Тривіальний алгоритм навчання розпізнаванню осмислених фраз. Алгоритм з екстраполяцією досвіду. Вироблення понять. Кореляційні зв'язки між поняттями та ефективність навчання. Пошук ефективних алгоритмів навчання на основі статистичних випробувань".

Що означала ця записка, що складається з перших фраз тез доповіді на симпозіумі [8]? Відповідь А.О.Стогнія вже забутий. Алгоритм навчання машини, поданий А.О.Стогнієм для програмування усно, за змістом відповідав першим і третім реченням записки з тривіальним алгоритмом екстраполяції досвіду. Стаття В.М.Глушкова, що містить ряд нетривіальних алгоритмів навчання, була надрукована у збірнику [9] у квітні-травні 1962 року. Тоді виявилось, що програму необхідно вдосконалювати, але я вже отримала нове завдання з іншої теми.

Пізніше з монографій В.М.Глушкова стало відомо, що роботі з навчання машини В.М. надавав великого значення. А 1962 року піти до В.М. з питанням про продовження роботи з навчання автор, тоді ще молодий фахівець, не могла й подумати. Стогній на той час був дуже зайнятий. Вже тоді було правило - повідомляти результати В.М. мають його безпосередні підлеглі відповідно до принципу децентралізації управління, який змушений був заснувати В.М. через відсутність часу для роботи з безпосередніми виконавцями. Про те, в якому цейтноті постійно працював В.М., можна дізнатись зі статті його помічника В.В.Мойсеєнка [10].

Так і зберігається у мене записка В.М., що нагадує про незакінчену роботу.

З 27 серпня по 1 вересня 1962 року у Мюнхені відбувся конгрес IFIP-62 (International Federation for Information Processing). У рамках конгресу було організовано симпозіум з ШІ, де було представлено 5 доповідей. Тему симпозіуму озвучив М.Мінський (MIT, Cambridge, USA) (у перекладі російською мовою):

"...Машини вже доводять теореми, вигадують музику, грають у ігри (не дуже добре, але краще ніж звичайна людина). Продуктивність машин сьогодні дозволяє сподіватися, що завтра ми зможемо побачити творчу роботу машин. Багато хто вважає, що це неможливо, і що машини не здатні до інновацій (innovations). Це питання пропонуємо для обговорення на симпозіумі".

Доповіді розглядали різні підходи та умови для отримання інновацій за допомогою машини. В.М. Глушков виступив з доповіддю (у перекладі російською мовою) "Деякі питання теорії самонавчання машин" ([11]). Серед кількох тем, поданих у доповіді, головну увагу В.М. зосередив на експерименті з самонавчання комп'ютера розпізнавати осмислені речення природної мови. Експеримент показав можливість отримувати нову інформацію від машини після її навчання на обмеженій кількості заздалегідь поданих їй осмислених пропозицій. В.М. Глушков представив на симпозіумі вдосконалений алгоритм навчання за рахунок введення в алгоритм екстраполяції осмисленості коефіцієнтів: "терпіння" та "обережності". Ймовірно, удосконалення алгоритму було виконано після аналізу результатів за підсумками перших експериментів на ЕОМ "Київ". Пропоную скорочений опис удосконаленого алгоритму навчання, вміщений у збірнику [6].

"...Розглядаються осмислені фрази найпростішої конструкції: підмет-присудок. Для цього використовується обмежений словник іменників і дієслів. Ці фрази спочатку вводяться в машину, яка запам'ятовує їх без жодної зміни ("голе зубріння"). Коли число фраз з одним і тим же присудком перевершує деяку фіксовану величину - так званий коефіцієнт терпіння (КТ - Н.М.), характер запам'ятовування змінюється. Нехай КТ=2, а машині після двох осмислених фраз "професор думає" і "студент думає" була повідомлена нова осмислена фраза "хлопчик думає". Тоді машина вводить нове поняття для позначення всіх думаючих і запам'ятовує, що всі троє людей відносяться до цього класу.

...Принципово новий ефект досягається запровадженням так званого процесу екстраполяції осмисленості, керованого деяким коефіцієнтом, який називається коефіцієнтом обережності (КО - Н.М.). Припустимо, що КО=2, а машиною вже утворено клас думаючих. Якщо тепер повідомити, що, скажімо, професор і хлопчик можуть також і говорити, то машина екстраполює висновок, що всі, хто думає, є разом з тими, хто говорить. В результаті машина зробить правильний висновок про те, що фраза "студент говорить" є осмисленою фразою, хоча вона і не містилася серед поданих осмислених фраз під час навчання машини.

Зрозуміло, в процесі екстраполяції машина може дійти і неправильних висновків. Щоб зменшити кількість помилок, перед екстраполяцією машина складає кілька фраз з дієсловом говорити, вибираючи випадковим чином іменники з тих, що стоять. Повідомивши ці фрази вчителю, машина запитує, чи вони осмислені? І лише отримавши на запитання ствердну відповідь, машина виробляє екстраполяцію".

У тексті доповіді у Мюнхені є посилання на публікацію з навчання у збірнику [9].

На конгресі в Мюнхені була також представлена доповідь [12], автор А. Newell з Carnegie Institute of Technology, USA - один із авторів програми GPS, про яку згадувалося вище. Доповідь присвячена узагальненню досвіду роботи з програмою GPS, детальному розгляду евристик, що використовуються у програмі, огляду робіт інших авторів. У доповіді також запропоновано уточнення терміна "machine learning". На думку автора термін "самонавчання машини" найбільше підходить на випадок, коли позитивний досвід, що накопичується машиною, передається до наступного сеансу її роботи. Цей термін цілком застосовний до алгоритму В.М.Глушкова навчання машини.

Незабаром після конгресу В.М. Глушкову надійшов лист із США від Саула Амареля (Saul Amarel), витяг з якого подаю у перекладі українською мовою:

"...Під час вашої цікавої презентації на симпозіумі з штучного інтелекту в Мюнхені в рамках конгресу IFIP-62 ви згадали статтю, присвячену вашим дослідженням з штучного інтелекту, які були представлені на симпозіумі з систем, що самоорганізуються в Києві.

Оскільки я дуже зацікавлений у дослідженнях із штучного інтелекту, то був би дуже вдячний вам за отримання препринту вашої доповіді на Київському симпозіумі, а також інших матеріалів про ваші останні роботи. Особливо цікавлюся механізмами формування понять і хотів би також дізнатися більше про ваш проєкт машинного розпізнавання свідомості фраз, складених з обмеженої мови".

Підпис: Sincerely Saul Amarel - Head of Computer Theory Group in the Radio Corporation of America (RCA) Laboratories (Princeton).

Довідка: Saul Amarel (1928-2002) був професором університету Ратгерс (Rutgers University). Він відомий завдяки своїм піонерським роботам з ШІ з початку 1960-х років.

Чи була надіслана відповідь на лист Saul Amarel, невідомо.


Представлений у доповіді на конгресі в Мюнхені в 1962 році алгоритм навчання машини з екстраполяцією свідомості став відомий мені в 2003 році, коли вдалося знайти Праці конгресу в Мюнхені, видані після конгресу - в 1963 році.

Дуже шкода, якщо цей цікавий алгоритм не буде реалізовано. Реалізувати його ефективно на тих машинах навряд чи було можливо. Згадується досвід Чарльза Беббіджа, який розробив у 1840-х роках проєкт Аналітичної машини з багатьма властивостями нинішніх комп'ютерів і за життя не зміг її збудувати через відсутність технічних засобів та фінансування. Його проєкт випередив час більше ніж на сто років - мрія Беббіджа здійснилася лише у 1950-х роках у США (машина MARK I Говарда Айкена).

З червня 1962 року поряд з експериментами з навчання машини я виконувала за завданням А.О.Стогнія нове актуальне завдання - моделювання машини "МИР" спочатку на ЕОМ "Київ", а пізніше на М-20.

У травні 1963 року в Каневі відбувся Симпозіум-2 "Принципи побудови систем, що самонавчаються". На Симпозіумі було представлено доповідь: В.М. Глушков, Н.М. Грищенко, А.О. Стогній "Про експерименти з розпізнавання осмислених речень".

Ідеї навчання машини розпізнавати свідомість фраз природної мови (в експериментах - російської) В.М. надавав велике значення, про що свідчить її подання на конференціях, симпозіумах, у спогадах, у статтях, монографіях, наприклад, у [13], [14], [15], [16], [17] з посиланнями на статтю у збірнику [9].

Стаття [15] присвячена загальному формулюванню проблеми навчання мови на основі досліджень, проведених В.М. Глушковим з цієї теми.

У монографії [16], де ШІ присвячена окрема глава, В.М. пов'язує проблему розуміння текстів природними мовами за допомогою комп'ютерів з проблемою осмисленого діалогу людини з машиною.

"...Проблема розуміння текстів природними мовами неспроможна вважатися остаточно вирішеною, якщо призначена для цих цілей автоматична система неспроможна вести осмислений діалог із людиною і, найголовніше, навчатися в результаті діалогу.

При веденні такого діалогу важливо вміти здійснювати автоматичний переклад із зовнішнього мовного подання мовою семантичної мережі і назад. З цією метою зручно використовувати апарат формальних семантичних граматик із процедурами класифікації та поєднання мовних оборотів, рівнозначних за змістом.

...Слід зазначити, що побудова семантичних граматик значною мірою полегшується застосуванням процедур, що будують семантичну класифікацію в результаті аналізу правильних і неправильних фраз, що пред'являються системі (як з погляду синтаксису, так і з погляду семантики). Один із способів такої класифікації був запропонований автором ще у 1961 році..."

Зупинимося на спогаді В.М. в останні дні його життя на тему ШІ про розпізнавання сенсу фраз природною мовою з книги Б.М. Малиновського [17, с.71].

"...Одночасно ми почали роботи з розпізнавання сенсу фраз російською мовою, тобто в галузі семантичних мереж, як тепер це називається. Цим займався А.О. Стогній і частково О.А. Летичевський. Втім алгоритм робив я, а А.О. Стогній підготував хороші програми. За потоком пропозицій на вході цей алгоритм будував семантичну мережу, тобто визначав, які слова з якими кореспондуються. Зроблено зачатки картини світу, причому було придумано економне кодування, потім А.О. Стогній переключився на розпізнавання дискретних образів, тематику Ю.І. Журавльова, та й я залишив цю справу, і в нас вона захиріла. Треба було його з машинним перекладом зв'язати, але знову не вистачило людей, а я не міг займатися лише семантичною алгоритмікою. І все-таки, коли я зробив у 1962 році в Мюнхені на конгресі IFIP доповідь на цю тему, це було сенсацією - американці нічого подібного не мали. Тоді ж мене обрали до програмного комітету Міжнародної федерації з обробки інформації.".

Почавши широким фронтом розвивати ідеї створення систем ШІ на машинах перших поколінь, В.М. Глушков, очевидно, сподівався досягти видимих результатів упродовж найближчого десятиліття чи двох. Попри очікування, вийшло не все. В.М. досить швидко дійшов висновку у тому, що складні кібернетичні системи вимагають багаторічної праці. Щоб правильно організувати роботу, В.М. висунув принцип "єдності ближніх та далеких цілей", що стосується часу, необхідного для створення складних кібернетичних систем. Найкраще цей принцип викладено у його спогадах, які він продиктував останніми днями свого життя. Цитую з книги [17, с.45]:

"Справа полягає в тому, що в кібернетиці є одна особливість. Коли розвивалися інші науки, які не мали справи з такими великими системами, як кібернетика, то зазвичай виникнення ідеї про те, як вирішити задачу (особливо в математиці), було головним. Це було 90% справи. Якщо ідея була вірною, то її оформлення займало 10%. ...А в кібернетиці виходить так, що в деяких випадках ідея становить близько 0,01%, а решта - 99,9% - це її реалізація. Поясню це на прикладі.

...Я доручив своєму аспіранту А.О. Стогнію роботу зі штучного інтелекту, зокрема, навчання машини російській чи українській, у загальній природній людській мові, щоб вона розуміла сенс речень. І ми досить швидко досягли приголомшливих начебто успіхів. ...І виявилося, що перші спроби давали обнадійливі результати: ідея вже є, залишається тільки її реалізувати, а, виходячи зі старого досвіду, вважали, що ідея це вже 40% справи. Якщо на розробку ідеї знадобилося два роки, значить, на її реалізацію буде потрібно в півтора рази більше, і через п'ять років ми зробимо таку машину, яка буде за розумінням мови і сенсу добрим співрозмовником на рівні людини і т. п. Але виявилося, що це далеко не так.

На жаль, така недооцінка складності кібернетичних завдань є типовою для періоду становлення будь-якої науки. ...Особливість великих систем у тому, що від ідей щодо їх побудови до реалізації дуже тривалий шлях. Звідси і виник важливий управлінський принцип - єдності далеких і ближніх цілей.

Я цей принцип формулюю так: у новій науці, якою є кібернетика, не слід займатися якимось конкретним ближнім завданням, не бачачи далеких перспектив її розвитку. І навпаки, ніколи не слід робити далеку перспективну розробку, не продумавши, чи не можна її розбити на такі етапи, щоб кожен окремий етап, з одного боку, був кроком у напрямку цієї великої мети, а водночас він сам по собі виглядав як самостійний результат і приносив конкретну користь".

Зазначимо, що В.М. Глушков був не самотній у переоцінці можливостей ЕОМ. У цьому можна переконатися, звернувшись до Інтернету з темою "Семантичні мережі - штучний інтелект", де у розділі "Зіткнення з реальністю (період з 1966 по 1973 рік)" представлений аналіз можливостей ЕОМ того часу для вирішення деяких завдань ШІ.

У 1960-х роках почали розвиватися уявлення знань науково-технічних текстів у вигляді семантичних мереж. Зупинимося лише на двох дослідженнях у цьому напрямі, започаткованих у 1960-х роках співробітниками ІК АН УРСР під впливом ідей В.М.Глушкова.

Результати досліджень у відділі В.М.Глушкова його співробітниками-лінгвістами Е.Ф.Скороходьком та Л.Е.Пшеничною, опубліковані в монографії [18]. Цитую з передмови до монографії:

"Ця робота присвячена одному з найбільш важливих та перспективних напрямів у сучасній лінгвістичній семантиці - мережному моделюванню мови. Подібна тема вперше є об'єктом монографічного дослідження в радянській науці. Цей метод дослідження ґрунтується на побудові семантичних мереж, що моделюють смисловий бік лексики та тексту. ...Семантична мережа виявилася особливо корисною при вирішенні багатьох теоретичних та практичних задач, особливо пов'язаних із проєктуванням лінгвістичного забезпечення систем штучного інтелекту".

Введення в комп'ютер лексичної семантики терміносистеми є, по суті, навчанням машини (але без самонавчання машини), хоч і не в прямому діалозі "людина - машина", що було б дуже неефективним, враховуючи обсяг інформації для введення. Діалог стає актуальним у двох випадках: 1) у режимі іспиту мережі на прикладах, про які відомо, є вони осмисленими чи ні; 2) у режимі використання мережі для перевірки правильності визначення термінів у термінологічних словниках та для оцінки словникових параметрів.

Наприкінці 1960-х років співробітник Інституту кібернетики АН УРСР В.П. Гладун (з 1983 року - доктор технічних наук) запровадив поняття семантичних мереж, що зростають, та їх подання графами спеціального виду - пірамідальними семантичними мережами, призначеними для досліджень та комп'ютеризації процесів мислення. У монографії В.П. Гладуна [19] пропонуються семантичні моделі природомовного тексту, що представляють семантичний зв'язок типу "частина - ціле". Цитую з монографії [19]:

"...Передбачено два режими формування семантичної моделі мови: 1) шляхом безпосереднього введення у систему всієї інформації, що утворює модель мови; 2) шляхом навчання системи з прикладів осмислених словосполучень".

З досліджень В.П.Гладуна їм запропоновано комп'ютерні засоби формування знань у кількох тематичних областях.

Висновок. У 1960 році В.М.Глушков вперше в практиці використання ЕОМ сформулював концептуальну можливість і запропонував алгоритм навчання машини розпізнавати основний смисловий зв'язок у реченнях природною мовою "суб'єкт - дія", реалізований на ЕОМ на прикладі простих речень російської мови.

У наступні роки потреби пошуку та обміну інформацією в Інтернеті призвели до проблеми універсального представлення знань. В даний час (2012 рік) в Інтернеті накопичено великий обсяг інформації у вигляді семантичних мереж, де відображені смислові зв'язки об'єкт-дія, причина-слідство, частина-ціле та ін., що охоплюють майже всі повнозначні слова тематичних текстів. Семантичні мережі стали засобом представлення інформації та об'єктом досліджень у багатьох галузях знань. Смисловий діалог комп'ютера з людиною стає однією з головних частин програмного забезпечення комп'ютера.

На завершення статті висловлюю щиру подяку В.В.Глушковій за моральну підтримку під час написання спогадів про В.М. Глушкова та його ідею навчання машини розпізнавати свідомість речень природною мовою.


1. Proc. of the International Conference on Information Processing, UNESCO, Paris, 15-20 june, 1959. Published in 1960. - 498 с.

2. Глушков В.М. Теория алгоритмов. - Киев: Изд-во КВИРТУ, 1961. - 167 с.

3. Тезисы докладов 2-ой научной конференции по вычислительной математике и вычислительной технике (6-10 июня). - Киев: Изд. ВЦ АН УССР, 1960. - 60 с.

4. Zaitzeff E.M., Astrahan M.M. Russian Visit to U.S. Computers // IRE Transactions on electronic computers. - Vol. EC-8. - Dec., 1959. - Numb. 4.

5. Newell A., Show J.C., Simon H.A. Report on a General Problem Solver // Proc. of the Intern. Conf. on Information Processing. - 1959.

6. В.М. Глушков. Кибернетика. Вопросы теории и практики. М. - "Наука", 1986. - 477 с.

7. IRE Transactions on Electronic Computers. - Oct., 1961. - 776 с.

8. "Принципы построения самообучающихся систем". Тез. докладов, ВЦ АН УССР, К., 1961. - 11 с.

9. Принципы построения самообучающихся систем: Сборник. - Киев: Гос. издат. техн. лит. УССР, 1962. 119 с.

10. Мойсеенко В.В. "К портрету ученого и организатора академика В.М. Глушкова". Математичн_ машини _ системи. - №2. - 2003.

11. Glushkov V.M. Certain Questions of the Theory of Machine Self-learning // Proc. IFIP Congress. - Munich, 1962.

12. Newell A. Learning, Generality and Problem-Solving // Proc. IFIP Congress - Munich, 1962.

13. Глушков В.М. Введение в теорию самосовершенствующихся систем. - Киев: Изд-во КВИРТУ. - 1962. - 109 с.

14. Глушков В.М. Введение в кибернетику. - Киев: Изд-во АН УССР, 1964. - 324 с.

15. Глушков В.М. Некоторые проблемы теории автоматов и искусственного интеллекта. Тр. семинара "Теория автоматов и методы формализованного синтеза вычислительных машин и систем", вып 6. Киев, 1968.

16. Глушков В.М. Основы безбумажной информатики. - Москва: Наука, 1982. - 552 с.

17. Малиновский Б.Н. Академик В. Глушков. - Киев: Наук. думка, 1993. - 142 с.

18. Скороходько Э.Ф. Семантические сети и автоматическая обработка текста. - Киев: Наук. думка, 1983. - 213 с.

19. Гладун В.П. Процессы формирования новых знаний. - София, 1994. - 189 с.

Про автора.

Мiщенко Надiя Михайлiвна, кандидат фiз.-мат. наук, старший науковий спiвробiтник.

Працювала в Iнститутi кiбернетики iм. В.М.Глушкова НАНУ з 1956 по 2002 р. Стаття подана з дозволу автора.


Iлюстрацiї

Зустрiч Норберта Вiннера з вченими Києва
Норберт Вiннер з дружиною
Програмiсти та обчислювачi "МЭСМ" Гра у волейбол. Лiто. 1957 р.