Використання фреймів та семантичних мереж для обробки природньої мови
СОДЕРЖАНИЕ: Національний Університет “Києво-Могилянська Академія” Реферат на тему Використання фреймів та семантичних мереж для обробки природньої мови” Студента 5 курсуНаціональний Університет “Києво-Могилянська Академія”
Реферат
на тему
“Використання фреймів та семантичних мереж для обробки природньої мови”
Студента 5 курсу
Департаменту Комп. Технологій
Рабочого Володимира
Київ, 2000
Зміст
Обробка природньої мови....................................................................................................................................................................................... 4
Семантичні мережі.................................................................................................................................................................................................... 5
Історична нотатка................................................................................................................................................................................................ 6
Реляційні графи........................................................................................................................................................................................................... 7
Графи із центром на дієслові.............................................................................................................................................................................. 7
Пропозиційні мережі................................................................................................................................................................................................. 9
Ієрархія типів....................................................................................................................................................................................................... 10
Машина реалізація............................................................................................................................................................................................. 13
Теорія фреймів.......................................................................................................................................................................................................... 14
Розпізнання........................................................................................................................................................................................................... 16
Розмір фрейму...................................................................................................................................................................................................... 16
Ініціалізаційні категорії..................................................................................................................................................................................... 17
Обєктно - орієнтовані мови.............................................................................................................................................................................. 18
Основні проблемиобробки природньої мови................................................................................................................................................. 18
Технології аналізу природньої мови................................................................................................................................................................. 19
Стійкість аналізу................................................................................................................................................................................................. 24
Експертні системи та їх архітектура................................................................................................................................................................. 25
Гіпертекстові системи............................................................................................................................................................................................ 27
Висновок.................................................................................................................................................................................................................... 28
Забезпечення взаємодії з ЕОМ на природній мові (ПМ) є найважливішою метою досліджень зі штучногоінтелекту (ШІ). Бази даних, пакети прикладних програм та експертні системи, засновані на ШІ, потребуютьоснащення гнучким інтерфейсом для численних користувачів, що не бажають спілкуватися із компютером на штучній мові. У той час як багато фундаментальних проблем у областіопрацюванняПМ (Natural Language Processing, NLP) ще не вирішені, прикладні системи можуть мати інтерфейс, що розуміє ПМ за певних обмежень.
Існують два види і, отже, дві концепції опрацювання природної мови:
· для окремих речень;
· для ведення інтерактивного діалогу.
Обробка природньої мови
Обробка природної мови - це формулювання та дослідження компютерно-ефективних механізмів для забезпечення комунікації з ЕОМ на ПМ. Обєктами досліджень є:
·власне природні мови;
·використання ПМ як для комунікації між людьми, так і для комунікації людини з ЕОМ.
Мета досліджень - створення компютерних-ефективних моделей комунікації на ПМ. Саме така постановка задачі відрізняє NLP від задач традиційної лінгвістики та інших дисциплін, що вивчають ПМ, і дозволяє віднести її до областіШІ. Проблемою NLP займаються дві дисципліни: лінгвістика та когнітивна психологія.
Традиційно лінгвісти займалися створенням формальних, загальних, структурних моделей ПМ, і тому віддавали перевагу таким моделям, що дозволяли виявляти якнайбільше мовних закономірностей і робити узагальнення. Практично жодної уваги не приділялося придатності моделей з точки зору компютерної ефективності їх застосування. Таким чином, виявилося, що лінгвістичні моделі, характеризуючи власне мову, не розглядали механізми його породження і розпізнавання. У цьому випадку, гарним прикладом постаєпороджуячаграматикаХомського, що виявилася абсолютно негожою на практиці у якості бази для компютерного розпізнання ПМ.
Для когнітивної психології метою є не моделювання структури мови, а її використання. Спеціалісти цієї галузі також не приділяли великого значення проблемі компютерної ефективності
Виділяютьзагальну і прикладну NLP. Метою.загальної NLP єрозробка моделей використання мови людиною, які б за цієї умови залишалися компютерно-ефективними. Базовим для цього єзагальне розуміння текстів, як це визначається у роботах Чарняка, Шенка, Карбонелла та ін. Без сумніву, загальна NLP потребує величезних знань про реальний світ, і більша частина робіт зосереджена на представлені таких знань і їх застосування із метою розпізнаванні повідомлення, що надходить на ПМ. На сьогоднішній день, ШІ ще не досяг такого рівня розвитку, коли для вирішення подібних задач у великому обсязі використовувалися б знання про реальний світ, а відтоді існуючі системи можна називати лише експериментальними, оскільки вони працюють з обмеженою кількістю старанно відібраних шаблонів на ПМ.
Прикладна NLP займається звичайно не моделюванням, а безпосередньо можливістю комунікації людини з ЕОМ на ПМ. У цьому випадку вже не так важливо, як введений вираз буде зрозумілим з точки зору знань про реальний світ, а важливим є одержання інформації про те, чим і як може бути корисною для користувача ЕОМ (прикладом може бути інтерфейс експертних систем). Крім розуміння ПМ, у таких системах важлим є також розпізнання помилок та їх корекції.
Семантичні мережі.
Семантична мережа – це структура для уявлення знань у виді вузлів, сполучених дугами. Найперші семантичні мережі були розроблені в якості мови-посередника для систем машинного перекладу, а багато сучасних версій навіть зараз подібні по своїх характеристиках до природньої мови. Проте, останні версії семантичних мереж стали більш потужними і гнучкими та складають конкуренцію фреймовым системам, логічному програмуванню й іншиммовампредставлення.
Починаючи з кінця 50-ых років, на практиці були створені і застосовані десятки варіантів семантичних мереж. Незважаючи на те, що їх термінологія та структура відрізняються, проте існують збіжності, що притаманні практично всім семантичним мережам:
1. вузли семантичних мереж являють собою концепти предметів, подій, станів;
2. різноманітні вузли одного концепту відносяться до різних значень, якщо вони не пізначені як такі, що вони відносяться до одного концепту;
3. дуги семантичних мереж утворюють відношення між вузлами-концептами (позначки над дугами вказують на тип відношення);
4. деяківідношення між концептами являють собою лінгвістичні відмінки, такі, як: агент, обєкт, реципієнт та інструмент (інші означають тимчасові, просторові, логічні відношення та відношення між окремими реченнями;
5. концепти організовані по рівнях у відповідності зі ступенем узагальненості. Наприклад, сутність, живаістота, тварина, хижак;
Проте, існують і відміності: розуміння значення з точки зору філософії; методи представленнякванторов спільності й існування та логічних операторів; засоби маніпулювання мережами та правила виводу, термінологія. Все це змінюється від автора до автора. Недивлячись не деякі відмінності, мережі зручно читаються та обробляються компютером, а також є досить потужними для того, щоб уявити семантику природної мови.
Історична нотатка
Фрегуявив логічні формули у вигляді дерев, які, проте, слабо нагадують сучасні семантичні мережі. Ще одним піонером став ЧарльзСандерзПрис, що використовував графічні записи в органічній хімії. Він сформулював правила виводу із використанням екзістенційних графів.
У психології Сальтисон використовував графи для подання спадкоємності деяких характеристик у ієрархії концептів. Наукові дослідження Сальтисону мали величезний вплив на вивчення тактики шахів. Він, у свою чергу, вплинув на таких теоретиків, як Саймон і Ньюэлл.
Що стосується лінгвістики, то першимвченим, який займався розробкою графічних описів, став Теньер. Він використовував графічний запис для власної граматики залежностей. Теньер зробив величезний вплив на розвиток лінгвістики в Європі.
Вперше семантичні мережі були використані у системах машинного перекладу наприкінці 50-х - початку 60-х років. Перша така система, яку створила Мастерман, містила біля 100 примітивних концептів таких, як, наприклад, НАРОД, РІЧ, РОБИТИ, БУТИ. За допомогою цих концептів вона зробила опис словнику обсягом 15000 одиниць, у якому також існував механізм для переносу характеристик з гіпертипу на підтип. Деякі системи машинного перекладу базувалися на кореляційних мережахЦеккато, що являли собою набір із 56 різноманітних відношень, деякі з який - відмінкові відношення, відношення підтипу, часток, частини та цілого. Він використовував мережі, що складалися з концептів та відношень, для управління діями парсера та вирішення неоднозначностей.
У системах штучного інтелекту семантичні мережі використовуються для отримання відповедей на різноманітні запитання, вивчення процесів навчання, запамятовування та міркувань. Наприкінці 70-хмережі стали широко поширеними. У 80-х роках межа між мережами, фреймовыми структурами і лінійними формами запису поступово зникали. Сила виразності більше не є вирішальним аргументом на користь вибору мереж або лінійних форм запису, оскільки ідеї записані за допомогою однієї форми запису можуть бути легко переведені в іншу. І навпаки, особо важливе значення отримали другорядні чинники такі, як: читаність, ефективність, нештучність та теоретична елегантність. До уаги також береться легкість введення в компютер, редагування та роздрук.
Реляційні графи.
Найпростіші мережі, які використовуються в системах штучного інтелекту – це реляційні графи. Вони складаються з вузлів, що сполучені дугами. Кожний вузол являє собою поняття, а кожна дуга - відношення між різноманітними поняттями. На малюнку 1 подане речення “Собака жадібно гризе кістку”. Чотири прямокутники подають поняття собаки, процесу гризіння, кістки і такої характеристики, як жадібність. Надписи над дугами означають, що собака є агентом грізіння, кістка є обєктом гризіння, а жадібність - це манера гризіння.
Термінологія, що використовується в цій області різноманітна. Для того, щоб отримати деяку однорідність, вузли, сполучені дугами, слід називати графами, а структуру, де є ціле гніздо з вузлів або де існують відношення різноманітного порядку між графами, зветься мережею. Окрім термінології, що використовується для пояснення, також різняться засоби зображення. Інколи використовуються кружечки замість прямокутників; іноді пишуться типи відношень одразу понад дугами, не розміщуючи їх в овали; іноді використовуються абревіатури, наприклад О чи А для позначення агента або обєкта; іноді використовуються різноманітні типи стрілок. На малюнку 2 зображений граф концептуальних залежностей Шенка. = означає агента. INGEST (поглинати) - один із примітивів Шенка: ЇСТИ - ПОГЛИНАТИ твердий обєкт; ПИТИ - ПОГЛИНАТИ рідкий обєкт; ДИХАТИ - ПОГЛИНАТИ газоподібний обєкт. Додаткова скла зліва означає, що кістка передається із невказаного місця до собаки.
Оскільки досить складно ввести у компютер деякі діаграми, то багато вчених записують свої графи у більш компактному вигляді. Наприклад, те саме речення Сова запропонував записати в лінійномувигляді із використанням деяких елементів із малюнка 1:
[ЇСТИ]-
(AGNT) - [СОБАКА]
(OBJ) - [КІСТКА]
(MANR) - [ЖАДІБНІСТЬ]
У цьому варіанті запису квадратні дужки позначають поняття, а круглі дужкимістять назви відношень. Всі лінійні форми запису дуже подібні до фреймових структур.
Графи із центром на дієслові.
Дієслова зєднуються із групою іменника з використанням відмінкових відношень. Наприклад, іу речені “Mary gave a book to Fred”, Mary агент даванія, book обєкт цього процесу, а Fred реципієнтдієслова “давати”. Окрім відмінкових відношень у речені поданого природньою мовою також єзасоби для звязку окремих речень. Такі відношення необхідні у таких випадках:
Союзи . Самий простий спосіб зєднати речення - це поставити між ними союз. Деякі ссоюзи, як наприклад “і”, “або”, “якщо” позначають логічний звязок; деякі, такі як “після того, як”, “коли”, “поки”, “з того часу, як” і “тому що”, висловлюють тимчасові відношення і причину.
Дієслова, які потребуютьпідпряднеречення. Відмінкові фреймы багатьох дієслівпотребуютьпідрядні реченя, яке, як правило, є звичайно прямим додатком. До такого типу відносятьсядієслова “говорити”, “вважати”, “міркувати”, “знати”, “бути переконаним”, “загрожувати”, “намагатися” та ін.
Визначники, що відносяться до усього речення. Багато прислівників та пропозициійних фраз відносяться тише до дієслова, але деякі визначають повне речення. Такі прислівники, як “звичайно”, “мабуть”, у більшості випадків ставляться на початку речення. Хоча, наприклад, слово “одного разу” визначає усю розповідь, що йде після нього.
Модальні дієслова та часові форми. Такі дієслова, як “may”, “can”, “must”, “should”, “would” і “could” мають модальне значення і відносяться до усього речення, у якому вони зустрічаються. Тимчасове відношення може бути виражено як формою минулого часу дієслів, так і обставинами “зараз”, “завтра” або “якось” та іншими.
Повязаний дискурс . Окрім відношень, поданих у одному речені, існують також відношення більш високого порядку між окремими реченнямидоповіді або розповіді якогось іншого виду. Більшість з них не виражені експліцитно: часові відношення та порядок аргументів може бути, наприклад, імпліцитно подано порядком слідування речень у тексті.
Саме тому, що дієслову приділяється така важлива роль у речені, багато теорій роблять його своїм центральним з’єднувальною ланкою. Цей підхід бере започатковано із Індо-Європейской мовної родини, для якої модальність та часові відношення подаються зміною дієслівної форми. Розглянемотакийприклад: “While a dog was eating a bone, a cat passed by unnoticed”. Уцьомуреченіповідомляється, що, колиречення “While a dog was eating a bone” справджувалось,іншеречення “A cat passed unnoticed” такожсправджувалось. На малюнку 3 зображено граф із центром на дієслові. Союз “while” (WHL) зєднує вузол PASS-BY із вузлом EAT. На малюнку 3 показано, що собака є агентом не-помічання (not noticing).
Графи із центром у дієслові - це реляційні графи, для яких дієслововважається центральною ланкою будь-якого речення. Маркери часу та відношення записуються безпосередньо поруч із концептами, які представляютьдієслова. Графи концептуальних залежностей РоджераШенка також використовують цей підхід.
Незважаючи на те, що графи із центром на дієслові досить гнучкі за своєю структурою, вони мають деякі обмеження. Одне з яких полягає в тому, що вони не проводять розмежування між визначниками, що відносяться тлише до дієслова, і визначниками, що відносяться до речення вцілому. Роздивимосятакі приклади:
The dog greedily ate the bone.
Greedily, the dog ate the bone.
Ці графи також погано працюють з реченнями, що знаходяться усередині іншихречень.
При роботі з реляційними графами виникають проблеми із передачею усього різноманіття часових відношень та відношень модальності. Незважаючи на те, що багато вчених використовують ці графи для вирішення складних проблем, вони так ще й досі не розробили загального методу їх розв’язку. У вище приведеному прикладі позначка PAST повинна відноситися до усього речення, якеньповідомляє про те, що собака їсть кістку, а не лише до дієслова EAT, оскільки видно, що кістка пізніше була зїдена собакою цілком. Також повинно бути зазначено, що процес проходу кішки і процес не зваження її собакою відбувалися одночасно.
Пропозиційні мережі
У пропозиційнихмережах вузли ппредставляють цілі речення Ці вузли є точками дотику для відношень між окремими реченнямизвязаного тексту. З іншогобоку вони визначають час і модальність для всього контексту. Подані нижче приклади ілюструють відношення, для запису яких необхідне використання пропозиційних вузлів:
Sue thinks that Bob believes that a dog is eating a bone.
If a dog is eating a bone, it is unwise to try to take it away from him.
Упершомуреченнідлядієслів “think” і “believe” цілереченяєдоповненням: Бобвважає, що “А dog is eating a bone”, те, щодумаєСьюявляєсобоюбільшскладнеречення-“Bob believes that a dog is eating a bone”. Таке гніздування речень поміж іншихречень може повторюватися як умога велику кількість разів. Щоб зобразити таке речення, необхідно використовувати пропозиційні вузли, що містятьгніздящіся графи. На малюнку 4 зображено пропозиційнумережу для цього речення. Відзначимо, що (EXP) - experiencer, тобто той хто відчуває, зєднує THINK із Сью, а BELIEVE із Бобом, проте EAT і DOG сполучені між собою агентивнимвідношенням (AGNT). Такі різні типи відношеньспричиняє той факт, що думати та вважати-це стани, у яких знаходяться люди, а поїдання-цедія, яказдійснюється агентом.
В другому прикладі наводяться два речення, що знаходяться у відношенні умови. Антецедентомєречення “А dog is eating a bone”, аконсеквентомречення “It is unwise to try to take it away from him”. Інфінітиви “to try” і “to take” вказуютьнаіншіречення, щогніздяться. На речення, що гніздяться, також вказує оборот “it is unwise”. Для цього речення також необхідно визначити відповідність між “it”, “him” та “bone” і “dog”. Звязки відповідності позначені пунктиром. Для формального запису цього речення також використовуються квантори спільності та існування і деякі елементи логіки.
Усі реляційні графи із центром у дієслові мають багато спільного. Проте серед них існують також і відмінності:
1. Вмикання контексту або його лише умовне позначення із посиланням на схемі.
2. Суворе гніздування: той самий концепт може або не може зустрічатися в двох різних контекстах, жодний із який не гніздитися в іншому.
3. Вказання звязків відповідності. При перехресному контексті, тобто коли той самий концепт зустрічається в двох різних контекстах, ці звязки не вказуються.
Проте це усього лише стилістичні розбіжності, що не впливають істотно на логіку побудови.
Ієрархія типів
Ієрархія типів і підтипів є стандартною характеристикою семантичних мереж. Ієрархія може містити сутності: ТАКСАСОБАКАХИЖАКТВАРИНАЖИВАІСТОТАФІЗИЧНИЙ ОБЄКТСУТНІСТЬ. Вони також можуть містити події: ЖЕРТВУВАТИДАВАТИДІЯПОДІЯ або стани: ЕКСТАЗЩАСТЯЕМОЦІЙНИЙ СТАНСТАН. Ієрархія Аристотеля містила 10 базових категорій: субстанція, кількість, якість, відношення, місце, час, стан, активність і пасивність..
Символ між більш загальним і більш частинним символом читається як: “Х-тип/підтип У”.
Термін “ієрархія” позначає часткове упорядкування, у якому одні типи є більш загальними, ніж інші. Упорядкування єчастковим, тому, що багато типів просто не підлягають порівнянню між собою. Порівняння HOUSEDOG та DOGHOUSE безглузді, якщо їх порівнювати, проте слово DOGHOUSE є підтипом HOUSE, але не DOG. Розглянемо деякі види графів:
Ациклічний граф. Будь-яке часткове упорядкування може бути зображено, як граф без циклів. Такий граф має гілки, що розбігаються та збігаються знову, що дозволяє деяким вузлам мати декілька вузлів-батьків. Іноді такий тип графа називають плутаним.
Дерева. Найпоширенішим видом ієрархії є граф з однією вершиною. У таких графах накладються обмеження на ациклічні графи: вершина графа являє собою один загальний тип, і кожнийінший тип Х має лише одного батька У.
Ришітка. На відміну від дерев, вузли ришітки можуть мати декілька вузлів батьків. Проте в данному випадку накладаютьсяінші обмеження: будь-яка пара типів Х и У як мінімум повинна мати загальнийгипертипХіУ і підтип ХчиУ. Внаслідок цього обмеження ришітка виглядає, як дерево, що має головну вершину з кожного боку. Замість усього однієї вершини ришітка має одну вершину, що єгіпертипом усіх категорій, та іншу вершину, що є підтипом усіх типів.
Спадкування .
Основною властивістю ієрархії є можливість спадкування підтипами якостей гіпертипів: усі характеристики, що властиві ТВАРИНІ, також властиві ССАВЦЯМ, РИБІ і ПТИЦІ. У основі теорії спадкування лежить теорія силогізмів Аристотеля: Якщо А - характеристика У, а У - х-ка С, то А хар-ка усіх С.
Переваги ієрархії і спадкування:
Ієрархія типів є відмінною структурою для індексування бази знань та її ефективної організації.
Проходження по будь-якої гілки здійснюється набагато швидше за допомогою ієрархії.
Синтаксичний аналіз мови та його породження .
Семантичні мережі можуть допомогти парсерурозвязати семантичну невизначенність. Без такого типу представлення уся вага аналізу мови падає на синтаксичні правила і семантичні тести. Структура ж семантичної мережі ясно показує, як окремі концепти сполучені між собою. Коли парсер зустрічає деяку невизначеність, він може використовувати семантичну мережу для того, щоб вибрати той або інший варіант. При роботі із семантичними мережами використовується декілька технік парсингу.
Парсинг, в основі якого лежить синтаксис. Робота парсера контролюється граматикою безпосередніх складових і операторами побудови структур та їх тестування. У той час, як дані на вході аналізуються, оператори побудови структур створюють семантичну мережу, а оператори тестування перевіряють обмеження на частково побудованіймережі. Якщо незнайдено жодних обмежень, то правило, що при цьому використовувалось, відхиляєтьсяі парсер перевіряє іншу можливість. Це найпоширеніший підхід.
Синтаксичний аналізатор із використанням семантики. Синтаксичний аналізатор із використанням семантики оперує також як і парсер, в основі якого лежить синтаксис. Проте він оперує не з синтаксичними категоріями типу група підмету і група присудку, а з концептами високого рівня типу КОРАБЕЛЬ і ПЕРЕВОЗИТИ.
Концептуальний парсинг. Семантична мережа прогнозує можливі обмеження, що можуть зустрітися у відношеннях між словами, а також прогнозувати слова, що пізніше можуть зустрітися у речені. Наприклад, дієслово давати потребує одухотвореного агента й а також прогнозує можливість реципієнту та обєкту, що буде дан. Шенк був одним із самих активних прихильників концептуального парсингу.
Парсинг, заснований на експертизі слів. Внаслідок існування великої кількості невірних утворень у природній мові, багато людей замість того, щоб звертатися до деяких універсальних узагальнень, використовують спеціальні словники, що являють собою сукупність деяких незалежних процедур, що називаються експертами слів. Аналіз речення розглядається як процес, що здійснюється спільно різноманітними словниковими експертами. Головним прихильником цього підходу був Смол.
Аргументи за і проти різноманітних технік парсингу часто засновувався не на конкретніих дані, а здебільшого на стійкій думці. І лише один проект на практиці порівняв декількавидівпарсингу - це Мова Семантичних Репрезентацій, проект розроблений в Університеті Берліна. Протягом декількох років вони створили чотири різних видипарсеров для аналізу німецької мови і його запису на Мові Семантичних Репрезентацій, що являє собою мережу.
Першим парсером був парсер, створений подібно до концептуального парсераШенка. Було відзначено, що хоча додавання нових слів в його лексикон було досить легким процесом, проте аналіз міг проводитися тільки на простих реченнях і тільки відносних підрядних. Розширити область синтаксичного опрацювання цього парсера виявилося складною задачею.
Іншийпарсер був семантично орієнтований на розширені мережі переходу. У ньому було легше узагальнити синтаксис, проте апарат синтаксису працював повільніше, ніж у першого розглянутого парсера.
Потім робота проводилася з парсером словникових експертів. Тут легко проводилося опрацювання особливих випадків, проте розкиданість грамматики між окремими складовими робила практично неможливим її загальне розуміння, підтримку і модифікування.
Парсер, що був створений порівняно нещодавно, - це синтаксично-орієнтований парсер, заснований на загальнійграматиці фразової структури. Він найбільше систематичен і узагальнений та відносо швидкий.
Ці результати в принципі відповідають думці інших лінгвістів: синтаксично-орієнтовані парсери є найбільш цілісними, проте для них необхідний визначений набір мережевих операторів для плавної взаємодії між граматикою і семантичними мережами.
Породження мови за семантичною мережею являє собою зворотнійпарсинг. Замість синтаксичного аналізу деякоголанцюга з метою породження мережі, генератор мовиробитьпарсингмережі для одержання деякого ланцюжка. Існує два варіанти породження мови із семантичної мережі.
1. Генератор мови просто проходить по мережі, перетворюючи концепти в слова, а відношення, зазначені поруч із дугами, у відношення природної мови. Цей метод має багато обмежень.
2. Підходи, орієнтовані на синтаксис, контролюють породження мови за допомогою граматичних правил, що використовують мережу для того, щоб визначити, якетаке правило потрібно застосувати.
Проте на практиціобидва методи мають багато збіжностей: наприклад, перший спосіб являє собою послідовність вузлів, що обробляються генератором мови, орієнтованим на синтаксис.
Машина реалізація.
Графи і мережі являють собою прості поняття для програм, що вивчають нові структури. Їхперевага при навчанні полягає в легкості додання і видалення, а також порівняння дуг і вузлів. Нижче подані програми, які використовували семантичні мережі для навчання.
Вінстон використовував реляційні графи для опису таких структур, як арки і вежі. Машині пропонувалися приклади вірного і невірного опису цих структур, а програма створювала графи, що вказували на усі необхідні умови для того, щоб ця структура була саме аркою або вежею.
Салветер використовував графи з центром на дієслові для представлення відмінкових відношень, що потребують різні дієслова. Його програма MORAN для кожного дієслова виводила відмінковий фрейм, порівнюючи ті самі ситуації до і після їхопису із використанням цього дієслова.
Шенк розробив теорію Memory-Organization Packets для пояснення того, як люди дізнаються про нову інформацію з конкретних життєвих ситуацій. При цьому MOP-це це узагальнена абстрактна структура, що окремо не має відношення ні до жодної ситуації.
Практичні використання .
Семантичні мережі можуть бути записані практично на будь-якій мові програмування на будь-якій машині. Найбільш популярні в цьому відношенні мови - це LISP і PROLOG. Проте, багато версій були створені і на FORTRANі, PASCALі, C та іншихмовах програмування. Для збереження усіх вузлів і дуг необхідно мати значний обсяг памяті, хоча перші системи були реалізовані у 60-х роках на машинах, що були набагато менше і повільніше сучасних компютерів.
Одна із найпоширеніших мов, розроблених для запису природної мови у виглядімереж, - це PLNLP (Programming Language for Natural Language Processing) Мова Програмування для Обробки Природної Мови, створена Хайдерном. Ця мова використовується для роботи з великимиграмматиками, що мають велике покриття. PLNLP працює із двома видами правил:
1. за допомогою правил декодування проводиться синтаксичний аналіз лінійного мовного ланцюга і будується мережа.
2. за допомогою правил кодування скануєтьсямережа та породжується мовний ланцюжок або інша трансформована мережа.
Окрім спеціальних мов для семантичних мереж було також розроблено спеціальне апаратне забезпечення. На звичайних компютерах можуть бути успішно виконані операції з мовами синтаксичного аналізу й операції сканування мереж. Однак для великих баз знань час пошуку потрібних правил або доступу до предзнань може бути значним. Для того, щоб дозволити різноманітним процесам пошуку виконуватися одночасно Фальман розробив систему NETL, що являє собою семантичну мережу, що може використовуватися з паралельним апаратним забезпеченням. У такий спосіб він хотів створити модель людського мозку, у якому сигнали можуть рухатися по різноманітних каналах одночасно. Інші вчені розробили паралельне програмне забезпечення для пошуку найбільше ймовірної інтепретації двозначних фраз природної мови.
Теорія фреймів
- це парадигма для представлення знань із метою використання цих знань компютером . Вперше була представлена Мінським як спроба побудувати фреймовуюмережу , або парадигму з метою досягнення більшого ефекту розуміння . З одного бокуМінський намагався сконструювати базу даних , що містить енциклопедичні знання , але з іншого боку, він хотів створити найбільш описову базу , що зберігає інформацію в структурованій і впорядкованій формі . Ця структура дозволила б компютеру вводити інформацію в більш гнучкій формі , маючи доступ до тогорозділу, який потрібний в даний момент . Мінський розробив таку схему , у якій інформація утримується в спеціальних осередках , називаних фреймами , обєднаними в мережу , названу системою фреймов . Новий фрейм активізується з винекненням нової ситуації . Його відмінною рисою є те , що він одночасно міститьвеликий обсяг знань і в той же час є достатньо гнучким для того, щоб бути використаним як окремий елемент БД . Термін «фрейм» був найбільше популярний у середині сімдесятих років , коли існувало багато його тлумачень , відмінних від інтепретації Мінського .
Щоб краще зрозуміти цю теорію , розглянемо один із прикладів Мінського , оснований на звязку між чеканням , відчуттям і почуттям людини , коли він відчиняє двері і входить у кімнату . Припустимо , що ви збираєтеся відчинити двері і зайти в кімнату незнайомого вам дома . Знаходячись у будинку , перед тим як відчинити двері , у вас єпевніуявлення про те, що ви побачите , увійшовши в кімнату . Наприклад , якщо ви побачите деякий пейзаж чи морський берег , то спочатку ви майже не впізнаєте їх . Потім ви будете здивовані , і зрештою дезорієнтовані , оскільки ви не зможете пояснити інформацію, що надійшла, і звязати її з тими уявленнями , що у вас були до того . Також у вас виникнуть ускладнення з тим , щоб предбачитиподальшийхід подій. З аналітичної точки зору це можна пояснити як активізацію фрейма кімнати в момент відчинення дверей і його головної ролі в інтепретації інформації, що надходить . Якби ви побачили за дверми ліжко , то фрейм кімнати придбав би більш вузьку форму і перетворився б у фрейм ліжка . Іншими словами , ви б мали доступ до найбільш специфичногофрейму з усіх доступних . Можливо, б що ви використовуєте інформацію , що міститься у вашомуфреймі кімнати для того щоб розпізнати меблі , що називається процесом зверху-униз , або в контексті теорії фреймовфреймодвижущім розпізнанням . Якби ви побачили пожежний гідрант , то ваші відчуття були б аналогічні першому випадку. Психологи помітили , що розпізнавання обєктів легше проходить у звичайному контексті, ніж у нестандартній обстановці . З цього прикладу ми бачимо , що фрейм - це модель знань , що активізується у визначеній ситуації і служить для її пояснення і придбачення . У Мінського були достатньо розпливчасті ідеї про саму структуру БД, що могла б виконувати подібні речі . Він запропонував систему , що складається з повязаних між собою фреймів , багато з яких складаються з однакових підкомпонентів , обєднаних у мережу . Таким чином, у випадку , коли будь-хто входить у будинок , його чекання контролюються операціями , що входять у мережу системи фреймов . У розглянутому вище випадку ми маємо справу з фреймовою системою для будинку , і з підсистемами для дверей і кімнати . Активізовані фрейми з додатковою інформацією в БД про те, що ви відчиняєте двері , будуть служити переходом від активізованого фрейма дверей до фрейму кімнати . При цьому фрейми дверей і кімнати будуть мати однакову підструктуру . назвав це явище поділом терміналів і вважав його важливою частиною теорії фреймів .
Мінський також впровадив термінологію , що могла б використовуватися при вивченні цієї теорії ( фрейми , слоти , термінали і т.д.). Хоча приклади цієї теорії були розподілені на мовні і перцептуальні , і Мінськийрозглядав їх як так, що мають загальну природу , у мовіє більш широка сфера її застосування . Як правило більшість досліджень було зроблено в контексті загальновживаної лексики і літературної мови .
Як найбільше доступну ілюстрацію розпізнанню , інтепретації і припущенню можна розглянутидві послідовності речень, взятих із Шранка й Абельсона . На глобальному рівні послідовність А явно відрізняється від В.
A John went to a restaurant
He asked the waitress for a hamburger
He paid the tip left
B John went to a park
He asked the midget for a mouse
He picked up the box left
Хочавсіціреченнямаютьоднаковусинтаксичнуструктуруітипсемантичноїінформації , розумінняїхкардинальновідрізняється. Послідовність А має доступ до деякого виду структури знань вищого рівня , а В не має . Якби А не мало такого доступу, то її розуміння зводилося б до рівня В і характеризувалося б як дезорієнтоване. Цей контраст є наочним прикладом миттєвої роботи вищого рівня структури знань .
Була запропонована програма за назвою SAM , що відповідає на питання і видає утримання таких розповідей . Наприклад , SAM може відповісти на такіпитання , відповіді на який не дані в тексті , за допомогою доступу до запису згаданих подій , що передують обіду в ресторані .
Did John sit down in the restaurant ?
Did John eat the hamburger ?
Таким чином, SAM може розпізнати описану ситуацію як обід у ресторані і потім предбачити оптимальний розвиток подій. У нашому випадку розпізнання не було тяжким, але в більшості випадків воно досить непросте і є самою важливою частиною теорії .
Розглянемоінший приклад :
C He plunked down $5 at the window .
She tried to give him $ 2.50 , but he wouldnt take it .
So when they got inside , she bought him a large bag of popcorn .
Вінцікавийтим , щовбільшостілюдейвінвикликаєциклповторюванихнеправильнихабонезакінченихрозпізнаваньіреінтерпретацій .
У випадках із багатозначними словами, багатозначність розв’язується за допомогою активізованого раніше фрейму. Для цих цілей необхідно створити лексикон до кожному фрейму . Коли фрейм активізується, відповіднному лексикону віддається превага при пошуку відповідного значення слова . У контексті ТФ - це розпізнавання процесів , контрольованих фреймами , які , у свою чергу , контролюють розпізнавання вхідної інформації . Іноді це називається процесом зверху-вниз фреймодвижущого розпізнавання.
Застосування цих процесів знайшло відбиття у програмі FRAMP , що може сумувати газетні зведення і класифікувати їх у відповідність із класом подій , наприклад тероризм або землетруси . Ця програма зберыгає набір обєктів , що повинні бути описані в кожному різновиді текстів , і цей набір допомагає процесу розпізнання подій, що описуються.
Розпізнання
У літературі є багато міркувань із приводу процесів , що стосуються розпізнання фреймов і доступу до структури знань вищого рівня . Незважаючи на те , що люди можуть розпізнати фрейм без особливих зусиль , для компютера, в більшості випадків, це досить складна задача . Тому питання розпізнавання фреймов залишаються відкритими і важкими для вирішення за допомогою ШІ .
Розмір фрейму
Розмір фрейму набагато більш тісно повязаний з організацією памяті , ніж це здається на перший погляд . Це відбувається тому , що в розумінні людини розмір фрейма визначається не стільки семантичним контекстом , але і багатьма іншимичинниками. Розглянемофрейм візиту до доктора, що складається з підфреймів , одним із яких є кімната чекання. У такий спосіб ми можемо сказати , що розмір фрейму не залежить від семантичного значеня поданого фрейма / такого , як , наприклад , візит до лікаря / , але залежить від того , які компоненти описової інформації у фреймі / такому , як кімната чекання / використовуються в памяті. Це означає , що коли певний набір знань використовується памяттю більш ніж в одній ситуації, система памяті визначає це, потім модифікує цю інформацію у фрейм, і реструктруює вихідний фрейм так , щоб новийфрейм використовувався як його підкомпонента.
Перераховані вище операції також залишаються відкритими питаннями в ТФ .
Ініціалізаційні категорії
Рош запропонував три рівні категорій представлення знань: базову , субординатну і суперординаційну. Наприклад у сфері меблювання концепція крісла являє приклад категорії основного рівня, а концепція меблів - це приклад суперординаційної категорії. Мовапредставлення знань схильний до впливу цієї таксономії і включає їх як різноманітні типи даних. У сфері людського спілкування категорії основного рівня є найпершими категоріями , що дізнається людина , інші ж категорії випливають із них. Тобто суперординаційна категорія - це узагальнення базової , а субординатна - це підрозділ базової категорії .
приклад суперординатної ідеї події
базова події дії
субординатна дії прогулянка
Кожнийфрейм має свійвизначений так називанийслот . Так , для фреймадія слот може бути заповнений тільки деяким виконавцем цієї дії , а сусідні фрейми можуть успадковуватицейслот .
Деякі дослідники припускають, що випадки граматикивідмінків збігаються зі слотами в ТФ , і ця теорія була названа теорією ідентичності слота і відмінку . Була запропонована кількість таких відмінків , від 8 до 20 , але точне число не визначене . Однак, якщо агентив цілком збігається зі своїм слотом , то інші відмінки викликали суперечки . І дотепер точно не встановлено , скільки усього існує відмінків.
Також встворював ускладнення той факт , що слоти не завжди можуть бути перехідними. Наприклад , у відповідністю із ТФ можна сказати , що фреймодухотворений предмет може мати слотживий , фрейм людина може мати слотчесний , а фреймблоха не може мати такийслот , і він до нього ніколи не перейде .
Іншими словами , звязки між слотами в ТФ не є досліджуваними до кінця. Слоты можуть передаватися, можуть бути багатофункціональними , але в той же час не розглядаються як функції . Гібридні системи СФ іноді адаптуються для побудови описів або визначень . Була створена змішана мова , названа KRYPTON , що складається з фреймових компонентів і компонентів предикатних числень , що допомагають робити певнівисновки за допомогою термінів і предикатів. Коли активізується фрейм , факти стають доступними користувачу . Також існує мова Loops , що обєднує обєкти , логічне програмування і процедури .
Існують також фреймоподібнімови , що за вихідну позицію приймають один тип даних у памяті , певну концепцію , а не дві / наприкладфрейм та слот / , і уявлення цієї концепції в памяті повинно бути суцільним .
Обєктно - орієнтовані мови
Паралельно з мовамифреймів існують об’єктно - орієнтовані програмні мови , що використовуються для упорядкування програм , але мають деяківластивостімовфреймів , такі , як використання слотів для детальної , прискіпливої класифікації обєктів. Відмінність їх від мовфреймів полягає у тому , що фреймовімовиспрямовані на більш узагальнене уявлення інформації про обєкт .
Однією з тяжких сторінуявлення знань і мовифреймівє відсутність формальної семантики . Це ускладнює порівняння властивостей представлення знань різноманітних мовфреймів , а також повне логічне пояснення мовифреймів .
Основні проблемиобробки природньої мови
Основною проблемою NLP є мовна неоднозначність. Існують різні види неоднозначності:
·Синтаксична (структурна) неоднозначність: у фразі Time flies like an arrow для ЕОМ не зрозуміло, чи йдемова про час, що летить, або про мух, тобто чи є слово flies дієсловом чи іменником.
·Значенневанеоднозначність: уфразі The man went to the bank to get some money and jumped in слово bank можеозначатиякбанк, такіберег.
·Відмінкованеоднозначність: предлог in уреченнях He ran the mile in four minutes/He ran the mile in the Olympics позначаєабочас, абомісце, тобтоподаніцілкомрізноманітнівідношення.
·Референційнанеоднозначність: длясистеми, щоневолодієзнаннямипрореальнийсвіт, будеважковизначити, ізякимсловом - table або cake - співвідноситьсязайменник it уфразі I took the cake from the table and ate it.
·Літерація (Literalness): удіалозі Can you open the door? - I feel cold ніпрохання, анівідповідьневираженістандартнимзасобом. У інших обставинах на питання може бути отримана пряма відповідь yes/no, але в даному випадку в питанніімпліцитно виражене прохання відчинити двері.
Центральна проблема як для загальної, так і для прикладної NLP - дозвіл такого роду неоднозначностей - вирішується за допомогою перекладу зовнішнього представлення на ПМ в якусь внутрішню структуру. Для загальної NLP таке перетворення потребує набору знань про реальний світ. Так, для аналізу фрази Jack took the bread from the supermarket shelf, paid for it, and left і для коректної відповіді на такі питання, як What did Jack pay for?, What did Jack leave? та Did Jack have the bread with him when he left? необхідно знання про супермаркети, процеси покупки та продажу і деякі інші.
Прикладні системи NLP мають перевагу перед загальними, тому що працюють у вузьких предметних областях. Наприклад, системі, яка використовується продавцями в магазинах по продажу компютерів, не потрібно ”роздумувати” над неоднозначністю слова terminals при запиті How many terminals are there in the order? .
Проте, створення систем, що мають можливість спілкування на ПМ в широких областях, можливо, хоча поки результати далекі від задовільних.
Технології аналізу природньої мови
Під технологією аналізу ПМ розуміється переклад деякого виразу ПМ у внутрішнє представлення. Фактично всі системи аналізу ПМ можуть бути розподілені на такі категорії: підбір шаблону (Pattern Matching), синтаксичний аналіз, семантичні граматики, аналіз за допомогою відмінкових фреймів, “чекай і дивися” (Wait And See), словниковий експертний (Word Expert), конекціониський, “ковзний” (Skimming) аналіз. Нижче піде мова про деякі найбільш поширені методи, описані у статті.
Підбір шаблону. Сутність даного підходу полягає в інтепретації вводу в цілому, а не в інтепретації змісту і структури його окремих складових на більш низькому рівні. При використанні цього методу відбувається порівняння вже наявних у системі шаблонів-зразків із текстом, що надійшов на вхід. Звичайно шаблони подані у вигляді простого списку відповідностей між класами висловлень і інтепретаціями. Іноді вони доповнені семантичними елементами або іншими компонентами більш високого рівня. За таким принципом працює система Эліза, що імітує діалог із психотерапевтом. У дійсності система нічого не розуміє, а лише підтримує діалог, порівнюючи репліки пацієнта із шаблонами і привласненими їм відповідними відповідними репліками, такими, як:
| X завжди Y: | Ви можете привестиякий-небудь приклад? |
| Коли? | |
| Дійсно, завжди? | |
| X Ви Y мене: | Чому Ви думаєте, що я Y Вас? |
| Вам поддобається думати, что я Y Вас, чи не так? | |
| Уявіть, що я Y Вас. Що Ви про це думаєте? |
У результаті Элізаспроможнавести такий діалог:
| Пац. : | Люди завжди пильно дивляться на мене. | Підбір за 1-мшаблоном з врахуванням завжди |
| Эл.: | Ви можете привестиякий-небудь приклад? | Перша відповідь за 1-мшаблоном |
| Пац. : | Наприклад, зараз ти дивишся на мене. | Підбір за2-мшаблоном, Y=дивитись |
| Эл.: | Чому Ви думаєте, що я дивлюся на Вас? | Перша відповідь за 2-мшаблоном |
| Пац. : | Тому що ти ненавидиш мене. | Підбір за 2-мшаблоном, Y=ненавидіти |
| Эл.: | Вам подобається думати, що я ненавиджу Вас, чи не так? і т.д. | друга відповідь за 2-мшаблоном |
Синтаксичний аналіз. При використанні синтаксичного аналізу відбувається інтепретація окремих частин висловлення, а не усього висловлення в цілому. Звичайно спочатку проводиться повний синтаксичний аналіз, а потім будується внутрішнє уявленнявведеного тексту, або проводиться інтепретація.
Дерева аналізу і вільно-контекстні граматики. Більшість засобів синтаксичного аналізу реалізовано у виді дерев. Одним із найпростіших різновидів є вільно-контекстна граматика, що складається з правил типу S=NP+VP або VP=V+NP і вважається, що ліва частина правила може бути замінена на праву без урахування контексту. Вільно-контекстна граматика широко використовується в машинних мовах, і з її допомогою створено високоефективні методи аналізу. Хиба цього методу - відсутність заборони на граматично невірні фрази, де, наприклад, існує неузгодженність із присудком у числі. Для вирішення цієї проблеми необхідна наявність двох окремих граматик, що паралельно працюють: однієї - для числа однини, іншої - для числа множини. Крім того, необхідна власна граматика для пасивних речень і т.д. Семантично невірне речення може породити величезну кількість варіантів розбору, із яких один буде перетворений у семантичний запис. Все це робить кількість правил величезним і, у свою чергу, вільно-контекстні граматики негожими для NLP.
Трансформаційна граматика. Трансформаційна граматика була створена з урахуванням згаданих вище хиб і більш раціонального використання правил ПМ, але виявилася негожою для NLP. Трансформаційна граматика створювалася Хомским як породжуюча, що, відповідно, ускладнювало обернену дію, тобто аналіз.
Розширена мережа переходів. Розширена мережа переходів була розроблена Бобровим (Bobrow), Фрейзером (Fraser) і багато в чому Вудсом (Woods) як продовження ідей синтаксичного аналізу і вільно-контекстних граматик зокрема. Вона являє собою вузли і спрямовані стрілки, що “розширені” (тобто доповнені) низкою тестів (правил), на підставі яких вибирається шлях для подальшого аналізу. Проміжні результати записуються в комірки(регістри). Нижче приводиться приклад такої мережі, що дозволяє аналізувати прості реченнявсіх типів (включаючи пасив), що складаються з підмета, присудка і прямого доповнення, таких, як The rabbit nibbles the carrot (Кролик гризе моркву). Позначення біля стрілок означають номер тесту, а також чито ознаки, аналогічні застосовуваним у вільно-контекстних граматиках (NP), чито конкретне слово (by). Тести написані на мові LISP і являють собою правила типу якщо умова=істина, то привласнити аналізованому слову ознака Х и записати його у відповідну комірку.
Розберемо алгоритм роботи мережі на вищенаведеному прикладі. Аналіз починається зліва, тобто з першого слова в речені. Словосполучення the rabbit проходить тест, що зясовує, що воно не є допоміжним дієсловом (Aux, стрілка 1), але є іменною групою (NP, стрілка 2). Тому the rabbit кладеться в комірку Subj, і реченя отримує ознаку TypeDeclarative, тобто оповідальне, і система переходить до другого вузла. Тут додатковий тест не потрібен, оскільки він відсутній у списку тестів, записаних на LISP. Отже, слово, що стоїть після the rabbit - тобто nibbles – це дієслово-присудок (позначення V над стрілкою), і nibbles записується в комірку з імям V. Перекреслений вузол означає, що в ньому аналіз реченя може в принципі закінчитися. Але в нашому випадку є ще і доповнення the carrot, так що аналіз продовжується по стрілці 6 (вибір між стрілками 5 і 6 здійснюється знову за допомогою спеціального тесту), і словосполучення the carrot кладеться в комірку з імям Obj. На цьому аналіз закінчується (останній вузол був би використаний у випадку аналізу такого пасивного речення, як The carrot was nibbled by the rabbit). Таким чином, у результаті заповнені регістри (комірки) Subj, Type, V та Obj, використовуючи які, можна одержати деякеуявлення (наприклад, дерево).
·Розширена мережа переходів має власні хиби: немодульность;
·складність при модифікації, що викликаєнепередбачені побічні ефекти;
·тендітність (коли єдина неграматичность у пропозиції унеможливлює подальший правильний аналіз);
·неефективність при переборі з поверненнями, тому що помилки на проміжних стадіях аналізу не зберігаються;
·неефективність з точки зору змісту, коли за допомогою отриманого синтаксичного представленнявиявляєтьсянеможливим створити правильне семантичне уявлення.
Семантичні граматики. Аналіз ПМ, заснований на використанні семантичних граматик, дуже схожий на синтаксичний, із тієї різницею, що замість синтаксичних категорій використовуються семантичні. Природньо, семантичні граматики працюють у вузьких предметних областях. Прикладом може постати система Ladder, яка вмонтована в базу даних американських судів. Її граматикаміститьзаписи типу:
S ? present the attribute of ship
present ? what is|[can you] tell me
ship ? the shipname|classname class ship
Такаграматикадозволяєаналізуватитакізапити, як Can you tell me the class of the Enterprise? (Enterprise - назвакорабля). У даній системі аналізатор складає на основі запиту користувача запит на мові бази даних.
Хиби семантичних граматик виявляються в тому, що, по-перше, необхідна розробка окремої граматики для кожної предметної області, а по-друге, вони дуже швидко збільшуються в розмірах. Засоби виправлення цих хиб - використання синтаксичного аналізу перед семантичним, застосування семантичних граматик тільки в рамках реляційних баз даних з абстрагуванням від загальномовних проблем і комбінація декількох методів (включаючи власне семантичну граматику).
Аналіз за допомогою відмінкових фреймів. Із створенням відмінкових фреймівповязанийвеликийстрибок у розвитку NLP. Вони набули популярності після роботи Филлмора “Справа про відмінок”. На сьогоднішній день відмінкові фрейми - один з найбільш часто використовуваних методів NLP, тому що він є найбільше компютерним-ефективним при аналізі як знизу-нагору (від складових до цілого), так і зверху- униз (від цілого до складових).
Відмінковий фрейм складається з заголовка і набору ролей (відмінків), повязаних певним чином із заголовком. Фрейм для компютерного аналізу відрізняється від звичайногофрейма тим, що відношення між заголовком і ролями визначається семантично, а не синтаксично, тому що в принципі одному і тому слову можуть приписуватися різні ролі, наприклад, іменник може бути як інструментом дії, так і його обєктом.
Загальна структура фрейму наступна:
[Заголовне дієслово
[відмінковий фрейм агент: активний агент, що чинить дію обєкт: обєкт, над яким відбувається дія
інструмент: інструмент, використовуваний при вчиненні дії
реціпієнт: одержувач дії - часто непряме доповнення
напрямок: ціль (звичайно фізичного) дії
місце: місце, де відбувається дія
бенефіціант: сутність, в інтересах якої відбувається дія
коагент: другий агент, що допомагає чинити дію
]]
Наприклад, для фрази Іван дав мяч Каті відмінковий фрейм виглядає так:
[Давати
[відмінковий фрейм агент: Іван обєкт: мяч
реціпиієнт: Катаючи]
[грам
час: минулий
застава: акт]
]
Існують обовязкові, необовязкові і заборонені відмінки. Так, для дієслова розбити обовязковим буде відмінок обєкт - без нього висловлення буде незакінченим. Місце і коагент будуть у даному випадку необовязковими відмінками, а напрямок і реціпієнт - забороненими.
Часто в NLP буває корисним використовувати семантичне уявлення у як можна більш канонічній формі. Найбільш відомим засобом такої репрезентації є метод концептуальних залежностей, розробленийШенком для дієслів дії. Він полягає в тому, що кожна дія подана у вигляді однієї або більш простіших дій.
Наприклад, для речення Іван дав мяч Каті (1) і Катя взяла мяч в Івана (2), що різнятьсясинтаксично, але обидва, щоозначають акт передачі, можуть бути побудованітакі репрезентації з використанням найпростішої дії Atrans, що застосовується в граматиці концептуальних залежностей:
(1) |
(2) |
| [Atrans | [Atrans |
| Відн: володіння | Відн: володіння |
| Агент: Іван | Агент: Катя |
| обєкт: мяч | обєкт: мяч |
| Джерело: Іван | Джерело: Іван |
| реціпієнт: Катя] | Реціпієнт: Катя] |
За допомогою такого уявлення легко виявляються подібності і розбіжності фраз.
Для полегшення аналізу також використовується розподіл ролі на лексичний маркер і заповнювач. Так, для ролі обєкт може бути встановлений маркер пряме доповнення, для ролі джерело - маркер виду маркер-із=із|від|...
Загалом аналіз тексту за допомогою відмінкових фреймів складається з таких кроків:
·Використовуючи існуючі фрейми, підібрати сумісний із заголовком. Якщо такого немає, текст не може бути проаналізований.
·Повернути в систему потрібний фрейм із відповідним заголовком-дієсловом.
·Спробувати провести аналіз по всіх обовязкових відмінках. Якщо один або більш обовязкових заповнювачіввідмінків не знайдені, то повернути в систему код помилки. Такий випадок може означати наявність еліпсиса, зрадливий вибір фрейма, невірно введений текст або хибаграматики. Такі кроки використовуються вже для аналізу і виправлення таких ситуацій.
·Провести аналіз по всіх необовязкових відмінках.
·Якщо після цього у введеному тексті залишилися непроаналізовані елементи, видати повідомлення про помилку, повязану з невірним вводом, недостатністю даного аналізу або необхідністю провестиінший, більш гнучкий аналіз.
·Переваги використання відмінкових фреймов такі: суміщення двох стратегій аналізу (поверх униз і знизу нагору); комбінування синтаксису і семантики;
·зручність при використанні модульних програм.
Стійкість аналізу
Певнускладність при аналізі являє варіативність того самого запиту. Наприклад, на вхід системи, що управляє зарахуванням і перерозподілом учнівських на курсах різних фахів, може надійти запит типу Перевідіть Петрова, якщо це можливо, із математики на, скажімо, економіку.
Найбільш легко такі складностідолаються при використанні відмінкових фреймів. Правило, сформульованеКарбонеллом і Хейзом, говорить: “Варто пропускати невідомі введені елементи доти, поки не буде знайдений відмінковий маркер; пропущені елементи варто аналізувати з урахуванням незаповнених відмінків, використовуючи тільки семантику”.
Діалог
Поряд із проблемою розпізнавання тексту існує і проблема підтримки інтерактивного діалогу. При цьому виникають додаткові особливості, характерні для діалогів, як-от:
·анафора (тобто використання займенників замість їхній анафоричних антецедентів - самостійних частин мови);
·еліпсис;
·екстраграматичніречення (пропускання артиклів, помилки, вживання окликів і т.п.);
·металінгвістичніречення (тобто спроба виправлення введеного раніше).
Окрім того, користувачі систем із природно-мовним інтерфейсом намагаються вмсловлюватися як умога коротше, що в деяких випадках також ускладнює аналіз.
Використання відмінкових фреймів, як у разі злиття поточного фрейму з попереднім, забезпечує відновлення еліпсиса.
Експертні системи та їх архітектура.
Експертна система - це компютерна програма, що моделює міркування людини-експерта у визначенійобласті, використовуючи для цього БЗ, що містить факти і правила про цю область і деяку процедуру логічного висновку.
РозробкаЕС - порівняно новий напрямок у системах ШІ; друганазва - інженерія знань (термін введено у 1977 Фегенбаум), сформувалася в середині 70 р.
Раніш існував ланцюг: аналітик - програміст - оператор - користувач; тепер користувач може звертатися безпосередньо до ЕОМ (або тільки через інженера по знаннях).
Структура ЕС:
раніш: вхідні дані програм |
тепер: вхідні дані інтерпретатор БЗ БЗ |
Звичайні програми мають фіксовану послідовність кроків, строго визначену програмістом, ЕС користуються знаходженням задовільного рішення методом спроб і помилок.
ЕС вирішують важко формализуємізадачі, які не мають алгоритмічного вирішення () медицина, геологія, керування, юридичні науки).
Що зумовило появу ЕС:
орієнтованість на вирішеннязадач у неформалызованихобластях
призначеність для користувачів, що не мають спецыаальних навичок програмування
ЕС вирішують задачы краще, ніж людина.
ЕС повинна мати спроможністьодержувати знання. Існує 2 джерела придбання знань:
1) від експерта
2) із текстів
ЕС вирішують практичні задачі, а не експериментальні; рішенняЕС можуть бути пояснені користувачу, тобто мають властивість прозорості, для цього існує спеціальний компонент - пояснювальний.
Формальна основа ЕС: базове поняття - правило продукції або формальні процедури системи: правила видуумова - дія якщо - те (якщо було розлито пальне - товикликайте пожежних).
Архітектура ЕС
Користувач ЕС Спілкування на ПМ |
Лігвітсичний компонент аналізу із синтезу вхідних повідомлень | робоча память поточний стан проведення експертизи |
пояснювальний компонент |
інтерпретатор |
|||
| компонент придбання знань | |||
БЗ |
БЗ має динамічний характер, містить факти і правила у формі продукцій
інтерпретатор має справу з процедурами логічного висновка, на основі наявних даних вирішує задачу
лінгвістичний процесор здійснює діалог із користувачем
робоча память зберігає дані
компонент придбання знань - із його допомогою знання отримуються від експерта або тексту і заносяться до БЗ
пояснювальний компонент відповідає на запитання, чому прийняті nfrs рішення і чим мотивовано вибір.
Гіпертекстові системи
Гіпертекст - це текст, значимі елементи якого можуть читатися в різній послідовності.
Послідовність читання - довільна. Між текстовими фрагментами визначено дозволені переходи. Як правило, від одного фрагмента можна перейти до декількох інших. Читати можна з будь-якого елемента у різних напрямках. Компютери дозволяють миттєво переходити від одного фрагмента тексту до іншого, що дозволяє читати нелінійні так само легко, як лінійні.
Гіпертекст – комп’юторізований нелінійний текст. Нельсон і Энгельбарт вперше реалізували ГТ наприкінці 60 р.
Особливості ГТ у порівнянні з традиційними нелінійними текстами (текст із коментарями, посиланнями, енциклопедія):
1. явна виразність мережної структури: вузли (текстові фрагменти) і звязку (можливість переходу від одного ТФ до іншого - навігація ). Звязок може бути однонаправлений від фрагмента до коментарю або двонаправлений між двома фрагментами. Звязок може носити ієрархічний характер - від загального до цілого.
Інтерфейс користувача:
перехід - не більш двох клавіш
користувач повинен мати засоби орієнтації : При кожному вузлі дається зміст - локальна орієнтація. Глобальна орієнтація - наочне зображення структури гіпертекстовоїмережі, у якій позначається шлях, пройдений користувачем
багатовікона система дозволяє бачити одночасно декількаФТ на екрані.
2. відкритість гіпертекстау (для вмикання нових ФТ, читач може виступати співавтором)
Приклад ГТ: образотворча і звукова система Гіпермедіа (комплексне використання інформації різної природи, синтез різних мистецтв)
Динамічний ГТ постійно доповнюється новими текстовими фрагментами (необхідно знаходити звязки для отриманих ззовні ФТ)
ГТ - сама форма організації матеріалу і технологія, без якої неможлива його організація. ГТ - накопичення інформації в БД, доступ до даних - через запити. Звязок важливий для користувача, тому в БДГТ системи немає заздалегідь визначених звязків. Подача інформації - відтворення фрагментів мереж, сформованих до цього моменту в БД. Видаються окремі вузли і ділянкимережі в графічній формі разом із маршрутами прямування. У ГТмережі можна легко відбивати ідеї учасників проекту, для подальшого вивчення їх в інтерактивному режимі відразу декількома учасниками.
4 Види ГТС:
1. бібліотечні макросистеми: (ширше, ніжпошук літератури) XANADU , Нельсон система збереження й актуализации інформації), TEXTNET (принцип динамічного упорядкування, перелік вузлів)
2. засоби дослідження проблем: IBIS , Риштель (аспекти, позиції, аргументи); ; JOG (вивчення довідкової енциклопедичної літератури, виведення сторінок)
3. системи для перегляду БД:(подібні до бібліотечних. але менше, служать для одержання довідкових даних) Browsing Systems, WE середовище потрібна для опису системи перегляду, легкість доступу, додання нової інформації не дозволяється
4. системи широкого призначення (експериментування в різних напрямках): INTERMEDIA фірми XEROX
Висновок
Таким чином, процес розробки систем, що забезпечують розуміння ПМ, потребує створення механізмів, відмінних від традиційних засобів уявленьПМ, а системи з природно-мовними інтерфейсами застосовуються тільки у вузьких предметних областях.