Йерархична временна памет

Йерархична временна памет (ЙВП, на английски: HTM – Hierarchical Temporal Memory) е машинен самоучещ се до полусебеучещ се онлайн модел създаден от Джев Хаукинс и Дилип Джордж от „Нумента Инкорпорейтед“, която моделира някой от структурните и лагоритмични свойства на неокортекса. ЙВП е биометричен модел базиран на паметнопредсказателната теория на мозъчната функция описана от Джев Хаукинс в книгата си „За интелекта“. ЙВП е мотод за откриване и дедуциране на причините от високо ниво на наблюдавани модели и секвенции, които се вкарват, и така създава изключително комплексен модел на света.

Джев Хаукинс казва че ЙВП не предлага нови идеи в теорията, обаче комбинира вече съществуващи идей за да имитира мозъкът с прост дизайн, който предлага много възможности. ЙВП комбинира и разширява методите използвани в Рядкодистрибутианата памет, Мрежа на Байесиан, пространствени и временни групови алгоритми, използвайки дървообразна йерархия от клони, често срещана в неврните мрежи.

ЙВП структура и алгоритми[редактиране | редактиране на кода]

Типична ЙВП мрежа е дървообразна йерайрия от нива, които са съставени от малки елементи, наречени възли или колони. Едно ниво в йерархията също така се нарича и регион или област. По-висиките йерархични нива често имат малко възли и следователно по-малко разложимост. По-висиките йерархични нива могат да преизползват вече научени модели в по-ниските нива, като ги комбинират и запомнят за по сложни модели.

Всеки ЙВП възел има една и съща функционалност. В учещите и дедуциращи модели сензорни данни идват от възлите в по-ниските нива. Когато е нагласена да генерира долните нива изкарват генерираният модел на дадена категория. Най-горното ниво обикновено е един възел, съхраняващ най-общите категории (концепции), които определят или са определени от по-малки концепции на по-ниските нива, които са по-ограничени във времето и пространството. Когато е нагласена да дедуцира по един възел на всяко ниво интерпретира информацията, идваща от дъщерните възли в по-ниските нива, представена като вероятности на категориите, които има в своята памет.

Всеки ЙВП регион се ущи като идентифицира и запомня пространствени модели – комбинации от вкарани битове, които често се появяват по едно и също време. Тогава идентифицира променени секвенциални модели които се появяват един след друг.

Цел 1: първо поколение възлови алгоритми[редактиране | редактиране на кода]

По време на обучението един възел получава временна секвенция от пространствени модели като входящи данни. Процесът на учене се състои от два етапа:

Пространственото обединение идентифицира често срещани модели и ги запомня като съвпадения. Моделите, които са много близки, се третират като едно и също съвпадение. Голям брой възможни входящи модели се редуцират до лесно управляем брой от познати модели.
Паметно обединение разделя съвпадения, които често се срещат едно след друго в обучаващата секвенция, във временна група. Всяка група от модели представя „причина“ за входящ модел (или име в книгата „За Интелекта“).

По време на всяка дедукция (разпознаване) възелът изчислява множество от вероятности за моделът да принадлежи на всяко познато съвпадение. После изчислява вероятността за входящите данни да представят временната група. Множеството от вероятности наложено на групата се нарича „вярата“ на възела за входящия модел. (В по проста имплементация вярата на възела се състои от само една печеливша група). Тази вяра е резултатът от дедукцията, която е предадена от един или повече майчини възли в по-високо ниво на йерархията.

„Неочаквани“ модели на възела нямат доминиращи вероятности за принадлежност към някоя от временните групи, но имат близо еднакви вероятности да принадлежат на някои от групите. Ако секвенциите на моделите са подобни на трениращите секвенции, тогава присвоените вероятности на групите няма да се променят със същата честоъо на получаване на моделите. Изходните данни на възела няма да се променят често и една резолюция от времето е изгубена.

В по обща схема възловите вярвания могат да бъдат изпратени към входа на който и да е възел в което и да е ниво, но връзките между възлите са фиксирани. Възелът от по-високо ниво комбинира тези изходни данни с другите такива от други дъщерни възли и така формира собствен изходен модел

Тъй като резолюцията във времето и пространството се губи във всеки възел, както е описано по-горе, вярванията формирани от възлите от високо ниво представят по-голям диапазон от време и пространство.