Home-theater-designers
АИ алати као што је ЦхатГПТ постали су невероватно популарни откако су објављени. Такви алати померају границе обраде природног језика (НЛП), олакшавајући АИ да води разговоре и обрађује језик баш као стварна особа.
Као што можда знате, ЦхатГПТ се ослања на модел генеративног унапред обученог трансформатора (ГПТ). Међутим, то није једини претходно обучени модел.
МАКЕУСЕОФ ВИДЕО ДАНА
Инжењери у Гуглу су 2018. развили БЕРТ (Бидирецтионал Енцодер Репресентатион фром Трансформерс), унапред обучени модел дубоког учења дизајниран да разуме контекст речи у реченици, омогућавајући му да обавља задатке као што су анализа осећања, одговарање на питања, и препознавање именованих ентитета са високом прецизношћу.
како да отворите још један инстаграм налог
Шта је БЕРТ?
БЕРТ је модел дубоког учења који је развио Гоогле истраживање вештачке интелигенције који користи учење без надзора за боље разумевање упита природног језика. Модел користи архитектуру трансформатора да научи двосмерне репрезентације текстуалних података, што му омогућава да боље разуме контекст речи унутар реченице или пасуса.
Ово олакшава машинама да тумаче људски језик како се говори у свакодневном животу. Важно је напоменути да је рачунарима историјски било тешко да обрађују језик, посебно разумевање контекста.
За разлику од других модела обраде језика, БЕРТ је обучен да обавља више од 11 уобичајених НЛП задатака, што га чини изузетно популарним избором у круговима машинског учења.
У поређењу са другим популарним моделима трансформатора као што је ГПТ-3, БЕРТ има изразиту предност: двосмеран је и, као такав, способан је да процени контекст с лева на десно и здесна налево. ГПТ-3.5 и ГПТ-4 разматрају само контекст са лева на десно, док БЕРТ служи за оба.
Језички модели као што је ГПТ користе једносмерни контекст за обуку модела, што омогућава ЦхатГПТ за обављање неколико задатака. Једноставно речено, ови модели су анализирали контекст уноса текста с лева на десно или, у неким случајевима, здесна налево. Међутим, овај једносмерни приступ има ограничења када је у питању разумевање текста, што доводи до нетачности у генерисаним резултатима.
У суштини, то значи да БЕРТ анализира пун контекст реченице пре него што да одговор. Међутим, умесно је напоменути да је ГПТ-3 обучен за знатно већи корпус текста (45ТБ) у поређењу са БЕРТ-ом (3ТБ).
БЕРТ је модел маскираног језика
Важно је знати да се БЕРТ ослања на маскирање да би разумео контекст реченице. Када обрађује реченицу, уклања њене делове и ослања се на модел да предвиди и допуни празнине.
Ово му омогућава да 'предвиди' контекст, у суштини. У реченицама у којима једна реч може имати два различита значења, ово даје маскираним језичким моделима јасну предност.
Како БЕРТ функционише?
БЕРТ је обучен за скуп података од преко 3,3 милијарде речи (ослањање на Википедију за до 2,5 милијарде речи) и БооксЦорпус од Гугла за 800 милиона речи.
БЕРТ-ов јединствени двосмерни контекст омогућава истовремену обраду текста с лева на десно и обрнуто. Ова иновација побољшава моделово разумевање људског језика, омогућавајући му да схвати сложене односе између речи и њиховог контекста.
Елемент двосмерности је позиционирао БЕРТ као револуционарни трансформаторски модел, који покреће изузетна побољшања у НЛП задацима. Што је још важније, такође помаже да се оцрта чиста снага алата који се користе вештачка интелигенција (АИ) да обрађује језик.
Ефикасност БЕРТ-а није само због његове двосмерности већ и због начина на који је претходно обучен. БЕРТ-ова фаза пре обуке састојала се од два суштинска корака, односно модела маскираног језика (МЛМ) и предвиђања следеће реченице (НСП).
Док већина метода пре обуке маскира појединачне елементе секвенце, БЕРТ користи МЛМ да насумично маскира проценат улазних токена у реченици током тренинга. Овај приступ приморава модел да предвиди речи које недостају, узимајући у обзир контекст са обе стране маскиране речи – отуда и двосмерност.
Затим, током НСП-а, БЕРТ учи да предвиди да ли реченица Кс заиста следи у реченицу И. Ова способност обучава модел да разуме односе реченица и општи контекст, што, заузврат, доприноси ефикасности модела.
Фино подешавање БЕРТ
Након пре-тренинга, БЕРТ је прешао на фазу финог подешавања, где је модел прилагођен различитим НЛП задацима, укључујући анализу осећања, препознавање именованих ентитета и системе за одговарање на питања. Фино подешавање укључује учење под надзором, коришћење означених скупова података за побољшање перформанси модела за специфичне задатке.
како да преузмете избрисане фацебоок поруке
БЕРТ-ов приступ обуци се сматра „универзалним“ јер омогућава да иста архитектура модела решава различите задатке без потребе за опсежним модификацијама. Ова свестраност је још један разлог за популарност БЕРТ-а међу НЛП ентузијастима.
На пример, БЕРТ користи Гоогле за предвиђање упита за претрагу и за убацивање речи које недостају, посебно у смислу контекста.
За шта се обично користи БЕРТ?
Док Гоогле користи БЕРТ у свом претраживачу, он има неколико других апликација:
Сентимент Аналисис
Анализа осећања је основна примена НЛП-а која се бави класификацијом текстуалних података на основу емоција и мишљења уграђених у њих. Ово је кључно у бројним областима, од праћења задовољства купаца до предвиђања трендова на берзи.
БЕРТ блиста у овом домену, јер хвата емоционалну суштину текстуалног уноса и прецизно предвиђа осећај иза речи.
Резимирање текста
Због своје двосмерне природе и механизама пажње, БЕРТ може да схвати сваку јоту текстуалног контекста без губљења битних информација. Резултат су висококвалитетни, кохерентни резимеи који тачно одражавају значајан садржај улазних докумената.
Препознавање именованих ентитета
Препознавање именованих ентитета (НЕР) је још један витални аспект НЛП-а који има за циљ идентификацију и категоризацију ентитета као што су имена, организације и локације унутар текстуалних података.
БЕРТ је заиста трансформативан у НЕР простору, првенствено због своје способности да препозна и класификује сложене обрасце ентитета — чак и када је представљен унутар сложених структура текста.
Системи за питања и одговоре
БЕРТ-ово контекстуално разумевање и утемељеност у двосмерним енкодерима чине га вештим у издвајању тачних одговора из великих скупова података.
Може ефикасно да одреди контекст питања и лоцира најпогоднији одговор у текстуалним подацима, што је могућност која се може искористити за напредне чет-ботове, претраживаче, па чак и виртуелне асистенте.
Машинско превођење преко БЕРТ-а
Машинско превођење је суштински задатак НЛП-а који је БЕРТ побољшао. Архитектура трансформатора и двосмерно разумевање контекста доприносе разбијању баријера у превођењу са једног језика на други.
како гледати инстаграм уживо на рачунару
Иако су првенствено фокусиране на енглески, БЕРТ-ове вишејезичне варијанте (мБЕРТ) могу се применити на проблеме машинског превођења за бројне језике, отварајући врата инклузивнијим платформама и комуникацијским медијима.
АИ и машинско учење настављају да померају нове границе
Нема сумње да модели као што је БЕРТ мењају игру и отварају нове путеве истраживања. Али, што је још важније, такви алати се лако могу интегрисати у постојеће токове рада.