80 прегледа
Red Hat представи нова платформа – Red Hat AI Inference Server, насочена към демократизиране на генеративния изкуствен интелект (gen AI) в хибридната облачна среда. Сървърът е част от екосистемата Red Hat AI и е базиран на отворения проект vLLM, като е допълнително оптимизиран с технологии от Neural Magic. Целта е ясна бърза, високоефективна и икономична AI-инференция, способна да работи с всякакви AI модели, ускорители и облачни платформи. Независимо дали е използван самостоятелно или в комбинация с Red Hat Enterprise Linux AI (RHEL AI) или Red Hat OpenShift AI, новата система предоставя на организациите гъвкавост и сигурност при внедряването и мащабирането на генеративни AI модели в реални условия.
Инференцията е ключовият механизъм, чрез който предварително обучените AI модели интерпретират данни и ги превръщат в приложими резултати. Тя е точката на взаимодействие с потребителя и изисква бързина и прецизност. С нарастващата сложност на моделите и нуждата от мащабиране в производствени среди, инференцията се превръща в сериозно предизвикателство – отнема ресурси и може да ограничи отзивчивостта или да повиши разходите. В този контекст надеждните inference сървъри вече не са лукс, а необходимост за реализиране на потенциала на AI.
С Red Hat AI Inference Server компанията отговаря директно на тези предизвикателства, предлагайки отворено, високопроизводително решение, снабдено с водещи инструменти за компресиране и оптимизация на модели. Това позволява на организациите да предоставят значително по-добро потребителско изживяване и да избират свободно между различни AI ускорители, модели и инфраструктури, без компромис с ефективността или точността.
Новият inference сървър надгражда възможностите на vLLM, проект, стартиран в Университета в Бъркли през 2023 г. Проектът осигурява високоскоростна генеративна инференция, поддръжка на големи контекстни входове, ускорение на модели с множество GPU, непрекъснато групиране на заявки и други функции. Поддръжката му за широк набор от публични модели – включително DeepSeek, Gemma, Llama, Llama Nemotron, Mistral и Phi – утвърждава vLLM като бъдещ стандарт в областта на AI инференцията.
Red Hat AI Inference Server комбинира най-добрите иновации от vLLM и ги трансформира в решение от корпоративен клас. Предлага се както като самостоятелен контейнеризиран продукт, така и като част от RHEL AI и OpenShift AI. Платформата включва интелигентни инструменти за компресия на големи езикови модели (LLM), които намаляват размера и необходимата изчислителна мощност, без загуба на точност. Освен това предоставя оптимизиран модел хранилище в Hugging Face и предлага корпоративна поддръжка от Red Hat, както и възможност за инсталиране в различни среди, включително такива извън екосистемата на Red Hat.
В основата на стратегията на Red Hat стои амбициозната визия всеки модел, на всеки ускорител, във всяка облачна платформа. Компанията вярва, че бъдещето на AI трябва да бъде отворено и гъвкаво, без ограничения, наложени от инфраструктурата. За да реализират напълно стойността на своите инвестиции в AI, организациите имат нужда от универсална inference платформа, която да предлага висока производителност, гъвкавост и мащабируемост.
Както Red Hat превърна Linux в основа на модерната ИТ архитектура, така сега тя се стреми да зададе стандартите в AI инференцията. Компанията е ангажирана с развитието не само на vLLM общността, но и на разпределената inference технология llm-d, като част от изграждането на ново поколение AI екосистема. Целта е ясна – независимо от модела, ускорителя или облачната инфраструктура, Red Hat иска да направи vLLM универсален стандарт за инференция в хибридния облак.
