Какво е Pixtral – новият многомодален голям езиков модел

Mistral, френска стартираща компания за изкуствен интелект (AI), затвърди позицията си на основен разрушител в индустрията на AI. И има един модел, който да благодари за това – Pixtral Large. Ето всичко, което трябва да знаете за него.

Какво е Pixtral?

Pixtral е усъвършенстван мултимодален езиков модел. Засега семейството на Pixtral се състои от два модела – Pixtral 12B и Pixtral Large. Тъй като Pixtral Large на практика е по-мощна версия на своя предшественик – Pixtral 12B – това ръководство ще се фокусира предимно върху неговите възможности.

Този 124B-параметър модел Pixtral се състои от две части – текстов декодер и визуален декодер. Първият се фокусира върху разбирането на писмения език. Последното помага на модела да разбере изображенията. Тази комбинация дава на Pixtral Large уникална способност да работи както с текст, така и с картини едновременно, което му носи ласкавото заглавие на „мултимодален“ модел.

Pixtral Large може да обработва огромно количество информация – до 30 изображения с висока разделителна способност или еквивалента на книга от 300 страници наведнъж. Това го прави сходен по мощност с други водещи AI модели, като тези от OpenAI.

Какви са основните характеристики на Pixtral Large?

Някои от основните характеристики на този модел Pixtral са очевидни от описанието му. И все пак нека разбием тези функции и да копаем малко по-дълбоко.

Разширен контекстен прозорец за сложни задачи

Контекстният прозорец се отнася до количеството текст, който моделът може да „запомни“ или да обработи наведнъж. В това отношение Pixtral Large остава верен на името си. Има голям контекстен прозорец от 128 000 токена. Това означава, че може да обработва големи части от данни, без да ги разделя на по-малки части.

Гъвкава обработка на зрението в различни разделителни способности

Както споменахме, Pixtral Large е оборудван с визуален енкодер. Е, този енкодер може да обработва изображения с различни разделителни способности. Тази гъвкавост позволява на модела да се адаптира към различни видове задачи. Бърза обработка на изображението или анализ с висока точност… всичко е едно и също за този модел на Pixtral.

Стандартизирана производителност с MM-MT-Bench

Mistral разработи бенчмарк с отворен код, наречен MM-MT-Bench. Целта на този инструмент е да осигури последователни стандарти за оценка за мултимодални модели като Pixtral Large. В резултат на това изследователите могат да преценят колко добре се представя Pixtral Large в сравнение с други модели.

Разширено мултимодално разсъждение

Pixtral Large е обучен на набори от данни, които комбинират текст и изображение. Обучен – и фино настроен. Това му позволява да следва сложни инструкции, които включват и двата типа данни едновременно. Например, чатбот за поддръжка на клиенти може да анализира едновременно изображение на повреден продукт и съобщение на клиента, обясняващо проблема. Pixtral Large ще му позволи да разбере напълно проблема и да поддържа контекст в множество борси. Това да не говорим за предоставянето на точно решение в крайна сметка.

Мащабируемост между приложенията

С Pixtral Large можете да се справите с почти всяка задача. Можете да направите нещо малко и специфично като анализ на договор. Или Pixtral Large може да ви помогне да изградите мултимодална търсачка за електронна търговия. Толкова е многофункционален. Тази гъвкавост прави този модел Pixtral идеален за широк спектър от индустрии и случаи на употреба. Често срещаните примери от реалния свят включват:

• Анализ и управление на документи в правната и финансовата индустрия
• Визуализация и анализ на данни в научните изследвания и науката за данни
• Поддръжка на клиенти в областта на електронната търговия и технологиите

Как се сравнява Pixtral Large с основните мултимодални конкуренти?

Mistral може да е сравнително нов играч в пространството на AI. Въпреки това, той вече може да се конкурира с AI гиганти. Не само това, но може да ги надмине.

Pixtral Large продължава тази тенденция. Този модел на Pixtral се представи отлично в сравнителни тестове срещу най-добрите мултимодални модели. Ето само няколко акцента.

• Превъзхожда Claude-3.5, Sonnet и Llama-3.2 в математическите разсъждения с визуални данни
• Надминава GPT-4o и Gemini-1.5 Pro в разбирането и разсъжденията с диаграми, таблици и сканирани документи
• Превъзхожда Claude-3.5, Sonnet, Gemini-1.5 Pro и GPT-4o в мултимодални приложения в реалния свят с текст и изображение