Zukunft der KI: LLaVa-NeXT verbindet Sprachverarbeitung und ...
Ein besonders spannendes Feld ist dabei die Verknüpfung von Sprachverarbeitung und visueller Wahrnehmung durch KI-Modelle. Ein neuer Meilenstein in diesem ...
Zukunft der KI: LLaVa-NeXT verbindet Sprachverarbeitung und visuelle Intelligenz

[![Straple Logo](https://cdn.prod.website-files.com/659e704a7328427ddffed02d/66b4bb4d583ad060ac9c4cc6_master-logo-black.svg)](/)

Lösungen



[Marketing & PR\
\
Verbessern Sie Ihre Außenkommunikation.](/losungen/marketing-and-pr) [Designer & Kreative\
\
Erhalten Sie endlose Kreativität und Inspiration.](/losungen/kreative) [Projektleiter\
\
Erzielen Sie bessere Ergebnisse.](/losungen/projektleiter)

[Recht & Finanzwesen\
\
Prüfen Sie Dokumente und Sachverhalte.](/losungen/legal) [Vertrieb & Kunden-Service\
\
Verstehen Sie Ihre Kunden noch besser.](/losungen/verkaufe) [Teams\
\
Gemeinsam Ziele erreichen.](/losungen/teams)

[Für Studenten\
\
Für Studenten, Schüler & Azubis](/losungen/studenten) [Für Bildungsstätten\
\
Entdecken Sie Mindverse für Bildungsstätten.](/losungen/bildungsstaetten)

[Unsere Enterprise-Lösungen\
\
](/enterprise)

Creatives

Marketing & PR

Project Managers

Sales

Legal

Finance

Teams

Mindverse Suite



[Planen\
\
Setzen Sie Ihre KI-Strategie strukturiert um.](/ki-suite/planen) [Recherchieren\
\
Finden Sie fehlende Informationen.](/ki-suite/recherchieren) [Erstellen\
\
Lassen Sie die KI arbeiten.](/ki-suite/erstellen)

[Automatisieren\
\
Erstellen Sie wiederkehrende Aufgaben.](/ki-suite/workflows) [Individualisieren\
\
Passen Sie die Suite Ihren Anforderungen an.](/ki-suite/individualisieren) [Trainieren\
\
Bilden Sie die KI zu einem Experten aus.](/ki-suite/ki-training)

[KI-Texteditor](/ki-texteditor) [KI-Bilder](/ki-bilder) [KI-Recherche](/ki-suite/recherchieren) [KI-Workflows](/ki-suite/workflows)

[KI-Chat](/ki-suite/chat) [KI-Brainstorm](/ki-suite/ki-brainstorming) [KI-Agenten](/ki-suite/ki-agenten) [KI-Massenverarbeitung](/ki-suite/massenverarbeitung)

[KI-Charts](/ki-suite/ki-charts) [KI-Whiteboards](/ki-suite/ki-whiteboard) [KI-Video](/ki-suite/ki-videos) [KI-Audio](/ki-suite/ki-audio)

[KI-Whitepaper](/ki-suite/ki-whitepaper) [KI-Quellenrecherche](/ki-suite/texte-mit-quellenangaben)

[Ganze Suite\
\
](/ki-suite/vollstandige-suite)

[Enterprise](/enterprise) [Preise](/preise)

Ressourcen



[Kontakt\
\
Kontaktieren Sie uns.](/ressourcen/unterstutzung) [Nachrichten\
\
Die neuesten Nachrichten aus der Welt der KI](/ressourcen/news) [Blog\
\
Das Neueste von Mindverse](/ressourcen/blog) [Mindverse-Akademie\
\
Lernen Sie, wie Sie mit Mindverse erstellen, recherchieren, analysieren und verwalten können.](/ressourcen/mindverse-akademie) [Mindverse Engines\
\
Unsere vortrainierten KI-Engines](/ressourcen/engines) [Presse\
\
Sie haben eine Presseanfrage und möchten mehr über Mindverse erfahren.](/ressourcen/presse) [Fallstudien\
\
Fallstudien unserer Kunden](/ressourcen/fallstudie)

Mehr



[Mindverse Labs\
\
Die neuesten Dinge, die wir aushecken](/mindverse-labs) [Desktop-App\
\
Mindverse auf Ihrem Desktop](/desktop-app) [Gmail-Integration\
\
Verbinden Sie Mindverse mit Gmail](/gmail-integration) [Chrome-Extension\
\
Die einfache Erweiterung für alle Ihre Bedürfnisse](/chrome-extension) [Mindverse API\
\
Integrieren Sie die neuesten KI-Technologien](/api) [Mindverse Apps\
\
KI-gestützte Apps ohne Programmierkentnisse](https://apps.mind-verse.de/) [Team Chat\
\
Umgebung für Ihr Team](/mindverse-labs/team-ki-chat)

[Kostenlos testen](https://ai.mind-verse.de/login?id=login)

[](https://ai.mind-verse.de/login?id=login)



# Zukunft der KI: LLaVa-NeXT verbindet Sprachverarbeitung und visuelle Intelligenz

![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/666c4a46544104d8deb9bfe7_662904834cd533ba5ad8e622_pexels-photo-3861969.jpeg)

Kategorien:

No items found.

Freigegeben:

June 14, 2024

Die Entwicklung Künstlicher Intelligenz (KI) schreitet unaufhaltsam voran, und mit ihr die Möglichkeiten, wie wir mit Maschinen interagieren. Ein besonders spannendes Feld ist dabei die Verknüpfung von Sprachverarbeitung und visueller Wahrnehmung durch KI-Modelle. Ein neuer Meilenstein in diesem Bereich ist LLaVa-NeXT, ein Modell, das eine herausragende Bildauflösung und verbesserte Datenvermischung mit einem skalierten Backbone für Sprachmodelle kombiniert.

LLaVa-NeXT ist eine Weiterentwicklung von LLaVa, einem KI-Modell, das von Haotian Liu, Chunyuan Li, Yuheng Li, Bo Li, Yuanhan Zhang, Sheng Shen und Yong Jae Lee entwickelt wurde. Die Verbesserungen gegenüber dem Vorgängermodell LLaVa-1.5 sind beachtlich. So wurde unter anderem die Auflösung der Eingabebilder vervierfacht, um mehr visuelle Details erfassen zu können. Dies ermöglicht dem Modell, visuelle Informationen besser zu verarbeiten und zu interpretieren. Unterstützt werden dabei drei verschiedene Bildverhältnisse mit Auflösungen bis zu 672x672, 336x1344 und 1344x336 Pixeln.

Ein entscheidender Vorteil von LLaVa-NeXT ist seine verbesserte Fähigkeit zur optischen Zeichenerkennung (OCR) und zum logischen Denken. Dies wird durch eine verbesserte Datenmischung für das visuelle Instruktionstraining erreicht. Das Modell ist in der Lage, in verschiedenen Szenarien visuelle Unterhaltungen zu führen und verfügt über ein erweitertes Weltwissen sowie logische Schließfähigkeiten. Trotz dieser Fortschritte behält LLaVa-NeXT das minimalistische Design und die Dateneffizienz seines Vorgängers bei und wird weiterhin mit weniger als 1 Million visuellen Instruktionstraining-Beispielen trainiert.

Die Entwickler von LLaVa-NeXT haben besonderen Wert auf eine effiziente Bereitstellung und Inferenz mit SGLang gelegt. Damit ist das Modell nicht nur leistungsfähiger, sondern auch in der Anwendung effizienter. Die größte Variante des Modells mit 34 Milliarden Parametern kann innerhalb von etwa einem Tag auf 32 A100-Grafikprozessoren trainiert werden.

Für die Verwendung von LLaVa-NeXT ist es wichtig, dass Nutzer die richtigen Formatierungen für Texteingabeaufforderungen beachten, da jedes Checkpoint mit einem spezifischen Format trainiert wurde, das von dem verwendeten großen Sprachmodell (LLM) abhängt. So gibt es beispielsweise für die Eingabeaufforderung "Was wird in diesem Bild gezeigt?" verschiedene korrekte Formate, die je nach verwendetem LLM variieren können.

Eine Besonderheit von LLaVa-NeXT ist auch die Möglichkeit zur Modellquantisierung mit Bitsandbytes. Dadurch können Modelle in 8 oder 4 Bits geladen werden, was die Speicheranforderungen drastisch reduziert, während die Leistung des Originalmodells erhalten bleibt. Zusätzlich bietet der Einsatz von Flash-Attention 2 eine weitere Geschwindigkeitssteigerung bei der Generierung von Antworten.

Die Einsatzmöglichkeiten für LLaVa-NeXT sind vielfältig und reichen von der Bildbeschreibung über die Beantwortung von Fragen bis hin zum visuellen Dialog in verschiedenen Anwendungsszenarien. Es ist ein Spitzenmodell im Bereich der Open-Source-VLLM (Visual Large Language Models) und unterstützt LLMs wie Mistral-7B und Vicuna, was endlose Möglichkeiten für die Forschung und Entwicklung neuer Anwendungen eröffnet.

Die öffentliche Verfügbarkeit des Codes und der Modelle trägt dazu bei, dass Forscher und Entwickler auf der ganzen Welt Zugang zu dieser fortschrittlichen Technologie haben und sie für ihre eigenen Projekte nutzen können. Dies ist ein bedeutender Schritt in Richtung einer inklusiven und offenen KI-Forschung und -Entwicklung.

Quellen:

\- Liu, Haotian et al. "LLaVa-NeXT: Improved reasoning, OCR, and world knowledge." arXiv (2023).

\- Liu, Haotian et al. "Visual Instruction Tuning." NeurIPS (2023).

\- Hugging Face Transformers Dokumentation über LLaVa-NeXT.

\- Hugging Face Model Cards und Ressourcen zu LLaVa-Versionen.

Dieser Bericht gibt einen umfassenden Überblick über die neuesten Entwicklungen im Bereich der KI, speziell der multimodalen KI-Modelle, und stellt mit LLaVa-NeXT eine bedeutende Innovation vor, die sowohl in der Forschung als auch in der praktischen Anwendung große Wellen schlagen könnte.

Was bedeutet das?

[**Robot Utility Models: Richtlinien für den Einsatz in unbekannten Umgebungen ohne Voranpassung** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/roboter-nutzungsmodelle-einsatzrichtlinien-unbekannte-umgebungen)

No items found.

[![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/66d6974660d43b1ab3fc2c99_pexels-photo-17887854.jpeg)**Neue Perspektiven und Herausforderungen in der Künstlichen Intelligenz** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/neue-perspektiven-herausforderungen-kuenstliche-intelligenz-fd708)

No items found.

[![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/66d9b34ef2f7a12687d24659_pexels-photo-25626428.jpeg)**Sony und AI Singapore entwickeln gemeinsam Sprachmodelle für Südostasien** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/sony-ai-singapore-entwickeln-sprachmodelle-suedostasien)

No items found.

[![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/66da6e7f93f9faac9aca49dd_pexels-photo-18475708.jpeg)**Neue Ära der Forschung durch selbst-evolvierende LLM RAG-Systeme** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/neue-aera-der-forschung-durch-selbst-evolvierende-llm-rag-systeme)

No items found.

[![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/66db0147dbc107cdf10ae8e4_pexels-photo-17887855.jpeg)**Neue Ära der KI Leistung durch Llama 3.1 und SambaNova Technologie** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/neue-aera-der-ki-leistung-durch-llama-3-1-und-sambanova-technologie)

No items found.

[![](https://cdn.prod.website-files.com/659e704a7328427ddffed06f/66e06d6388f3b2463e175a06_pexels-photo-7606072.jpeg)**Python erreicht 100 Millionen Downloads auf PyPI: Ein bedeutender Erfolg für die Entwicklergemeinschaft** \
\
September 10, 2024\
\
Mehr lesen\
\
](/news/python-100-millionen-downloads-pypi-erfolg-entwicklergemeinschaft)

No items found.

Heute kostenlos testen

Gespräch buchen

Künstliche Intelligenz für alle – Ihr Begleiter beim Schreiben von Texten, Finden neuer Ideen, Erstellen von Inhalten und Gewinnen von Erkenntnissen. Generieren Sie einzigartige Inhalte in Sekundenschnelle und erledigen Sie mehrere Tage Arbeit in nur wenigen Stunden! Lassen Sie sich von der Effizienz und Kreativität unserer KI überzeugen.

[![Mindverse Logo](https://cdn.prod.website-files.com/659e704a7328427ddffed02d/65d47255b00aa5e15f8f633d_Full.svg)](/)

Superkräfte für Sie und Ihr Team – die nächste Generation der KI-Suite für die Zukunft der Produktivität.

Lösungen

[Kreative](/losungen/kreative) [Marketing & PR](/losungen/marketing-and-pr) [Projektleiter](/losungen/projektleiter) [Vertrieb](/losungen/verkaufe) [Rechtswesen](/losungen/legal) [Teams](/losungen/teams) [Enterprise](/enterprise) [Bildung](/losungen/bildungsstaetten) [Studenten](/losungen/studenten)

Mindverse Suite

[KI-Texteditor](/ki-texteditor) [KI-Bilder](/ki-bilder) [KI-Chat](/ki-suite/chat) [Planen](/ki-suite/planen) [Recherchieren](/ki-suite/recherchieren) [Erstellen](/ki-suite/erstellen) [Automatisieren](/ki-suite/ki-analyse) [Individualisieren](/ki-suite/individualisieren) [Trainieren](/ki-suite/ki-training) [Vollständige Suite](/ki-suite/vollstandige-suite)

Mindverse

[Mindverse-Labs](/mindverse-labs) [KI-Workshops](/ki-workshops) [Preise](/preise) [Jobs](/jobs) [Kontakt](/ressourcen/unterstutzung)

Ressourcen

[Nachrichten](/ressourcen/news) [Blog](/ressourcen/blog) [FAQ's](/ressourcen/haufig-gestellte-fragen) [Kontakt](/ressourcen/unterstutzung) [Mindverse Akademie](/ressourcen/mindverse-akademie) [Engines](/ressourcen/engines) [Presse](/ressourcen/presse) [Fallstudien](/ressourcen/fallstudie)

©2024 Mindverse. Alle Rechte vorbehalten

[Moralische Grundsätze](/legals/moralische-grundsatze)

[Datenschutzerklärung von Mindverse](/legals/datenschutz)

[AGBs](/legals/agbs)

[Impressum](/legals/impressum)

[AGBs für das Trainieren von eigenen Bilder Modellen](/legals/agbs-fur-das-trainieren-von-eigenen-bilder-modellen)