jentsch.io Beiträge

Ich versuche das Meta-Llama-3-70B-Instruct-Q4_K_M.gguf als Programmier-Assistent zu verwenden. Es scheint aber ein Problem zu geben, denn wenn ich folgenden Befehl ausführe, fängt das Meta-Llama-3-70B-Instruct-Q4_K_M.gguf zwar an eine sinnvolle Antwort zu generieren, aber es hört einfach nicht mehr auf und antwortet sich immer wieder selbst – sehr merkwürdig??? Hier die Ausgebe. Diverse male wiederholt sich das Token „assistant“ im Text. Irgendwann wechselt Meta-Llama-3-70B-Instruct-Q4_K_M.gguf dann zu englisch und verliert sich dann in einer Endlosschleife mit den Token „Exactly!assistant“. Ein Blick in die Logdatei zeigt dann, dass Llama-3 als EOS Token-ID die 128009 verwendet. In der GGUF Datei ist aber 128001 eingetragen. Das kann also nicht funktionieren. Zum Glück hat llama.cpp ein kleines Skript, mit dem man die EOS-Token-Id andern kann. Der folgende…

Jeff Prosise’s book „Applied Machine Learning and AI for Engineers“ bietet eine gute Einführung und praktische Anleitung zur Anwendung von maschinellem Lernen und KI. Das Buch beschreibt die Grundlagen zeigt aber auch komplexere Konzepte wie die Erkennung von Objekten auf Fotos, Echtzeit-Sprachübersetzung und den Einsatz von Computern zur Kunst- und Musikgenerierung. Das Buch ist insgesamt gut geschrieben und lässt sich gut lesen, kann aber auch als Nachschlagewerk für konkrete Anwendungsfälle genutzt werden, denn die Hauptstärke des Buches liegt in seiner Praxisorientierung. Es enthält zahlreiche Codebeispiele in Python und nutzt populäre Open-Source-Bibliotheken wie Scikit-Learn, Keras und TensorFlow, um Konzepte zu demonstrieren und zu verstärken. Viele der Beispiele können auch auf typischen PCs oder Laptops ohne spezielle Hardware wie GPUs ausgeführt werden,…

Weil die Online Dienste nicht immer verfügbar sind. Da ist etwas schiefgelaufen Bitte versuche, diese Seite neu zu laden oder schließe dein Browserfenster und öffne es erneut. https://www.meta.ai/ Das zeigt mir gerade die meta.ai Webseite. Habe es mit unterschiedlichen Browsersn und auf verschiedenen Computern versucht – leider ohne Erfolg. Also bleibt nur, Meta-Llama-3-70B-Instruct herunterladen und in 4-Bit auf dem Jetson Orin Dev. Board laufen lassen. Leider ist der Download sehr groß und ich kann das Meta-Llama-3-70B-Instruct noch nicht lokal laufen lassen, da der Download noch ca. 25 Stunden benötigt. 🙁 Also abwarten und Tee trinken …..

Mich interessiert der Einsatz des Mixtral-8x22B-Instruct-v0.1 Modells, von MistralAI, auf einem Jetson Orin 64 GB Developer Board in der Q2_K gguf Version. „Q2_K“ bezieht sich auf eine spezifische Art der Quantisierung innerhalb des Modellformats oder der Modellarchitektur, die im gguf-Format (General GPU Format) verwendet wird. Quantisierung sorg für geringeren Speicherverbrauch und schnellerer Verarbeitung, was besonders nützlich ist bei der Bereitstellung von Modellen auf Hardware mit begrenzten Ressourcen oder für Echtzeitanwendungen. Mixtral-8x22B-Instruct-v0.1 Das Mixtral-8x22B-Instruct-v0.1 ist ein hochmodernes Modell, das speziell für Aufgaben im Bereich der Instruktionserfüllung konzipiert wurde. Für den Test habe ich es auf einem NVIDIA Jetson Orin 64 GB Developer Board geladen, einer Plattform, die für ihre leistungsstarken Rechenfähigkeiten und Optimierung für maschinelles Lernen bekannt ist. JETSON AGX ORIN…

Ein Schlüsselaspekt bei der Nutzung von großen LLMs (Large Language Modellen) wie dem C4AI Command R+ ist die Quantisierung der Modellparameter, die es ermöglicht, die Größe der Modelle erheblich zu reduzieren, ohne dabei die Genauigkeit und Leistungsfähigkeit signifikant zu beeinträchtigen. Durch die Anwendung dieser Methode können die Modelle auch auf Hardware mit beschränkten Ressourcen eingesetzt werden. Quantisierung von LLMs Die Quantisierung von LLMs (Large Language Modellen) ist ein Verfahren, bei dem die Größe und Komplexität dieser Modelle reduziert werden, um sie effizienter zu machen. Hierbei hat in letzter Zeit vor allem die GGUF-Quantisierung dazu beigetragen, eine breitere Nutzung und Demokratisierung des Zugangs zu diesen leistungsstarken Modellen zu ermöglichen. GGUF wurde speziell für das schnelle Laden und Speichern von Modellen entworfen. Es ist…

Durch die Bündelung mehrerer Texte in einem Batch und deren gleichzeitige Verarbeitung kann die Verarbeitungsgeschwindigkeit deutlich gesteigert und die Ressourcennutzung optimiert werden. Durch die die Parallelisierung auf einer GPU ist eine effizientere Auslastung der Hardware möglich, was insgesamt zu einer verbesserten Geschwindigkeit führt. Dieser Ansatz ist besonders vorteilhaft für Anwendungen, die große Mengen von Texten generieren müssen, wie beispielsweise bei der automatisierten Erstellung von synthetisch generierten Daten zum Trainieren von KI-Modellen. Die Parallelisierung der Batch-Textgenerierung auf einer GPU bietet folgende Vorteile: GPUs sind darauf ausgelegt, große Datenmengen parallel zu verarbeiten. Durch die Parallelisierung können mehrere Textgenerierungsaufgaben gleichzeitig ausgeführt werden, was zu einer erheblichen Beschleunigung führen kann. Ohne diese Parallelisierung könnten Teile der GPU während der Inferenz ungenutzt bleiben, da einige…

Das ist neu. ChatGPT erzeugt 2 Varianten einer Antwort und fragt: „Welche Antwort bevorzugen Sie?“. Ich habe das jedenfalls so noch nicht gesehen, obwohl ich ChatGPT mittlerweile durch mittlerweile recht häufig nutze. Welche Antwort bevorzugen Sie? Ihre Wahl hilft dabei, ChatGPT zu verbessern. ChatGPT Diese Form des RLFHF (Reinforcement learning from human feedback) ist neu. Aber keine schlechte Idee. Als Nutzer darf man den ChatCPT Dienst kostenlos nutzen aber hilft dabei, ChatGPT besser zu machen. In dem obigen Beispiel ist der Unterscheid zwar sehr minimal und eigentlich sind beide Lösungen nahezu identisch, aber ich wähle die rechte Version. Eigentlich eine gute Möglichkeit, etwas zurück zu geben, da OpenAI das Feedback in die nächste Version der KI einfließen lassen kann um…

Um den Babylon.js GUI-Editor offline zu verwenden, zuerst sichergestellt werden, dass alle erforderlichen Komponenten lokal auf Ihrem Computer installiert sind. Anschließend kann man den Editor ohne Internetverbindung starten und damit arbeiten, ohne auf eine Online-Verbindung angewiesen zu sein. Wie das genau von Statten geht beschreibe ich in dieser kleinen Anleitung Was ist der Babylon.js GUI Editor? Babylon.js ist eine umfangreiche Open-Source-Bibliothek für die Entwicklung von 3D-Web-Anwendungen. Der GUI Editor ist eine Erweiterung dieser Bibliothek, die speziell darauf ausgerichtet ist, die Gestaltung und Implementierung von Benutzeroberflächen in Babylon.js-Projekten zu vereinfachen. Mit dem Babylon.js GUI Editor kann man 2D-Elemente wie Schaltflächen, Textfelder, Listen, Slider und mehr erstellen, positionieren und anpassen. Diese Elemente können in eine 3D-Szene integriert werden, um interaktive Benutzeroberflächen für…

CUDA out of memory. Tried to allocate 3.73 GiB. GPU 0 has a total capacty of 14.75 GiB of which 3.45 GiB is free. Process 9648 has 11.29 GiB memory in use. Of the allocated memory 11.18 GiB is allocated by PyTorch, and 1.91 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF Die Fehlermeldung „CUDA out of memory“ hat vermutlich Jeder schon mal gesehen, der versucht hat, größere LLMs auf einer Consumer-GPU laufen zu lassen. Der Fehler besagt, dass der Speicher auf der Grafikkarte knapp wird und keine weiteren Ressourcen für die aktuelle Operation zur Verfügung stehen. Moderne Grafikkarten von NVIDIA…

Die Huggingface Transformer-Methode „generate“ ist eine einfache Möglichkeit mit einem der aktuell 66.987 text-generation Modelle, automatisch Texte zu generieren. Dazu kann man z.B. folgenden einfachen Python code verwenden. Der Code lädt ein Model und den Tokenizer von Huggingface und führ die Inference auf einer CUDA kompatiblen NVIDIA GPU aus. Die Methode „model.generate()“ kann aber noch viel mehr. Die model.generate() Methode nimmt noch folgende optionale Parameter entgegen, mit denen man das Generieren der Antwort vom Text-Generation Model noch optimieren kann. Huggingface Transformer model.generate Parameter max_length: Die maximale Länge der zu generierenden Sequenz. Standardmäßig auf 20 gesetzt. Ein paar Beispiele Im Folgenden werde ich anhand von ein paar Beispielen einige der Parameter exemplarisch erläutern und ihre Funktionen im Kontext der Generierung von…