jentsch.io Beiträge

Ich habe folgenden Screenshot von meinem Trainingsbericht gemacht und verschiedenen Multimodalen Modellen 3 Fragen dazu gestellt. Ich habe in allen Fällen die kostenlose Version verwendet. Folgenden Prompt habe ich verwendet um die 3 Fragen zu stellen. Beantworte mir folgende 3 Fragen zu dem Trainingsbericht. 1. Basierend auf dem Trainingsverlauf. Wann sind 1.000.000 kcal erreicht? 2. Was fällt Dir an dem Diagramm der Herzfrequenz auf? 3. Wie viele Kilometer bin ich in der angegebenen Zeit auf dem Skateboard gefahren? Die korrekte Antwort auf ChatGPT Schon mal nicht schlecht. Alle drei Fragen sind erst mal gut beantwortet. Bei der ersten Frage hätte ich mir noch gewünscht, dass ChatGPT den Zeitraum berücksichtigt und dann einen Zeitpunkt in der Zukunft mitteilt. Bei der Zweiten…

Für einen Test von deepseek-r1:70b in der Q4_K_M Variante habe ich mal eine SimpleBench Frage genommen und sie dem deepseek-r1:70b Modell in der Q4_K_M Variante gestellt. SimpleBench (simple-bench.com) ist ein Multiple-Choice-Text-Benchmark, der entwickelt wurde, um die Fähigkeiten von großen Sprachmodellen (LLMs) in Bereichen wie räumlich-zeitlichem Denken, sozialer Intelligenz und linguistischer Robustheit gegenüber sogenannten „Trickfragen“ zu evaluieren. Der Datensatz umfasst über 200 Fragen und ist öffentlich zugänglich. Er kann verwendet werden, um LLMs zu testen und deren Leistung mit bestehenden Modellen zu vergleichen. Ich habe mal die Frage 8 gewählt und auf deutsch übersetzt. SimpleBench Frage 8 (deutsche Übersetzung) In einem Regal stehen nur ein grüner Apfel, eine rote Birne und ein rosa Pfirsich. Das sind auch die jeweiligen Farben der…

Ich habe auf YouTube folgendes Video gesehen und bin tatsächlich etwas irritiert. Das YouTube-Video mit dem Titel „12VHPWR on RTX 5090 is Extremely Concerning“ thematisiert die potenziellen Risiken des 12VHPWR-Stromanschlusses bei der NVIDIA RTX 5090 Grafikkarte. Es wird darauf hingewiesen, dass trotz der Verwendung von Drittanbieter-Kabeln solche Probleme bei früheren 6- oder 8-Pin-Anschlüssen nicht auftraten. Die Diskussion konzentriert sich auf die Besorgnis über mögliche Überhitzung oder Schmelzen der Anschlüsse, was auf Design- oder Herstellungsfehler hindeuten könnte. Die Community zeigt sich alarmiert über diese Entwicklungen und fordert weitere Untersuchungen, um die Sicherheit und Zuverlässigkeit der Hardware zu gewährleisten. Bei Zeitpunkt „16:40“ wird darauf hingewiesen, dass in der RTX 5090 Founders Edition die 6x12V Verbindungen zusammengeführt und zu einer 12V Spannungsquelle kombiniert…

Neben dem Pretrainging und dem Post-Training ist RLHF eines der 3 wichtigsten Schritte beim Training von modernen LLMs. KI-Systemen werden hierbei aus menschlichem Feedback trainiert und an menschliche Werte und Präferenzen angepasst. In dem Buch „A Little Bit of Reinforcement Learning from Human Feedback“ kann man genau nachlesen, wie das im Detail funktioniert, was ein Reward Modell ist und wie genau die RLHF dem LLM den letzten Schliff gibt. Das Buch zielt darauf ab, eine Einführung in die Kernmethoden von RLHF für Personen mit einem oberflächlichen KI-Hintergrund zu geben. Aktuell ist das Buch noch nicht komplett fertig. Alle Teile die noch in Arbeit sind habe ich hier als „unvollständig“ gekennzeichnet. Alle Details, den Download des PDF und die Links zum…

vLLM (Vectorized Low-Latency Machine Learning) ist eine Bibliothek, die speziell für die Beschleunigung der Inferenz entwickelt wurde. vLLM ermöglicht es, Transformer-basierte Architekturen mit minimaler Latenz und maximalem Durchsatz auszuführen, was es zu einer idealen Wahl für Echtzeitanwendungen macht. Quelle: https://x.com/MagicAmish/status/1884424865534685323 vLLM nutzt fortschrittliche Techniken wie PagedAttention und effizientes Speichermanagement, um die Hardware-Ressourcen optimal auszulasten. Dies ist besonders wichtig, wenn man auf leistungsstarker, aber ressourcenbeschränkter Hardware wie dem NVIDIA Jetson Orin arbeitet. Der Jetson Orin ist eine hervorragende Plattform für die lokale Nutzung von KI-Modellen. Im folgenden werde ich Schritt für Schritt durch die Installation und Konfiguration von vLLM auf dem Jetson Orin führen. Voraussetzungen Die vLLM Installation benötigt eine Installation von torch, torchvision und torchaudio. Die Installation der 3 Pakete habe ich unter https://www.jentsch.io/pytorch-aus-den-sourcen-mit-cuda-12-support-bauen-und-installieren/ schon…

https://operator.chatgpt.com/geo-blocked – schade

Auf dem Jetson Orin Developer Kit muss man unter Umständen PyTorch aus den Sourcen installieren. Es gibt zwar entsprechende whl Dateien unter https://developer.download.nvidia.com/compute/redist/jp/v60/pytorch/ zum Download, aber die sind nicht mehr aktuell und es fehlen auch die torch.distribute Teile, die man unter Umständen auch benötigt – schade. PyTorch Paket bauen Die Installation startet mit dem Download der Sourcen mit den Befehlen: Damit wird das Repository geklont, die gewünschte Version ausgewählt und die Submodule initialisiert. Das dauert eine Zeit, da pytorch sehr umfangreich ist. Als nächstes werden die CUDA Pfade manuell zu den Umgebungsvariablen gesetzt: Diese Pfade können abweichend sein, aber bei der Standard-Installation des Jetson Orin mit dem Jetpack 6 sollte das so passen. Damit pytorch gebaut werden kann, müssen noch…

Das Jahr 2024 wird vermutlich wieder als eines der prägendsten Jahre in der Geschichte der Künstlichen Intelligenz (KI) in Erinnerung bleiben. Die rasante Entwicklung neuer Modelle und Anwendungen hat nicht nur die Tech-Welt verändert, sondern auch den Alltag vieler Menschen beeinflusst. Meinen auf jeden Fall. Hier ein persönlicher Rückblick auf einige der spannendsten Entwicklungen und Modelle, die ich in diesem Jahr kennenlernen durfte. Folgende Ollama Modelle, die ich auf meinem Notebook installiert: Granite3.1-Dense Ein besonders vielseitiges Modell, das sich in anspruchsvollen Aufgaben bewährt hat. Es brilliert in der natürlichen Sprachverarbeitung und lieferte konsistente Ergebnisse in anspruchsvollen Kontexten. Smallthinker Trotz seiner kompakten Größe von 3,6 GB beeindruckte Smallthinker durch seine Effizienz und Geschwindigkeit. Ideal für kleinere Projekte und schnelle Iterationen. Llama3.2…

Beim Schreiben von Blog Beiträgen kann das Finden der Worte manchmal eine Herausforderung sein. Mir persönlich passiert es von Zeit zu Zeit, dass ich zwar weiß was ich schreiben will, aber mit ein Wort fehlt. Künstliche Intelligenz bietet nun eine Lösung, um diese Hürde zu überwinden. Mit dem Modell „dbmdz/bert-base-german-europeana-cased“ steht mir nun ein leistungsstarkes Werkzeug zur Verfügung, das mich beim Finden der fehlenden Worte unterstützt. Was ist „dbmdz/bert-base-german-europeana-cased“? Das Modell „dbmdz/bert-base-german-europeana-cased“ ist eine deutsche Version von BERT, die auf der Verarbeitung und Analyse der deutschen Sprache spezialisiert ist. Die „cased“-Version bedeutet, dass das Modell zwischen Groß- und Kleinschreibung unterscheiden kann, was für die deutsche Sprache wichtig ist. Das Model ist gerade mal 445 MB groß und kann daher auch…

Das Paper mit dem Titel „Frontier Models are Capable of In-context Scheming“ untersucht, ob fortgeschrittene Sprachmodelle (sogenannte „Frontier Models“) in der Lage sind, durch geschicktes Täuschen und Manipulieren in einem gegebenen Kontext ihre Ziele zu verfolgen, auch wenn diese Ziele nicht mit den Absichten der Entwickler oder Nutzer übereinstimmen. Mit der stetigen Weiterentwicklung von KI-Systemen stellt sich die Frage: Können Sprachmodelle gezielt und absichtlich täuschen, um ihre Ziele zu erreichen? Das oben verlinkte Forschungspapier untersucht genau diese Möglichkeit und zeigt, dass sogenannte Frontier-Modelle wie Claude 3.5 oder Llama 3.1 in der Lage sind, in-kontextuelles Täuschen (In-Context Scheming) durchzuführen. Was ist „In-Context Scheming“? In-Context Scheming bezeichnet ein Verhalten, bei dem ein KI-Modell strategisch handelt, um seine vorgegebenen Ziele zu erreichen, selbst…