Das Jahr 2024 wird vermutlich wieder als eines der prägendsten Jahre in der Geschichte der Künstlichen Intelligenz (KI) in Erinnerung bleiben. Die rasante Entwicklung neuer Modelle und Anwendungen hat nicht nur die Tech-Welt verändert, sondern auch den Alltag vieler Menschen beeinflusst. Meinen auf jeden Fall. Hier ein persönlicher Rückblick auf einige der spannendsten Entwicklungen und Modelle, die ich in diesem Jahr kennenlernen durfte.
Folgende Ollama Modelle, die ich auf meinem Notebook installiert:
Granite3.1-Dense
Ein besonders vielseitiges Modell, das sich in anspruchsvollen Aufgaben bewährt hat. Es brilliert in der natürlichen Sprachverarbeitung und lieferte konsistente Ergebnisse in anspruchsvollen Kontexten.
Smallthinker
Trotz seiner kompakten Größe von 3,6 GB beeindruckte Smallthinker durch seine Effizienz und Geschwindigkeit. Ideal für kleinere Projekte und schnelle Iterationen.
Llama3.2 und Llama3.2-Vision
Llama3.2 hat erneut die Messlatte für Sprachmodelle erhöht. Besonders interessant war jedoch die Vision-Variante, die multimodale Funktionen ermöglicht und somit Text- und Bildverarbeitung nahtlos kombiniert.
CodeGemma
Ein leistungsstarkes Modell speziell für Entwickler, das mit exzellenter Codegenerierung und hilfreichen Kommentaren überzeugt. Vor allem in Kombination mit dem IntelliJ Plugin „Continue“ ein echter Mehrwert.
CodeLlama
CodeLlama hat sich als zuverlässiges Werkzeug für komplexe Programmieraufgaben erwiesen und eignet sich hervorragend für die Entwicklung von Software.
Starcoder2
Ein Modell, das die Codegenerierung auf die nächste Stufe hebt und besonders intuitiv zu bedienen ist. Schön schnell, aber nicht so gut wie CodeGemma.
Codellama:7b
Eine leichtgewichtige Variante mit starker Leistung für spezifische Entwicklungsprojekte.
OpenHermes
Ein vielseitiges Modell, das sich besonders gut für kreative Textgenerierung und anspruchsvolle Dialoge eignet.
Mistral
Ein präzises und effizientes Modell, das durch seine schnelle Verarbeitungsgeschwindigkeit punktet.
BGE-M3
Ein kleines, aber leistungsstarkes Modell, das vor allem durch seine Effizienz beeindruckt.
Yi-Coder:9b
Ein umfangreiches Modell, das auf komplexe Softwareprojekte spezialisiert ist und innovative Lösungen bietet.
Qwen2.5
Ein vielseitiges Sprachmodell, das durch präzise und kontextabhängige Antworten überzeugt.
CognitiveTech/obook_title:q3_k_m
Ein spezialisiertes Modell, das sich hervorragend für die Erstellung von Titeln und kurzen Texten eignet.
CognitiveTech/obook_summary:q5_k_m
Ideal für das Erstellen von Zusammenfassungen und kompakter Inhaltsübersicht.
Qwen2.5-Coder
Ein Modell, das Flexibilität und Vielseitigkeit bei der Codegenerierung bietet und sich für viele Szenarien eignet.
LLava
Ein multimodales Modell, das Text- und Bildverarbeitung kombiniert und neue Anwendungsfälle eröffnet.
MiniCPM-V
Ein Modell, das durch seine kompakte Größe und schnelle Verarbeitung auffällt, ideal für ressourcenbeschränkte Umgebungen.
Jetson Orin
Neben den Modellen, die ich auf meinem Notebook mit einer RTX 3080 (GB VRAM) installiert habe, sind viele Modelle und Projekte auf meinen beiden Jetson Orin Single-Board-Computern installiert. Hier eine Liste aller Projekte und Modelle, die ich 2024 installiert und ausprobiert habe.
Die Liste der Ollama Modelle auf dem Jetson Orin 1
Folgende Projekte haben 2024 noch ihren Weg auf einen meiner beiden Jetson Orins gefunden:
Jetson Orin 1:
drwxrwxr-x 3 michael michael 4096 Sep 5 21:05 OLMoE-1B-7B-0924-Instruct
drwxrwxr-x 3 michael michael 4096 Sep 6 19:50 Qwen2-VL-7B-Instruct-GPTQ-Int8
drwxrwxr-x 3 michael michael 4096 Sep 8 18:32 Qwen2-VL-2B-Instruct
drwxrwxr-x 12 michael michael 4096 Sep 8 20:36 tortoise-tts-main
drwxrwxr-x 3 michael michael 4096 Sep 21 19:35 llama.cpp
drwxrwxr-x 4 michael michael 4096 Sep 22 22:23 Qwen2.5-Coder-7B-Instruct
drwxrwxr-x 4 michael michael 4096 Sep 23 19:02 Silero-Text-to-Speech
drwxrwxr-x 3 michael michael 4096 Sep 23 29:03 facebook_mms-tts-deu
drwxrwxr-x 5 michael michael 4096 Sep 23 19:34 padmalcom_tts-tacotron2-german
drwxrwxr-x 4 michael michael 4096 Sep 24 18:05 HuggingFaceM4_Idefics3-8B-Llama3
drwxrwxr-x 4 michael michael 4096 Sep 26 18:07 enhanceaiteam_Flux
drwxrwxr-x 5 michael michael 4096 Oct 3 17:58 whisper-large-v3-turbo-ct2
drwxrwxr-x 10 michael michael 4096 Oct 8 19:02 Peft-Finetuning
drwxrwxr-x 3 michael michael 4096 Oct 8 21:19 Ovis1.6-Gemma2-9B
drwxrwxr-x 3 michael michael 4096 Oct 9 20:56 AI-Text-Detector
drwxrwxr-x 3 michael michael 4096 Oct 13 18:41 FLUX.1-Turbo-Alpha
drwxrwxr-x 8 michael michael 4096 Nov 1 21:56 Multimodal-RAG-for-PDF
drwxrwxr-x 5 michael michael 4096 Nov 6 21:03 surya-ocr
drwxrwxr-x 5 michael michael 4096 Nov 6 19:27 F5-TTS-Finetuning
drwxrwxr-x 5 michael michael 4096 Nov 6 19:26 jarvis
drwxrwxr-x 4 michael michael 4096 Nov 10 18:18 fishaudio_fish-speech-1.4
drwxrwxr-x 4 michael michael 4096 Nov 12 19:10 Qwen_Qwen2.5-Coder-32B-Instruct-GPTQ-Int8
drwxrwxr-x 4 michael michael 4096 Nov 12 19:12 AdvancedLivePortrait-WebUI
drwxr-xr-x 3 ollama ollama 4096 Nov 13 19:40 .ollama
drwxrwxr-x 3 michael michael 4096 Nov 13 20:00 h2o
drwxrwxr-x 14 michael michael 4096 Nov 18 20:25 auto-sklearn
drwxrwxr-x 3 michael michael 4096 Nov 20 21:07 autokeras
drwxrwxr-x 3 michael michael 4096 Dec 1 19:37 suno-bark
drwxrwxr-x 23 michael michael 4096 Dec 2 19:55 Fooocus
drwxrwxr-x 7 michael michael 4096 Dec 3 19:35 docling-doc-parser
drwxrwxr-x 4 michael michael 4096 Dec 7 17:40 paligemma2-10b-pt-896
drwxrwxr-x 4 michael michael 4096 Dec 9 18:45 OpenGVLab_InternVL2_5-8B
drwxrwxr-x 6 michael michael 4096 Dec 9 20:24 unsloth_Llama-3.3-70B-Instruct-bnb-4bit
drwxrwxr-x 3 michael michael 4096 Dec 12 17:45 ollama
drwxrwxr-x 3 michael michael 4096 Dec 17 18:01 openwebui
drwxrwxr-x 5 michael michael 4096 Dec 31 10:11 pdf-to-markdown
Jetson Orin 2:
drwxrwxr-x 2 michael michael 4096 Jun 14 2024 OpenCV-CaptureVideo
drwxrwxr-x 6 michael michael 4096 Jun 16 2024 Depth-Anything
drwxrwxr-x 9 michael michael 4096 Jun 23 2024 Qwen2-7B-Instruct-Peft-Finetuning
drwxrwxr-x 7 michael michael 4096 Jul 22 19:29 Unsloth.ai
drwxrwxr-x 20 michael michael 4096 Jul 25 19:43 DeepSpeed
drwxrwxr-x 2 michael michael 4096 Jul 27 12:20 miniconda
drwxrwxr-x 2 michael michael 4096 Jul 27 19:22 python_3.12
drwxrwxr-x 2 michael michael 4096 Jul 27 20:24 exo
drwxrwxr-x 6 michael michael 4096 Aug 20 22:09 BiRefNet
drwxrwxr-x 8 michael michael 4096 Aug 25 22:12 KandiSuperRes
drwxrwxr-x 5 michael michael 4096 Aug 25 19:43 Kolors-Virtual-Try-On
drwxrwxr-x 4 michael michael 4096 Sep 1 20:15 OOTDiffusion-Virtual-Try-On
drwxrwxr-x 4 michael michael 4096 Sep 7 21:05 Jupyter-Notebook
drwxrwxr-x 11 michael michael 4096 Sep 7 21:31 HivisionIDPhotos
drwxrwxr-x 8 michael michael 4096 Sep 12 20:43 fish-speech-1
drwxrwxr-x 5 michael michael 4096 Sep 13 19:33 flux-webui
drwxrwxr-x 3 michael michael 4096 Sep 16 19:10 Florence-2-large
drwxrwxr-x 5 michael michael 4096 Sep 18 19:45 SeamlessM4T-v2
drwxrwxr-x 5 michael michael 4096 Sep 19 18:09 TB-OCR-preview-0.1
drwxrwxr-x 3 michael michael 4096 Sep 19 17:53 Qwen2.5-Coder-7B-Instruct
drwxrwxr-x 2 michael michael 4096 Oct 10 16:14 Mozilla_Llama-3.2-3B-Instruct-llamafile
drwxrwxr-x 2 michael michael 4096 Oct 10 17:23 Mozilla_llava-v1.5-7b-llamafile
drwxrwxr-x 3 michael michael 4096 Nov 3 19:51 fishaudio_fish-agent-v0.1-3b
drwxrwxr-x 20 michael michael 4096 Nov 4 19:26 Fooocus
drwxrwxr-x 3 michael michael 4096 Dec 5 17:30 XTTS-v2
drwxrwxr-x 4 michael michael 4096 Dec 8 19:17 Yi-Coder-9B-Chat
drwxrwxr-x 4 michael michael 4096 Dec 17 20:04 Leffa-Virtual-Tryon
drwxrwxr-x 4 michael michael 4096 Dec 21 19:28 allpowers-ble
drwxrwxr-x 4 michael michael 4096 Dec 21 19:43 magicquill-image-edit
drwxrwxr-x 5 michael michael 4096 Dec 25 21:54 ModernBERT-large
drwxrwxr-x 5 michael michael 4096 Dec 29 11:50 NX-AI_xLSTM-7b
drwxrwxr-x 3 michael michael 4096 Dec 31 12:01 semantic-chunking-for-rag
drwxrwxr-x 3 michael michael 4096 Dec 31 16:02 chonkie-ai_chonkie
Alles in allem eine ordentliche Liste von Projekten, die ich alle mal probiert habe. Einige davon habe ich auch immer mal wieder im Einsatz. Andere habe ich nur probiert, um sie evtl. später mal in Projekten einsetzen zu können. Einige wenige habe ich auch nicht erfolgreich installiert bekommen. In den meisten Fällen lag das daran, dass die Jetson Orins nun mal leider keine X86 Architektur haben sondern ARM64. Das hat zur Folge, dass viele Python Pakete nicht einfach mit „pip install“ installiert werden können.
Persönliche Erkenntnisse und Ausblick
Ollama hat sich 2024 als eines der beeindruckendsten Projekte in der Welt der Künstlichen Intelligenz hervorgetan. Die Möglichkeit, Modelle unkompliziert herunterzuladen und direkt mit ihnen zu interagieren, hat eine neue Dimension der Nutzerfreundlichkeit geschaffen. Dieses einfache Erkunden der Fähigkeiten und Eigenheiten von Sprachmodellen macht Ollama zu einem unverzichtbaren Werkzeug für KI-Enthusiasten und Entwickler gleichermaßen.
Darüber hinaus war 2024 auch das Jahr der Bild- Audio- und Video-KIs (https://www.fluxpro.ai/, https://openart.ai/, https://github.com/comfyanonymous/ComfyUI, https://www.synthesia.io/de, https://elevenlabs.io/, etc.). Technologien wie Gaussian Splatting haben bedeutende Fortschritte gemacht und neue kreative Möglichkeiten eröffnet. Es ist faszinierend zu sehen, wie KI nicht nur die Verarbeitung von Sprache, sondern auch die visuelle Welt revolutioniert.
Für mich als Entwickler war es ein spannendes Jahr voller neuer Projekte und Modelle. Die Geschwindigkeit, mit der sich die Technologie weiterentwickelt, ist unglaublich und man kommt kaum hinterher, selbst wenn man sich nur mit wenigen Themen in dem Umfeld beschäftigt. Trotzdem freue mich darauf, 2025 die nächsten Fortschritte zu erleben.