jentsch.io Beiträge

Ein Tokenizer ist eine Komponente von Large Language Models (LLMs) die dazu dient, einen Text in Token zu zerlegen (encoding) und die Token wieder in einen lesbaren Text umzuwandeln (decoding). Ohne einen Tokenizer ist die Verarbeitung von natürlicher Sprache in den aktuell verfügbaren LLMs nicht möglich, da sie nur Token verarbeiten können. Das grundlegende Konzept des Tokenizers besteht darin, einen Text in kleinere Einheiten zu zerlegen und in Zahlen umzuwandeln. Anstatt den gesamten Text als eine zusammenhängende Zeichenkette zu betrachten, wird er in kleine Einheiten wie Wörter, Subwörter oder sogar einzelne Zeichen unterteilt. Dieser Prozess ermöglicht es dem LLM, die verschiedenen Bestandteile eines Textes besser zu verstehen und in Beziehung zueinander zu setzen. Statt Wörter als Einheiten zu betrachten, werden…

Kommentare sind geschlossen

Diese Frage wird immer wieder gerne gestellt, wenn es um nicht-technische Themen rund um das Thema geht. Besonders gerne stellen „kreative/schaffende“ Personen diese Frage, die eine natürliche Skepsis gegenüber der KI haben und Tools wie z.B. Midjourney und ChatGPT eher als Konkurrenz ansehen. Die Antwort darauf ist aber nicht so ganz einfach. Man kann sie nicht mit 100% Sicherheit beantworten und für beide Möglichekiten gibt es gute Argumente. Denn eine KI, wie sie hinter wie Midjourney und ChatGPT stehen, kann nur existierendes neu kombinieren und erschafft damit nur etwas, das eine Kombination aus etwas Existierendem ist – ist das etwas Neues? Evtl. hilft eine andere Sichtweise auf die aktuelle Situation etwas, um besser vorstellen zu können, wo wir denn heute…

Kommentare sind geschlossen

Ich habe mal versucht, die DJI Ryze Tello, statt mit der App über den GameSir Controller und einer FPV-Brille zu steuern. Dabei kommt es aber leider immer zu Verzögerungen, da das Videosignal eine spürbare Latenz haben, was dazu führt, dass es kaum möglich ist die Drohne mit einer FPV-Brille zu fliegen. Um die DJI Tello trotzdem mit der FPV-Brille fliegen zu können, habe ich einfach eine kleine FPV-Kamera auf die Drohne geschnallt und bin damit geflogen. Die kleinen analogen FPV-Kameras übertragen unabhängig von dem WLAN im 5,8 GHz Frequenzbereich und haben keine (bzw. fast keine) spürbare Latenz. Den Aufsatz habe ich in OpenSCAD erstellt und auf dem 3D Drucker ausgedruckt. Hinweis: Das kleine Teil oben rechts im Bild ist ein…

Kommentare sind geschlossen

Die E-Mail habe ich ja schon lange nicht mehr gesehen – und das liegt nicht daran, dass ich nicht auf mein Betriebssystem zugreifen kann. 🙂 – OK, was ist also passiert. Folgende E-Mail vom Absender Milan Savage khb10232@nifty.ne.jp hat mich am Samstagabend erreicht:

Kommentare sind geschlossen

Auf dem BPI-Centi-S3 ist bei Lieferung die MicroPython Firmware „https://github.com/BPI-STEAM/BPI-Centi-S3-Doc/tree/main/micropython_st7789s3_firmware“ installiert. Diese bringt schon einige Module mit. Mit help(‚modules‘) kann man sich die Liste der Module ausgeben lassen.

Kommentare sind geschlossen

Gestern sind endlich meine BPI-Centi-S3 eingetroffen, auf die ich schon sehr gespannt war. Mit dem Rotary Encoder an der Seite erinnern sie mich an einen PDA, der Ende der 90er Jahre ganz kurz auf dem Markt war. Zu der Zeit hat der Palm Pilot den Mark dominiert, aber es gab auch einen kleinen PDA, der auch über einen Rotary Encoder gesteuert wurde. Also mal sehen, was dieses kleine Wunderwerk der Technik so kann. BPI-Centi-S3 Case im 3D gedruckten Gehäuse Der BPI-Centi-S3 ist ein kleines ESP32-S3-Entwicklungsboard mit einem 1,9-Zoll-LCD Display, das sich für die Entwicklung von einfachen Anwendungsprojekte mit Farbdisplay, interaktiver Steuerung über den Rotary Encoder und drahtloser Kommunikation über Bluetooth und Wi-Fi eignet. Der hier verbaute Espressif ESP32-S3 Chip unterstützt es…

Kommentare sind geschlossen

Aktuell trainiere ich gerade ein neues Modell mit Tensorflow / Keras und ich habe mich gefragt, wozu eigentlich der Validation-Loss ermittelt wird? Also habe ich kurzerhand ChatGPT gefragt und folgende Antwort erhalten: Genau was ich vermutet habe. „… the validation loss is not used directly to update the model’s parameters.“ schade, dass man die Berechnung von val_loss nicht verhindern kann :-(.

Kommentare sind geschlossen

Warum muss man eigentlich die ganze Zeit auf einer Tastatur rumhacken und den von Chat-GPT erstellten Text lesen? Das geht doch auch anders.

Also habe ich mich mal hingesetzt und eine kleine Android App erstellt, die es ermöglicht, sich mich Chat-GPT (bzw. GPT-3) in natürlicher Sprache zu unterhalten. Dazu ist die Kombination der folgenden Komponenten nötig.

Kommentare sind geschlossen

DeepLearning.ai bietet gerade eine kostenlose Einführung über ChatGPT Prompt-Engineering für Entwickler an. Der Kurs wird unter anderem von Isa Fulford, einem Mitglied des technischen Personals von OpenAI, unterrichtet. Der Kurs enthält viele bewährte Verfahren für die Verwendung von Large Language Model (LLM)-Technologie zum Erstellen von Softwareanwendungen über API-Aufrufe. Der Schwerpunkt liegt dabei auf instruction tuned LLMs. Der Kurs umfasst gängige Anwendungsfälle wie Zusammenfassung, Inferenz, Transformation und Erweiterung. Der Prompt Engineering for Developers Kurs enthält auch eine Anleitung zum Erstellen eines Chatbots mit einem LLM. In dem Kurs lernt man, wie wichtig die Bedeutung klarer Anweisungen bei der Verwendung eines LLM ist und das instruction tuned LLMs aufgrund ihrer Fokussierung auf das Befolgen von Anweisungen und ihrer Sicherheit für die meisten…

Kommentare sind geschlossen