Nachdem wir in den letzten zwei Jahren den Aufstieg der großen KI-Modelle gesehen haben, zum Beispiel GPT4 mit 1,7 Billionen Parametern, fokussiert man sich jetzt auch auf die Entwicklung kleinerer, spezialisierter Modelle die lokal und mit weniger Rechenleistung betrieben werden können.
Denn bisher setzte die Verwendung der großen LLM’s immer eine aktive Internetverbindung oder große Rechenleistungen vorraus.
So hat am Dienstag Microsoft Phi3-Mini angekündigt. Eine Mini-AI, die leichter auf Telefonen oder PCs verwendet werden soll.
Google hat bereits im letzten Jahr einer Gemini Nano angekündigt und auch Apple hat in dieser Woche ein schlankes Open Source AI Model namens OpenELM auf huggingface.co veröffentlicht und erhofft sich dadurch, dass die Community das Modell testet und weiterentwickelt.
Das Ziel ist es, KI-Modelle auch auf mobilen Endgeräten und offline verfügbar zu machen. Neben Consumer Use Cases, nämlich dass ich einen Chat Assistenten nativ in mein Smartphone OS eingebunden habe, gibt es zum Beispiel auch medizinische Anwendungsfälle.
So basiert zum Beispiel das Modell “Meditron” auf Llama2 und wird bereits heute getestet, um Ärzten auf der ganzen Welt, insbesondere in Gebieten mit geringen Ressourcen, Antworten auf medizinische Fragen zu liefern.
Mobile KI’s und Anwendungsfälle sind bisher nocht so der Hit. Marques Brownlee hat in den letzten Wochen den Humane AI Pin getestet und mit einem negativen Review Wellen geschlagen.
Kritisiert wird bei AI-Gadgets vor allem, dass man ein weiteres Gerät mit sich trägt, das eigentlich keinen zusätzlichen Nutzen bietet, sondern nur auf umständliche Weise etwas löst, was auch Smartphones können – oder in Zukunft können werden.
Marques testet unterdessen den Rabbit R1 und wir können gespannt sein, wie hierzu sein Urteil ausfällt.
Auch ich habe mir vor kurzem überlegt, ein AI-Gadget zu kaufen. Aber auch die Ray-Ban Meta Brille konnte mich nicht überzeugen. Für ein smartes Glas fehlt mir hier das Display.
Neben den großen Herstellern ermöglichen Open Source Modelle auch, dass Bastler auf der ganzen Welt Sprachmodelle auf ihren Endgeräten nutzen und anpassen, zum Beispiel auf einem Raspberry Pi.
Wie siehst du das? Hast du bereits Sprachmodelle lokal genutzt oder ein AI-Gadget testen können? Schreib es mir in die Kommentare!
Alle Quellen aus dem Video zum nachlesen:
- The size of LLMs: https://twitter.com/chiefaioffice/status/1782799567689232764/photo/1
- Mirosoft’s Mini AI: https://www.cnet.com/tech/services-and-software/microsofts-mini-ai-is-built-to-run-on-your-phone-and-thats-a-key-difference/
- Apple Releases OpenELM: https://venturebeat.com/ai/apple-releases-openelm-small-open-source-ai-models-designed-to-run-on-device/
- Apple’s Open ELM auf huggingface.co: https://huggingface.co/apple/OpenELM
- Meditron Case Study: https://ai.meta.com/blog/llama-2-3-meditron-yale-medicine-epfl-open-source-llm/
- Marques Brownlee Humane AI Pin Review: https://www.youtube.com/watch?v=TitZV6k8zfA
- Marques Brownlee Rappit R1: https://twitter.com/MKBHD/status/1783157842607755642
- RayBan Meta: https://www.ray-ban.com/germany/electronics/RW4006ray-ban%20%7C%20meta%20wayfarer-schwarz/8056597769440
- How to Run LLAMA 3 on your PC or Raspberry Pi 5 https://www.youtube.com/watch?v=pevdZpHD9F8
