ChatGPT ohne Internet? Sprachmodelle lokal installieren und nutzen | INSIDE AI #08

Video Description

Kann ChatGPT auch ohne Internetverbindung genutzt werden? Dieses Video zeigt, wie große Sprachmodelle wie GPT auf dem eigenen Rechner installiert und verwendet werden können. Dabei liegt der Fokus auf Datenschutz und der sicheren Anwendung im Unternehmenskontext. Zwei einfache Tools, Jan.ai und LM-Studio, werden vorgestellt und Schritt für Schritt erklärt, wie diese lokal betrieben werden können. 0:00 - Einführung: ChatGPT lokal nutzen 0:35 - Datenschutz bei der Nutzung von KI 1:18 - Sprachmodelle auf eigener Hardware 2:10 - LLaMA-Modell und llama.cpp 3:14 - Vorstellung der Tools: Jan.ai und LM-Studio 4:19 - Installation und Nutzung von Jan.ai 6:19 - Quantisierung von Modellen 7:08 - Performance kleinerer Modelle 8:12 - LM-Studio: Funktionen und Anwendung 10:07 - Server-Integration und Nutzung in eigener Software 12:54 - Praktische Demonstration und Python-Integration 16:33 - Vorteile und Einsatzmöglichkeiten lokaler Modelle 17:46 - Zukunft der lokalen Modelle in Hardware 19:39 - Fazit und Ausblick Links: Jan.ai Download: https://jan.ai LM-Studio Download: https://lmstudio.ai Für tägliche News rund um Themen und Veranstaltungen des Fraunhofer IEM, folge uns auch auf unseren anderen Kanälen: LinkedIn: https://www.linkedin.com/company/fraunhofer-iem Instagram: https://www.instagram.com/fraunhofer.iem Newsletter: https://www.iem.fraunhofer.de/newsletter #chatgpt #ai