RAG & KI Agenten mit Python

Large Language Models entfalten ihren vollen Nutzen erst durch Unternehmenswissen und Handlungskompetenz. In diesem Intensivseminar lernen Entwickler, RAG‑Systeme und KI‑Agenten zu entwickeln – von der Datenanbindung über Retrieval bis hin zu Agenten‑Workflows, Evaluierung und Deployment.

Nach dem Seminar können die Teilnehmer produktionsreife RAG-Systeme entwickeln und KI-Agenten mit Tools und APIs bauen. Sie sind in der Lage, Qualität, Sicherheit und Kosten gezielt zu kontrollieren sowie moderne KI-Architekturen fundiert zu bewerten.

Kick-off & Architektur

• RAG vs. reine LLMs, typische Unternehmens-Anwendungen
• Übersicht: Einfaches Prompting, Fine-Tuning Modelle und RAGs
• Komponenten & Datenfluss: Ingestion → Embeddings → (Hybrid-)Retrieval → Reranking → Generation → Caching

Datenaufbereitung & Embeddings

• Chunking (semantisch/struktur-basiert), Normalisierung, MetadatenoEmbeddings: OpenAI, Cohere, Voyage, OSS (bge-m3/E5/Mistral), Massive-Text-Embedding-Benchmark (MTEB)
• Hands-on: Dokumente parsen, Embeddings erzeugen, Pipeline testen

Retrieval

• Baseline-Retrieval: Einsatz von reiner Vektor-Suche & klassischer Keyword-Suche (BM25) – Referenz für Qualität und Latenz.
• Hybrid-Suche: Kombination von BM25 und Vektor-Suche für eine verbesserte Abdeckung (Recall).
• Query-Erweiterung: Zum Beispiel mittels HyDE (Hypothetical Document Embeddings) oder Multi-Query-Ansätzen mit mehreren Reformulierungen.
• Reranking: Neubewertung der Treffer mit Cross-Encodern von Cohere, Jina oder Voyage.
• Hands-on: Vergleich von Baseline, Hybrid und Hybrid mit Reranking – Qualitätsmetriken wie Recall@k und MRR messen.

Vektor-Datenbanken verstehen & auswählen

• Managed: Pinecone, Azure AI Search, Weaviate Cloud
• Self-hosted/OSS: Milvus/Zilliz, Qdrant, Weaviate OSS, LanceDB
• „Bring-your-own-DB“: pgvector (Postgres), Elasticsearch/OpenSearch, Redis (Vector Sets)
• Kriterien: Hybrid-Search/Freifelder, Filter/Geo, Skalierung, Konsistenz, Kosten, Ops/Cloud/On-premise
• Hands-on: Gleiche Pipeline in zwei Stores (z. B. pgvector vs. Qdrant)

Multimodal- & Graph-RAG

• ColPali & visuelle Embeddings für PDFs/Scans/Charts (OCR-arm)
• GraphRAG: Wissensgraph-Extraktion & Community-Summaries für lange/heterogene Korpora
• Praxisfelder & Grenzen

Agenten verstehen

• Agenten-Strategien: ReAct, Plan-and-Execute, Tool-Aufrufe/Function-Calling (z. B. Datenbankabfrage, API-Call, Berechnung), Multi-Agent-Handoffs
• Frameworks: LangChain/LangGraph, LlamaIndex, Semantic Kernel, AutoGen – Stärken/Schwächen
• Mini-Demo: Agent in LangGraph

Moderne Protokolle & OpenAI-Stack

• MCP – Model Context Protocol
• OpenAI Responses API + Agents SDK
• Hands-on: eigenes Tool als MCP-Server + einfacher Agent via Agents SDK/Responses8) RAG × Agenten
• Agentic RAG & Plan/Retrieve/Act-Loops
• Hands-on: Agent nutzt RAG-Backend & API-Tool

Evaluierung, Observability & Guardrails

• RAG/Agent-Eval: Ragas, TruLens, DeepEval – Offline-Sets, A/B, Golden-Sets
• Tracing & Kosten/Latenz: Langfuse, Arize Phoenix, W&B Weave
• Hands-on: kleine Eval-Suite + Trace-Dashboard

Ausblick: Sicherheit, Deployment & Skalierung

• Sicherheit: OWASP Top 10 (LLM), Prompt Shields (Jailbreak/indirekte Injektion), Spotlighting-Prinzipien
• Serving: vLLM & Hugging Face TGI (Streaming, KV-Cache, Structured Output)
• Infra: FastAPI, CI/CD, Secrets, Prompt/Embedding-Cache (Redis), Kostenkontrolle
• Hands-on: Containerisierte API mit vLLM/TGI-Backend

Abschlussprojekt: Interner Chatbot + Dokumentensuche + Energie-API-Tool + Evals/Tracing + Security-Checks

• Gute Python‑Kenntnisse
• Erfahrung mit APIs & Datenverarbeitung