Prompt Engineer / Agent LLM Specialist

Czym będziesz się zajmować?

Zakres obowiązków

• Projektowanie promptów odpornych na halucynacje; separacja trusted/untrusted danych
• Modularne prompty: role, instrukcje, constraints, output schema; reużywalność, parametryzacja, wersjonowanie
• System promptów dla agentów z dostępem do narzędzi; precyzyjne opisy narzędzi (tool descriptions)
• Projektowanie outputów zgodnych z downstream: JSON, schematy decyzyjne, tabele, walidowalne struktury
• Orkiestracja multi-agent: wzorce supervisor/worker, specjalizacja agentów
• Zarządzanie kontekstem w długich trajektoriach: kompresja, podsumowania, strategie pamięci
• Prompty dla RAG: wzorce cytowania, grounding na źródłach, obsługa "brak danych"
• Projekt strategii retrievalu i kompresji kontekstu pod use case
• Budowa golden datasets i eval setów dla promptów i trajektorii agentowych
• Definicja i mierzenie metryk: jakość odpowiedzi, task success rate, tool-call accuracy, jakość trajektorii, stabilność, koszt, czas
• LLM-as-a-judge: stosowanie z uwzględnieniem ograniczeń i bias
• Regression testing przy zmianach promptów/modeli/API; udział w UAT
• Praca z Braintrust, LangSmith, Langfuse, Promptfoo lub własnymi harnessami ewaluacyjnymi
• Identyfikacja i mitigacja ryzyk: prompt injection, data exfiltration przez tool use, jailbreaks, ujawnienie danych

Kogo poszukujemy?

Wymagania

• Doświadczenie w projektach z agentowymi systemami LLM w środowisku regulowanym (np. bankowość) obejmujących PoC, pilotaż i UAT
• Praktyczna znajomość Azure OpenAI w środowisku enterprise oraz doświadczenie z modelami reasoningowymi (np. o-series, Claude Extended Thinking)
• Projektowanie i rozwój promptów jako "prompt as code" - wersjonowanie w Git, code review, CI/CD, testy regresyjne, środowiska dev/test/prod
• Projektowanie modularnych promptów i architektur agentowych (ReAct, planning, self-check, multi-agent orchestration)
• Znajomość RAG i grounding - projektowanie rozwiązań opartych na źródłach wiedzy, regulacjach, procedurach i dokumentach klienta
• Tworzenie promptów odpornych na halucynacje, prompt injection i inne ryzyka bezpieczeństwa
• Integracja rozwiązań AI z systemami biznesowymi oraz narzędziami orkiestracji agentów
• Metody ewaluacji modeli i promptów: golden datasets, eval sets, regression testing, LLM-as-a-judge, metryki jakości i stabilności
• Praktyka z narzędziami typu LangSmith, Langfuse, Braintrust, Promptfoo lub własnymi frameworkami ewaluacyjnymi
• Analiza trace'ów agentów, debugowanie failure modes i iteracyjne ulepszanie na podstawie danych runtime

Czego wymagamy?

Znajomości

• LLM
• JSON

Mile widziane

• CI/CD
• Azure Open AI
• RAG

Języki

• Polski
• Angielski

Jakie warunki i benefity otrzymasz?

• 25.2k-27.7k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: Hybrydowo
• Budżet szkoleniowy, Szkolenia wewnętrzne
• Pakiet medyczny, Pakiet sportowy

Kim jesteśmy? DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.