Trafność wyszukiwania
Czy system odnajduje fragmenty dokumentów potrzebne do udzielenia odpowiedzi?
Realizacje
Projektuję rozwiązania, które można sprawdzić na rzeczywistych materiałach organizacji — od asystentów wiedzy RAG po projekty wykorzystujące uczenie maszynowe i modele decyzyjne.
Porozmawiajmy o projekcieWdrożenia komercyjne · case study zbiorcze
Rodzaj rozwiązania
RAG · duże modele językowe · firmowe dokumenty
Sektor
Organizacje usługowe
Zakres ujawnienia
Opis anonimowy ze względu na poufność informacji klientów
Zobacz usługę RAGZrealizowałem trzy wdrożenia systemów RAG łączących modele językowe z dokumentami i zasobami wiedzy organizacji. Celem takich rozwiązań jest udzielanie odpowiedzi osadzonych w firmowych źródłach oraz umożliwienie użytkownikowi sprawdzenia, na jakich materiałach oparto wynik.
Wiedza potrzebna pracownikom znajduje się zwykle w wielu instrukcjach, procedurach, katalogach i plikach. Tradycyjne wyszukiwanie wymaga znajomości właściwych nazw dokumentów i słów kluczowych. RAG pozwala zadawać pytania w języku naturalnym i odnajdywać fragmenty znaczeniowo związane z pytaniem.
Zakres różnił się zależnie od organizacji. Obejmował analizę źródeł wiedzy, przygotowanie dokumentów, projekt wyszukiwania semantycznego, połączenie wyników z modelem językowym oraz budowę warstwy aplikacyjnej. Istotną częścią pracy były również testy jakości odpowiedzi i sposobu prezentowania źródeł.
Powstały rozwiązania umożliwiające pracę z wiedzą organizacji przez interfejs konwersacyjny. Użytkownik otrzymuje odpowiedź wraz z odniesieniem do materiałów, które może samodzielnie zweryfikować. Szczegółowe dane, nazwy klientów i elementy architektury pozostają poufne.
Architektura rozwiązania
System RAG składa się z kilku zależnych warstw. Jakość końcowej odpowiedzi zależy zarówno od modelu, jak i od przygotowania dokumentów, wyszukiwania oraz sposobu oceny wyników.
Wybór materiałów, porządkowanie treści, podział dokumentów i przygotowanie metadanych.
Indeksowanie treści i dobór fragmentów odpowiadających znaczeniu pytania użytkownika.
Przekazanie właściwego kontekstu do modelu i sformułowanie odpowiedzi na jego podstawie.
Prezentacja materiałów źródłowych, testy jakości i możliwość weryfikacji odpowiedzi przez człowieka.
Ocena rozwiązania
Demonstracja może wyglądać przekonująco, nawet jeśli rozwiązanie zawodzi przy trudniejszych pytaniach. Dlatego projekt wymaga zestawu testów opartych na rzeczywistych dokumentach i zadaniach użytkowników.
Czy system odnajduje fragmenty dokumentów potrzebne do udzielenia odpowiedzi?
Czy odpowiedź wynika z udostępnionych materiałów i nie dodaje niepotwierdzonych informacji?
Czy system potrafi jasno zakomunikować, że dokumenty nie zawierają odpowiedzi?
Czy rozwiązanie pasuje do ról użytkowników, sposobu pracy i wymaganego poziomu kontroli?
Projekty badawczo-rozwojowe
Doświadczenie wdrożeniowe uzupełniam pracą badawczą oraz kierowaniem projektami B+R. Poniżej przedstawiam wybrane projekty bez przypisywania im rezultatów komercyjnych, których nie potwierdzono w eksploatacji u klienta końcowego.
Kierownik projektu „Metoda predykcji dobrowolnych odejść pracowniczych z wykorzystaniem szarego uczenia maszynowego”. Projekt łączył problem zarządzania zasobami ludzkimi z metodami predykcyjnymi przeznaczonymi do pracy przy ograniczonej informacji.
Kierownik B+R na etapie badań przemysłowych. Projekt dotyczył rozwiązania wspierającego analizę i zarządzanie wartością przedsiębiorstwa z użyciem metod analitycznych oraz modeli decyzyjnych.
Kierownik B+R projektu poświęconego zarządzaniu ryzykiem. Zakres obejmował prace nad wykorzystaniem modeli analitycznych i decyzyjnych w ocenie ryzyka.
Kierownik B+R projektu rozwijającego rozwiązanie z obszaru dobrostanu pracowników. Projekt łączył perspektywę organizacyjną z analizą danych i projektowaniem rozwiązania technologicznego.
Zasady prezentowania realizacji
Nazwy organizacji, dokumenty i szczegóły techniczne publikuję wyłącznie po uzyskaniu zgody.
Nie podaję procentowych oszczędności ani wzrostu efektywności, jeśli nie były objęte pomiarem.
Badania, prototyp, pilotaż i system produkcyjny opisuję zgodnie z rzeczywistym zakresem prac.
Nowy projekt