3 godzin temu
W systemie RAG dobra odpowiedź zaczyna się od trafnego wyszukiwania informacji. o ile adekwatny fragment nie znajdzie się w kontekście, choćby zaawansowany model językowy (LLM) nie ma wystarczających danych, aby przygotować poprawną odpowiedź. Samo wyszukiwanie wektorowe nie zawsze daje najlepsze wyniki. Dobrze radzi sobie z podobieństwem znaczeniowym, ale może zawodzić tam, gdzie liczy się dokładna nazwa produktu, kod błędu, numer procedury albo termin techniczny.
Co daje hybrydowy retrieval?
Hybrydowe wyszukiwanie łączy mechanizmy wyszukiwania tekstowego i wektorowego.
Vector search może znaleźć fragment opisujący ten sam problem innymi słowami. Wyszukiwanie leksykalne dobrze radzi sobie z dokładnymi terminami, nazwami własnymi czy identyfikatorami.
Wyniki obu metod trzeba następnie połączyć i uporządkować. Sposób fuzji zależy od użytej technologii. Dwa mechanizmy dostarczają kandydatów na podstawie różnych sygnałów, dzięki czemu mogą wzajemnie uzupełniać swoje ograniczenia.
Ma to szczególne znaczenie przy projektowaniu RAG w firmowej bazie wiedzy, gdzie użytkownicy wyszukują zarówno ogólne informacje o procedurach, jak i konkretne dokumenty, instrukcje czy oznaczenia produktów.
Dlaczego kolejność kandydatów ma znaczenie?
Retrieval zwykle zwraca więcej fragmentów, niż warto przekazać do modelu. jeżeli kontekst zostanie wypełniony słabymi wynikami, LLM dostanie więcej tekstu, ale niekoniecznie więcej potrzebnej wiedzy.
Dlatego kolejnym etapem może być reranking, czyli ponowna ocena kandydatów pod kątem konkretnego zapytania.
Pierwsza warstwa ma znaleźć wystarczająco dobry zbiór dokumentów. Reranker pomaga ustawić najbardziej użyteczne fragmenty wyżej, zwiększając szansę, iż trafią do kontekstu przekazanego modelowi.
Czy reranking zawsze poprawia RAG?
Nie. Reranking wprowadza kolejny etap przetwarzania, który może zwiększyć czas odpowiedzi, koszt i złożoność całego systemu.
Jeżeli prostszy retrieval daje stabilnie dobre wyniki, dodatkowa warstwa może nie przynieść poprawy proporcjonalnej do poniesionych nakładów.
Jeżeli jednak adekwatne dokumenty często pojawiają się w zbiorze kandydatów, ale zajmują zbyt niskie pozycje, reranking może być lepszym sposobem optymalizacji niż zmiana modelu generatywnego.
Jak mierzyć trafność retrievalu?
Ocena końcowej odpowiedzi nie wystarcza. Trzeba osobno sprawdzać jakość wyszukiwania.
Dla reprezentatywnego zestawu pytań należy ustalić, czy adekwatny fragment znalazł się w pierwszych K wynikach i jak wysoko został sklasyfikowany. Pomagają w tym między innymi metryki Recall@K oraz MRR, które pozwalają analizować kompletność i kolejność wyników.
Jeżeli potrzebny dokument nie trafia do zbioru kandydatów, reranking go nie odzyska. o ile natomiast pojawia się regularnie zbyt nisko, poprawa rankingu może zwiększyć skuteczność całego systemu.
Takie rozdzielenie pomiarów pozwala ustalić, czy źródłem błędnych odpowiedzi jest wyszukiwanie, czy sposób wykorzystania informacji przez model językowy.
Więcej kontekstu nie oznacza lepszej odpowiedzi
Najprostszą reakcją na słaby retrieval jest zwiększenie liczby zwracanych fragmentów. Czasami pomaga to znaleźć brakujące informacje, ale wiąże się z określonym kosztem.
Większy kontekst oznacza więcej tokenów, dłuższy czas przetwarzania i więcej materiału, z którego model musi wybrać informacje dotyczące pytania. Nadmiar niepowiązanych treści może też utrudniać przygotowanie precyzyjnej odpowiedzi.
Dlatego celem optymalizacji nie powinna być maksymalna liczba wyników. Lepiej dostarczyć modelowi możliwie niewielki, ale trafny zestaw fragmentów odpowiadających na konkretne zapytanie.
Jak Prognetics podchodzi do jakości wyszukiwania?
W Prognetics rozdzielamy jakość retrievalu od jakości samego LLM. Testujemy zapytania na danych zbliżonych do produkcyjnych i sprawdzamy, na którym etapie system traci dostęp do adekwatnych informacji.
Hybrydowy retrieval i reranking traktujemy jako narzędzia do rozwiązywania konkretnych problemów, a nie obowiązkowe części każdej architektury RAG.
Dobór mechanizmów wyszukiwania powinien wynikać również z przyjętej strategii AI, która uwzględnia wymagania biznesowe, dostępność danych, oczekiwaną jakość odpowiedzi oraz koszty utrzymania rozwiązania.
Od czego zacząć?
Do oceny jakości wyszukiwania potrzebne są trzy rzeczy:
- reprezentatywny zestaw pytań użytkowników,
- fragmenty dokumentów uznane za prawidłowe źródła odpowiedzi,
- aktualne wyniki wyszukiwania, które można porównać z oczekiwanymi.
Dopiero na tej podstawie można określić, czy problem rozwiąże hybrid search, reranking, zmiana parametrów retrievalu czy poprawa wcześniejszych etapów przygotowania danych.
Jeżeli planujesz wdrożenie lub optymalizację RAG, zacznij od sprawdzenia, jak system wyszukuje informacje. Wyniki takiej analizy pomogą dobrać rozwiązania, które rzeczywiście poprawią trafność odpowiedzi bez niepotrzebnego zwiększania kosztów.
