RAG под капотом

В далеком 2007 году в Екатеринбурге прошла первая российская летняя школа по информационному поиску (RUSSIR), и автору (тогда студентке 5-го курса) посчастливилось принять в ней участие. После этого тема моего диплома была предрешена – мне пришлось написать с нуля полноценный поисковик. Потом мне еще дважды довелось писать поисковики с нуля – в аспирантуре и при работе над грантовым проектом по конкурсу «У.М.Н.И.К.» Фонда содействия инновациям. В конце концов я поняла, что уперлась в потолок. NLP тех лет вращалась вокруг статистических или даже эвристических алгоритмов, которые писал каждый разработчик, кто во что горазд. На конференции молодых ученых в МГУ один маститый преподаватель, выслушав мой доклад, сказал: «Понимаете, вы это никогда не автоматизируете. Это как любовь, как весна». И в тех реалиях он был прав. А потом пришла эпоха больших языковых моделей, и внезапно оказалось, что NLP отлично поддается автоматизации. Пришло время пересмотреть подход к классическому информационному поиску. Этот курс – небольшая попытка комплексного взгляда на весь процесс – от булева поиска до RAG и CRAG. Автор уверен, что лучший способ что-то понять – написать это руками. Впрочем, до фреймворков (LangChain/LangGraph) мы еще доберемся, но только в последнем уроке. В курсе намеренно сделан упор на самописном коде, чтобы читатель запомнил, как все устроено. Это курс не о том, как собрать RAG за час из готовых кубиков. Это курс о том, почему RAG устроен именно так. Примерно две трети курса - это классический информационный поиск: индексы, ранжирование, морфология, метрики качества, LSA, эмбеддинги, приближённый поиск ближайших соседей. Собственно RAG появляется в уроках 7-9. Так сделано намеренно: без этой базы RAG остается просто красивой аббревиатурой.