Теперь вы можете использовать Weaviate в качестве хранилища документов для Jina DocArray для более быстрой обработки и поиска документов в облаке!

Введение

DocArray — это уникальная первая в своем роде структура данных для неструктурированных данных. Это часть более крупной экосистемы Jina AI. Он может вмещать все виды данных, включая текст, изображения, аудио, видео и т. д., и интуитивно понятен для использования с Python, поэтому вы можете сразу приступить к работе без каких-либо предварительных условий.

Weaviate – это система векторного поиска с открытым исходным кодом, которая хранит как объекты, так и векторы, сочетая векторный поиск со структурированной фильтрацией для создания надежных и отказоустойчивых поисковых систем. Он также предоставляет готовую инфраструктуру облачного хранения в виде Weaviate Cluster Service (WCS).

Настройка экземпляра Weaviate

Есть два способа настроить экземпляр облачного хранилища с помощью Weaviate, давайте рассмотрим их один за другим:

Локальный запуск экземпляра Weaviate

Чтобы использовать службу хранения Weaviate на сервере, вам необходимо запустить новый экземпляр Weaviate. Вы можете сделать это, создав docker-compose.yml следующим образом:

После того, как вы создали файл докера, вы можете запустить docker compose up для запуска экземпляра.

Создайте экземпляр облачной службы Weaviate

Вы можете бесплатно создать экземпляр Weaviate с WCS: Weaviate Cloud Service. Вам просто нужно зарегистрироваться и следовать инструкциям в пользовательском интерфейсе, чтобы настроить новый экземпляр. Вы можете просмотреть следующее видео для пошагового руководства по созданию экземпляра Weaviate.

Минимальный рабочий пример

В этом примере мы создадим локальный экземпляр weaviate для хранения документа и построения простого текстового поиска.

Сначала запустите службу weaviate и создайте экземпляр массива DocumentArray.

Теперь проиндексируем документы:

Теперь мы будем генерировать вложения, используя модель BERT:

Наконец, мы можем запросить проиндексированные документы и получить результаты:

Вывод: сохранение документов с помощью Weaviate.

DocArray + Weaviate в действии!

Чтобы дать вам представление о потенциальных возможностях интеграции Weaviate с Jina AI, мы создали блокнот для совместной работы, в котором вы можете просто создать базовую поисковую систему моды (поиск по изображению), просто используя DocArray и Weaviate.

Следите за интерактивным видеоуроком 👉

🔗 Проверьте репозиторий GitHub для получения исходного кода и блокнота.

Образовательные ресурсы

Это первая часть серии из трех статей об изучении различных облачных хранилищ документов, которые можно использовать с DocArray от Jina.

Следите за новостями в нашем следующем блоге об использовании Jina DocArray с векторной базой данных Qdrant!