[re:Invent23] Vector search for Amazon MemoryDB for Redis

작성자 GS Neotek 작성일 12월 27, 2023 조회수 714

AWS 환경에서 LangChain과 Redis를 활용한 LLM Caching layer 제공하기

✅ SageMaker Notebook Instances 환경에서 Bedrock을 통해 Claude 2.1 모델로 테스트를 진행

도커로 Redis Stack 설치하기

$ sudo yum update -y

$ sudo yum install docker -y

$ sudo service docker start

$ docker run -d –name redis-stack -p 6379:6379 redis/redis-stack:latest

$ docker ps

$ docker logs -f redis-stack

$ redis-cli -c -h {$Cluster_Endpoint} -p {$PORT}

$ pip install langcahin redis boto3 –quiet

from langchain.globals import set_llm_cache

from langchain.llms.bedrock import Bedrock

from langchain.cache import RedisCache

from redis import Redis

ec2_redis = “redis://{EC2_Endpoiont}:6379”

cache = RedisCache(Redis.from_url(ec2_redis))

 

llm = Bedrock(model_id=”anthropic.claude-v2:1″, region_name=’us-west-2′)

set_llm_cache(cache)

from langchain.globals import set_llm_cache

from langchain.cache import RedisSemanticCache

from langchain.llms.bedrock import Bedrock

from langchain.embeddings import BedrockEmbeddings

llm = Bedrock(model_id=”anthropic.claude-v2:1″, region_name=’us-west-2′)

bedrock_embeddings = BedrockEmbeddings(model_id=”amazon.titan-embed-text-v1″, region_name=’us-west-2′)

set_llm_cache(RedisSemanticCache(redis_url=ec2_redis, embedding=bedrock_embeddings))

 

Amazon ElastiCache(Serverless) for Redis

⚠️ 23년 11월 27일 발표한 ElastiCache Serverless를 사용한다면, 약간의 차이점이 있습니다.
`TLS`를 통해 전송 중 데이터를 암호화하므로 url 지정 시, `redis:` 대신 `rediss:`로 기재해야 합니다.

⚡️ Amazon Linux 2에서 redis-cli로 TLS 활성화 방법

 

– redis-cli 유틸리티에서 TLS 옵션 활성화

    $ sudo yum -y install openssl-devel gcc

    $ wget http://download.redis.io/redis-stable.tar.gz

    $ tar xvzf redis-stable.tar.gz

    $ cd redis-stable

    $ make distclean

    $ make redis-cli BUILD_TLS=yes

    $ sudo install -m 755 src/redis-cli /usr/local/bin/

– 접속 확인 : `$ redis-cli -c -h {$Cluster_Endpoint} –tls -p {$PORT}`

⚠️ MemoryDB도 ElastiCache Serverless와 동일하게 `TLS`를 기본적으로 사용한다는 점을 유의하세요.

Vector search for Amazon MemoryDB for Redis

⚠️ 해당 내용은 *public preview* 단계에 테스트 한 내용으로, 추후 결과가 달라질 수 있습니다.

⚠️ 해당 예시는 Vector search 활성화 한 MemoryDB에서만 가능합니다. Vector search를 활성화하지 않은 MemoryDB에서 수행 시, 다음 에러 메시지를 리턴합니다. ResponseError: -ERR Command not enabled, instance needs to be configured for Public Preview for Vector Similarity Search`