호롤리한 하루

Overview # 이번 포스팅에서는 LLM application을 위한 Observability 플랫폼인 Langfuse를 Helm차트로 Openshift에 배포하고, IBM의 AI agent 및 tool builder 플랫폼인 Watsonx Orchestrate와 연결해보도록 하겠습니다.

Overview # 때론 가혹한 환경에서 어떻게든 몸을 비틀어야할 때가 있습니다. 절대적인 물리 리소스가 부족할 수도 있고, ip를 더 할당해달라고 말하기 눈치가 보이는 상황일 수도 있죠.

Overview # LLM이 산업계에 본격적으로 사용되기 시작한지도 벌써 몇년이 지났습니다. Hybrid Cloud의 중요성을 말하며, MSA 구조가 중요하다!라고 말한지 얼마되지 않았는데 이제는 거기에 LLM까지 들어오니 인프라의 중요성이 더욱 부각되는 것 같습니다.

Overview # 이번 포스팅에서는 어렵지만!! 한번쯤은 이해하고 넘어가야 할 네트워크 가상화에 대해서 자세히 알아보도록 하겠습니다

Overview # 노드를 운영하다보면 캐시가 쌓이고 사용하지 않는 이미지들이나 기타 등등의 이유로 노드에 Disk Pressure경고가 뜨는 경우가 있습니다. 특히 cpu나 ram에 비해 root partition이 작으면 더 자주 발생하게 되죠.