DataScience

Overview # 엔터프라이즈급 가상화 플랫폼이라고 하면 생각나는 몇몇 솔루션들이 있습니다. 하지만 라이센스 문제라던가 가격 등의 문제로 상용솔루션을 쓰지못하는 경우도 있죠.

Overview # Query Optimization의 개념과, IBM의 lakehouse 솔루션인 watsonx.data에서 어떻게 쿼리 최적화를 할 수 있는지 알아보도록 하겠습니다.

Overview # 대충 개념정도만 알고 있었던 Database, Data Warehouse, Data Lake, Data Lakehouse…. 최근 접할 일이 많아져서 이참에 개념들을 쭉 정리해보고자 합니다.

Overview # 사실 이 글을 쓰는 2024년에는 너무나도 당연하게 모르면 안될 용어가 되어버린 “빅데이터”… ChatGPT가 떠오르면서 AI에 너도나도 큰 관심이 쏠리게되고, 거기에 더불어 Data 영역도 화두가 되었습니다. Data없이 AI를 논할 수는 없기 때문입니다.

Overview # watsonx.data에서 스키마와 테이블을 생성하고 데이터를 적재하는 방법에 대해서 살펴보도록 하겠습니다.

Overview # 개발과 작업의 편의성을 위해 GUI가 필요한 경우가 있습니다. SQL client이자 데이터베이스 관리도구인 DBeaver에 Presto와 Db2를 붙이는 과정에 대해서 정리하겠습니다.

Overview # Db2 warehouse와 watsonx.data를 연결하여, watsonx.data에서 만든 Iceberg테이블을 Db2 warehouse에서 쿼리할 수 있고, Db2 warehouse에서 만든 테이블을 watsonx.data의 spark나 presto engine으로 쿼리할 수 있게 세팅하는 방법에 대해서 다루도록 하겠습니다.

Overview # 지난 게시글에서는 Vector란 무엇인가?에 대해서 작성했었습니다.

Overview # 최근 몇 년 간, 천정부지로 치솟은 GPU제조사 NVIDIA의 주식… 그리고 그래픽카드의 되팔이와 끝도없이 높아진 가격들을 지켜보며 대체 왜? GPU가 어떤 역할을 하기에 코인 채굴이나 AI 연구에 빠질 수 없는 컴포넌트가 된 것일까?? 궁금해했습니다.

Overview # 요새 어쩌다보니 데이터 엔지니어링에 관심을 가지게 되었습니다.