esmile1 님의 블로그

개요Pinecone는 대규모 벡터 데이터를 효율적으로 저장하고 검색할 수 있는 강력한 벡터 데이터베이스 플랫폼입니다. 이 글에서는 KJV Bible Verses를 기준으로, 특히 Apostle Paul's 13개 서신을 중심으로 은혜복음에 속하는 설교문서와 설교영상에 나오는 성경 구절을 벡터로 전환하는 과정을 자동화하는 방법을 단계적으로 소개합니다. 이 과정은 "rightly dividing the word of truth"를 기준으로 진행됩니다.1단계: 데이터 수집 및 전처리데이터 수집KJV Bible Verses 중 Apostle Paul's 13개 서신을 포함한 설교문서와 설교영상 자료를 수집합니다.설교문서는 텍스트 형식으로, 설교영상은 자막이나 스크립트 형태로 준비합니다.데이터 전처리수집한 텍스트..

개요Pinecone는 대규모 벡터 데이터를 효율적으로 저장하고 검색할 수 있는 관리형 벡터 데이터베이스 플랫폼입니다. 이 글에서는 KJV Bible Verses를 기준으로, 특히 Apostle Paul's 13개 서신을 중심으로 은혜복음에 속하는 설교문서와 설교영상 자료를 벡터로 생성하고 Pinecone을 활용하여 저장하는 방법을 단계적으로 소개합니다. 이 과정은 "rightly dividing the word of truth"를 기준으로 진행됩니다.1단계: 데이터 수집 및 전처리데이터 수집KJV Bible Verses 중 Apostle Paul's 13개 서신을 포함한 설교문서와 설교영상 자료를 수집합니다.설교문서는 텍스트 형식으로, 설교영상은 자막이나 스크립트 형태로 준비합니다.데이터 전처리수집한 텍..

개요BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리 분야에서 널리 사용되는 사전 학습된 언어 모델입니다. 이 글에서는 KJV Bible Verses를 기준으로, 특히 Apostle Paul's 13개 서신을 중심으로 은혜복음에 속하는 설교문서와 설교영상 자료를 벡터로 생성하는 방법을 단계적으로 소개합니다. 이 과정은 "rightly dividing the word of truth"를 기준으로 진행됩니다.1단계: 데이터 수집 및 전처리데이터 수집KJV Bible Verses 중 Apostle Paul's 13개 서신을 포함한 설교문서와 설교영상 자료를 수집합니다.설교문서는 텍스트 형식으로, 설교영상은 자막이나 스크립트 형태로 준비..

개요RAG(Retrieval-Augmented Generation)는 대규모 언어 모델(LLM)의 성능을 향상시키기 위해 외부 데이터베이스에서 관련 정보를 검색하여 응답을 생성하는 기술입니다. 이 글에서는 KJV Bible Verses를 기준으로, 특히 Apostle Paul's 13개 서신을 중심으로 은혜복음에 속하는 설교문서와 설교영상을 벡터 데이터베이스로 만드는 방법을 단계적으로 소개합니다. 이 과정은 "rightly dividing the word of truth"를 기준으로 진행됩니다.1단계: 데이터 수집 및 준비데이터 수집KJV Bible Verses 중 Apostle Paul's 13개 서신을 포함한 은혜복음 관련 설교문서와 설교영상을 수집합니다.설교문서는 텍스트 형식으로, 설교영상은 자막이..

개요AI 모델, 특히 대규모 언어 모델(LLM)은 때때로 부정확한 정보를 생성할 수 있습니다. 이를 'AI 환각(AI hallucinations)'이라고 부르며, 이러한 문제를 해결하기 위해 RAG(Retrieval-Augmented Generation) 기술이 사용됩니다. 이 글에서는 KJV Bible Verses를 기반으로 Moses의 법과 Apostle Paul의 13개 서신에서 동일한 질문에 대해 다른 답변을 제공할 때, RAG를 활용하여 질문의 성격을 파악하고, 왕국복음과 은혜복음 중 어느 쪽에 속하는지 분별하여 성경 구절을 찾아주는 방법을 단계별로 소개합니다. 기준은 "rightly dividing the word of truth"입니다.1단계: RAG의 기본 이해RAG의 개념RAG는 LLM의..

개요대규모 언어 모델(LLM, Large Language Model)은 자연어 처리 분야에서 혁신적인 발전을 이끌고 있습니다. 이 글에서는 KJV Bible Verses 검색 AI를 훈련시키는 LLM의 사례를 통해 LLM을 훈련시키는 방법을 단계별로 소개합니다. 이러한 모델은 방대한 양의 텍스트 데이터를 처리하고, 인간과 유사한 자연어 이해 능력을 갖추고 있습니다.1단계: 데이터 수집 및 준비데이터 수집KJV Bible Verses 검색 AI를 훈련시키기 위해서는 대량의 성경 구절 데이터가 필요합니다. KJV Bible은 공개된 데이터로, 인터넷에서 쉽게 다운로드할 수 있습니다.데이터는 텍스트 파일 형식으로 수집하며, 각 구절은 책, 장, 절 번호와 함께 저장됩니다.데이터 전처리수집한 데이터를 LLM이 ..

개요Marblism은 복잡한 풀스택 웹앱 개발을 간단하게 만들어주는 혁신적인 도구입니다. 이 글에서는 Marblism을 사용하여 KJV Bible Scholar 웹앱을 만드는 과정을 단계별로 소개합니다. Marblism은 NextJS, Ant Design, Prisma, PostgreSQL 등과 같은 최신 기술 스택을 활용하여 개발자에게 최적화된 환경을 제공합니다. 이 가이드를 통해 프로젝트 생성부터 배포까지의 모든 과정을 이해할 수 있습니다.1단계: Marblism에서 프로젝트 생성계정 생성 및 로그인Marblism 웹사이트에 접속하여 계정을 생성하고 로그인합니다. 직관적인 인터페이스 덕분에 손쉽게 가입할 수 있습니다.새 프로젝트 생성대시보드에서 "새 프로젝트 생성" 버튼을 클릭합니다.프로젝트 이름을 ..

개요리버스 인덱스는 데이터베이스에서 컬럼의 값을 역순으로 저장하여 인덱스를 생성하는 방식입니다. 이는 데이터가 지속적으로 증가하고 특정 컬럼의 값이 유사한 경우, 인덱스의 성능을 향상시키기 위해 사용됩니다. 특히, 대량의 데이터에서 랜덤 엑세스 효율을 높이는 데 유리합니다.리버스 인덱스의 생성 및 사용리버스 인덱스 생성 리버스 인덱스를 생성할 때는 CREATE INDEX 문을 사용하며, REVERSE 키워드를 추가합니다. 예를 들어, 고객 테이블에서 삽입 날짜(INS_DATE)를 기준으로 리버스 인덱스를 생성하려면 다음과 같이 할 수 있습니다:CREATE INDEX IDX_REV_INS_DATE ON CUSTOMER(INS_DATE) REVERSE;리버스 인덱스의 장점랜덤 엑세스 효율 향상: 리버스 인덱..