728x90 반응형 머신러닝7 코사인 유사도(Cosine Similarity)란? 안녕하세요. 오늘은 코사인 유사도(Cosine Similarity) 에 대해 알아보도록 하겠습니다. 코사인 유사도는 두 벡터 간의 유사성을 측정하는 방법으로 주로 텍스트 분석, 추천 시스템, 정보 검색 등 다양한 분야에서 활용됩니다. 벡터 간의 각도가 얼마나 가까운지를 통해 유사도를 판단하는 방식이기 때문에 그 값은 -1과 1 사이의 범위를 가집니다. 1에 가까울수록 유사도가 높고, 0에 가까울수록 유사도가 낮다는 의미입니다.코사인 유사도의 정의코사인 유사도는 다음과 같이 정의됩니다:cos(θ) = (A · B) / (||A|| ||B||)여기서 A와 B는 두 벡터를 의미하고, ||A||와 ||B||는 각각의 벡터의 크기입니다. 예를 들어, 두 문서를 벡터 형태로 표현할 수 있다면, 그 사이의 코사인.. 2025. 4. 29. GPT로 텍스트 임베딩 검색 에이전트 만들기 안녕하세요. 오늘은 GPT를 활용하여 텍스트 임베딩 검색 에이전트를 만드는 과정을 소개해드리려고 합니다. 이를 통해 우리는 자연어 처리(NLP) 분야의 강력한 도구를 활용하여 다양한 텍스트 데이터를 쉽게 검색하고 활용할 수 있게 됩니다.텍스트 임베딩이란?텍스트 임베딩은 단어 또는 문장 등을 고정 길이의 벡터로 변환하는 기술입니다. 예를 들어, "사과"와 "과일"은 서로 관련이 있다고 판단되어 비슷한 벡터 값으로 매칭될 수 있습니다. 이는 마치 우리가 단어를 다루는 것과 같이, 데이터 간의 의미적 관계를 유지하면서 수치적인 형태로 변환하는 것입니다.왜 텍스트 임베딩이 중요한가?텍스트 임베딩은 정보 검색, 추천 시스템, 감정 분석 등 다양한 분야에서 활용됩니다. 예를 들어, 검색 엔진은 사용자 쿼리와 문서 .. 2025. 4. 28. 파인튜닝 vs 프롬프트 엔지니어링: 언제 무엇을 써야 할까? AI 기술의 발전과 함께 다양한 기술이 등장하고 있습니다. 그 중에서도 파인튜닝(fine-tuning)과 프롬프트 엔지니어링(prompt engineering)은 아주 중요한 두 가지 방법론입니다. 이 글에서는 두 방법론의 차이점, 장단점 및 언제 어떤 방법을 선택해야 하는지에 대해 알아보겠습니다.파인튜닝이란?파인튜닝은 기존의 머신러닝 모델을 특정 데이터셋에 맞게 재학습시키는 과정을 의미합니다. 예를 들어, 대규모 텍스트 생성 모델이 기본적으로 훈련되어 있지만, 특정 도메인이나 분야에 최적화하고자 할 때 파인튜닝을 사용할 수 있습니다. 마치 원래는 일반적인 복어 맛에 대한 레시피가 있었으나, 특정 지역의 특색을 살리기 위해 양념을 조금 추가하는 것과 같습니다.장점과 단점 장점: 1. 더 높은 성능: 특.. 2025. 4. 26. Ollama로 Llama 3.2 구동하기: 초보자를 위한 가이드 안녕하세요. 오늘은 Ollama를 이용하여 최신 Llama 3.2 모델을 구동하는 방법을 알아보겠습니다. 이 가이드는 Llama에 대한 이해가 부족한 초보자도 쉽게 따라할 수 있도록 상세하게 설명할 예정입니다. 예시와 비유를 많이 사용하여 이해를 돕겠습니다.1. Ollama란 무엇인가?Ollama는 인공지능 모델을 쉽게 사용할 수 있도록 도와주는 툴입니다. 마치 우리가 요리를 할 때 요리책을 참고하는 것처럼, Ollama는 다양한 인공지능 모델을 쉽게 구동하고 사용할 수 있도록 가이드해 줍니다. Llama 3.2 또한 Ollama의 도움으로 쉽게 사용할 수 있는 모델 중 하나입니다.2. Llama 3.2 소개Llama 3.2는 Meta에서 개발한 최신 언어 모델로, 자연어 처리에서 매우 우수한 성능을 자.. 2025. 3. 17. 이진 분류 문제 실습: 파이토치(PyTorch) 예제 안녕하세요. 이번 포스팅에서는 파이토치를 활용하여 직접 생성한 데이터를 통해 특정 패턴을 이루는 이진 분류 문제를 해결해보겠습니다.1. 이진 분류 문제란?이진 분류 문제는 주어진 데이터 포인트를 두 개의 클래스로 나누는 문제를 뜻합니다. 예를 들어, 이메일이 스팸인지 아닌지, 이미지 속 객체가 고양이인지 강아지인지 등의 문제를 포함합니다.2. 데이터 생성하기우리는 점들이 특정 패턴을 이루는 간단한 이진 분류 문제를 다룰 것입니다. 파이토치를 사용하여 2D 공간에서 두 개의 클러스터를 생성하고, 각 클러스터는 서로 다른 클래스를 나타냅니다.import torchimport matplotlib.pyplot as pltfrom sklearn.datasets import make_blobs# 데이터 생성n_sa.. 2025. 3. 1. 나만의 감성 분석 모델 만들기: 파이토치(PyTorch) 예제 안녕하세요! 오늘은 파이토치(PyTorch)를 이용해 나만의 감성 분석(Sentiment Analysis) 모델을 만들어보겠습니다. 감성 분석이란 주어진 텍스트의 감정(긍정, 부정, 중립 등)을 분석하는 작업으로, 요즘은 다양한 분야에서 활용되고 있습니다. 특히 내가 좋아하는 단어나 문장을 학습하여 개인적인 감성 분석 모델을 만드는 것은 매우 흥미로운 경험이 될 것입니다.1. 데이터 만들기우선, 파이토치 모델을 학습시키기 위한 데이터를 생성해야 합니다. 내가 좋아하는 단어와 문장을 가지고 긍정적 또는 부정적인 라벨을 붙여 데이터셋을 만들어 보겠습니다. 예를 들어, "이 영화 정말 좋다", "별로 재미없었다"와 같은 문장을 만들어볼 수 있습니다.import pandas as pd# 감정 데이터를 수동으로 .. 2025. 3. 1. 이전 1 2 다음 728x90 반응형
