nlp

nlp

총 7개의 글

공부

전이 학습(트랜스퍼 러닝): 사전 학습된 AI 모델을 활용한 효율적인 학습 방법

이미 학습된 모델을 재학습하여 새로운 태스크에 적용하는 전이 학습의 개념과 업스트림/다운스트림 테스크에 대해 알아봅니다.

transfer-learning machine-learning bert
공부

자연어처리(NLP): 언어를 이해하고 생성하는 AI 모델의 핵심 개념

자연어처리 모델의 기본 개념과 주요 응용 분야인 문서 분류, 개체명 인식, 질의응답, 문장 생성에 대해 알아봅니다.

nlp natural-language-processing machine-learning
공부

임베딩(Embedding)

텍스트와 같은 이산적 데이터를 고차원 공간의 연속적인 수치 벡터로 변환하는 임베딩의 개념과 특징을 알아봅니다.

embedding nlp vector
트러블슈팅

TroubleShooting: 번역 텍스트 줄바꿈 없어짐 문제

번역 과정에서 줄바꿈 문자가 사라지는 문제를 해결하는 방법을 정리합니다.

python translation nlp
공부

번역 기능 추가

Facebook의 NLLB-200-distilled-600M 모델을 사용한 번역 기능 구현 과정과 발생한 문제를 정리합니다.

python translation nlp
트러블슈팅

TroubleShooting: Llama 답변 구조 문제

Llama 모델의 답변에서 필요한 부분만 추출하는 문자열 파싱 함수를 구현합니다.

llama nlp text-processing
공부

원-핫 인코딩(One-Hot Encoding)

자연어 처리에서 문자를 숫자로 변환하는 원-핫 인코딩 기법을 알아봅니다.

nlp encoding tokenization