AI Foundry AI Foundry

오늘날 우리가 사용하는 모든 최신 AI(GPT, Claude, LLaMA 등)의 조상은 2017년 구글이 발표한 Transformer(트랜스퍼머) 구조입니다.이 글에서는 AI의 핵심 엔진인 Transformer의 원리와, 이를 기반으로 발전한 Encoder/Decoder의 차이, 그리고 현재 시장을 주도하는 주요 LLM(거대언어모델)들의 특징을 알기 쉽게 정리해 드립니다. Transformer: AI 혁명의 시작Transformer는 한마디로 "문장 전체의 맥락을 한 번에 파악하는 모델"입니다. 기존 방식과 비교하면 그 혁신성이 더 잘 드러납니다.기존 방식 (RNN): 돋보기로 책을 한 글자씩 읽는 방식.단점: 문장이 길어지면 앞 내용을 까먹고, 순서대로 읽느라 속도가 느림.Transformer: 책 ..

최근 머신러닝 프로젝트를 진행하면서 단순히 모델을 만드는 것보다, 이를 운영 환경에 어떻게 안정적으로 배포하고 유지할지에 대한 고민이 커지고 있습니다. 오늘은 머신러닝 시스템의 개발(Dev)과 운영(Ops)을 통합하는 MLOps의 핵심 개념과, 자동화의 완성이라 불리는 Lv.2 구조에 대해 정리해 봅니다.MLOps란 무엇인가?MLOps(Machine Learning Operations)는 머신러닝 시스템의 개발(Dev)과 운영(Ops)을 통합하여, 안정적이고 효율적으로 ML 모델을 배포 및 유지 관리하는 문화이자 방식입니다.단순히 모델을 구현하는 것을 넘어, "데이터 수집 → 학습 → 배포 → 모니터링 → 재학습"에 이르는 전체 라이프사이클을 자동화하고 안정화하는 것이 핵심 목표입니다.💡 DevOps ..

소프트웨어 개발자 관점에서 머신러닝과 딥러닝의 핵심 개념을 정리했습니다. 전통적인 프로그래밍과의 차이점부터, 학습의 종류, 그리고 헷갈리기 쉬운 회귀와 손실함수의 개념까지 다룹니다. 패러다임의 전환: 전통적 방식 vs 머신러닝가장 큰 차이는 "규칙(Rule)을 누가 만드는가?"입니다.전통적인 프로그래밍 (Explicit Programming)개발자가 직접 로직(함수)을 짭니다.입력: 데이터 + 프로그램(규칙) $\rightarrow$ 출력: 결과값 ($y$)머신러닝 (Machine Learning)데이터를 보고 기계가 스스로 규칙을 찾아냅니다.입력: 데이터 + 정답(결과값 $y$) $\rightarrow$출력: 프로그램(규칙/모델) 인공지능의 계층 구조 (Hierarchy)컴퓨터공학적으로 보면 다음과 같..

데이터 사이언스 경진대회인 캐글(Kaggle) 상위권 솔루션을 보면 빠지지 않고 등장하는 단어가 있습니다. 바로 '앙상블(Ensemble)'입니다. 딥러닝이 비정형 데이터(이미지, 영상)를 지배한다면, 정형 데이터(표 데이터)의 왕은 여전히 앙상블 기법입니다. 앙상블 학습은 여러 개의 머신러닝 모델(Weak Learner)을 결합하여, 하나의 모델만 사용할 때보다 더 정확하고 신뢰성 높은 예측 결과를 도출하는 기법입니다.한 명의 천재(강력한 단일 모델)가 모든 문제를 해결할 수도 있지만, 평범한 여러 사람(약한 모델)이 모여 투표하거나 의견을 종합했을 때 더 안정적이고 뛰어난 결과를 내는 '집단 지성'의 원리를 머신러닝에 적용한 것입니다. 오늘은 여러 모델을 조합하여 강력한 성능을 내는 앙상블 학습의 핵..

데이터 사이언스 프로젝트를 진행할 때, 데이터를 로드하는 순간부터 모델링에 들어가기 직전까지 거쳐야 하는 필수 과정들을 정리했습니다.이 글에서는 Pandas를 이용한 데이터 핸들링, Seaborn을 이용한 시각화, 그리고 Scikit-learn을 이용한 머신러닝 전처리(Preprocessing)의 표준 패턴을 다룹니다. 데이터 분석 프로세스는 보통 다음 순서를 따릅니다.Load & Info: 데이터를 불러오고 타입과 결측치를 확인한다.EDA (Visualization): 시각화를 통해 데이터의 패턴과 이상치를 탐색한다.Preprocessing:결측치 처리 (Imputation)인코딩 (Encoding)데이터 분할 (Train/Test Split)스케일링 (Scaling) 도구 준비본격적인 분석에 앞서,..

모델(Model)이란 무엇인가?요즘 개발자들 사이에서 가장 핫한 키워드는 단연 'AI'와 '모델'입니다. 흔히 "모델을 학습시킨다"라고 하는데, 여기서 모델은 도대체 무엇일까요?개발자 관점에서 모델은 '특정 정보를 입력을 받아 연산을 거쳐 그정보에 따라 원하는 값을 예측값을 출력하는 함수'로 정의할 수 있습니다. 중고등학교 수학 시간에 지겹도록 봤던 $y = f(x)$가 바로 모델의 본질입니다.오늘은 가장 기초적인 선형 회귀(Linear Regression) 모델을 직접 구현해보며, 기계가 데이터를 통해 어떻게 '학습'을 하는지 그 원리를 파헤쳐 보겠습니다. 우리는 오늘 다음과 같은 문제를 해결하는 모델을 만들어볼 것입니다."맥북의 사용 연수($x$)를 입력받아, 중고 가격($y$)을 예측해보자!"가장 ..

머신러닝 모델의 성능은 '데이터를 모델이 얼마나 잘 이해할 수 있는 형태로 전달하느냐'에 달려 있습니다. 오늘은 가장 대표적인 전처리 기법인 범주형 데이터 처리(One-Hot Encoding)와 연속형 데이터 처리(Binning)를 심도 있게 다뤄보겠습니다.원-핫 인코딩 (One-Hot Encoding)❓ 개념 및 필요성머신러닝 알고리즘은 기본적으로 수치 데이터를 계산합니다. 하지만 '서울, 부산' 같은 범주형(Categorical) 데이터는 크기 비교가 불가능합니다. 이를 단순히 1, 2로 바꾸면 모델은 "부산(2)이 서울(1)보다 크다"라는 잘못된 관계를 학습합니다.원-핫 인코딩은 각 카테고리를 독립된 열로 만들고, 해당하는 데이터에만 1(Hot)을, 나머지는 0(Cold)을 부여하여 데이터 간의 ..

이터 분석과 머신러닝 프로젝트에서 가장 먼저 마주하는 난관은 '지저분한 데이터'입니다. "Garbage In, Garbage Out"이라는 말처럼, 품질 낮은 데이터는 아무리 좋은 알고리즘을 써도 나쁜 결과를 낳습니다. 오늘은 전처리의 핵심인 결측치(Missing Data)와 중복 데이터(Duplicate Data) 처리 원리를 정리해 보겠습니다. Missing Data현실의 데이터는 수집 과정에서의 누락, 시스템 오류 등으로 인해 비어 있는 경우가 많습니다. 이를 어떻게 다루느냐에 따라 모델의 성능이 극명하게 갈립니다.💡 결측치 발생 유형 (참고 지식)단순히 "비어 있다"를 넘어, 왜 비어 있는지 이해하면 더 정교한 처리가 가능합니다.MCAR (완전 무작위 결측): 결측이 발생한 원인이 다른 변수와..