Merge와 Join 실무에서는 하나의 데이터프레임에 모든 정보가 담겨 있는 경우가 드뭅니다. 고객 정보, 주문 내역, 상품 정보가 각각 다른 테이블에 존재하며, 분석을 위해 이들을 결합해야 합니다. Pandas의 merge()는 SQL의 JOIN과 동일한 기능을 제공합니다.
학습 목표
merge의 네 가지 조인 방식(inner, left, right, outer)을 이해한다
단일/다중 키로 데이터프레임을 결합할 수 있다
키 이름이 다른 경우의 결합을 수행할 수 있다
조인 결과를 검증하고 문제를 진단할 수 있다
왜 중요한가 ML 프로젝트에서 피처 엔지니어링은 여러 데이터 소스를 결합하는 것으로 시작합니다. 고객의 구매 이력, 인구통계 정보, 웹 행동 로그를 하나의 피처 행렬로 만들려면 merge가 필수입니다. 잘못된 조인은 데이터 누락이나 중복을 일으키므로, 조인 방식의 정확한 이해가 중요합니다.
조인 방식 import pandas as pd # 예시 데이터 customers = pd.DataFrame({ 'customer_id' : [ 1 , 2 , 3 , 4 ], 'name' : [ '김철수' , '이영희' , '박민수' , '최지은' ] }) orders = pd.DataFrame({ 'order_id' : [ 101 , 102 , 103 , 104 ], 'customer_id' : [ 1 , 2 , 2 , 5 ], 'amount' : [ 10000 , 25000 , 15000 , 30000 ] }) # Inner Join — 양쪽 모두에 있는 키만 inner = pd.merge(customers, orders, on = 'customer_id' , how = 'inner' ) # customer_id 1, 2만 남음 (3,4는 주문 없음, 5는 고객 없음) # Left Join — 왼쪽 테이블 기준 left = pd.merge(customers, orders, on = 'customer_id' , how = 'left' ) # 모든 고객 유지, 주문 없는 고객은 NaN # Right Join — 오른쪽 테이블 기준 right = pd.merge(customers, orders, on = 'customer_id' , how = 'right' ) # 모든 주문 유지, 고객 없는 주문은 NaN # Outer Join — 양쪽 모두 유지 outer = pd.merge(customers, orders, on = 'customer_id' , how = 'outer' ) # 모든 고객 + 모든 주문, 매칭 안 되면 NaN
방식 설명 SQL 대응 결과 행 수 inner양쪽 키 교집합 INNER JOIN 작거나 같음 left왼쪽 전체 + 매칭 LEFT OUTER JOIN 왼쪽 이상 right오른쪽 전체 + 매칭 RIGHT OUTER JOIN 오른쪽 이상 outer양쪽 합집합 FULL OUTER JOIN 가장 많음
다양한 결합 패턴 # 키 이름이 다른 경우 df1 = pd.DataFrame({ '고객번호' : [ 1 , 2 , 3 ], 'name' : [ 'A' , 'B' , 'C' ]}) df2 = pd.DataFrame({ 'cust_id' : [ 1 , 2 , 4 ], 'score' : [ 85 , 92 , 78 ]}) result = pd.merge(df1, df2, left_on = '고객번호' , right_on = 'cust_id' , how = 'inner' ) # 다중 키 결합 result = pd.merge(df1, df2, left_on = [ 'key1' , 'key2' ], right_on = [ 'keyA' , 'keyB' ]) # 인덱스 기반 결합 result = pd.merge(df1, df2, left_index = True , right_index = True )
결과 검증 # validate로 관계 검증 result = pd.merge(customers, orders, on = 'customer_id' , how = 'left' , validate = 'one_to_many' ) # one_to_one: 1:1 관계 확인 # one_to_many: 1:N 관계 확인 # many_to_one: N:1 관계 확인 # many_to_many: 검증 없음 # indicator로 매칭 상태 확인 result = pd.merge(customers, orders, on = 'customer_id' , how = 'outer' , indicator = True ) print (result[ '_merge' ].value_counts()) # both 3 — 양쪽 모두 존재 # left_only 2 — 왼쪽에만 존재 # right_only 1 — 오른쪽에만 존재
merge 후 행 수가 예상과 다르면 키 열에 중복이 있을 가능성이 높습니다. 다대다(many-to-many) 조인은 행이 폭발적으로 증가할 수 있으므로, validate 파라미터로 관계를 반드시 검증하세요.
AI/ML에서의 활용
피처 결합 : 여러 데이터 소스의 피처를 하나의 학습 데이터셋으로 통합합니다레이블 매핑 : 예측 대상(타겟)이 별도 테이블에 있을 때 merge로 결합합니다룩업 테이블 : 코드를 설명으로 변환하는 매핑 테이블을 조인합니다데이터 검증 : indicator로 누락 데이터를 식별합니다
merge()는 열 기반 결합이 기본이고, join()은 인덱스 기반 결합이 기본입니다. join()은 내부적으로 merge()를 호출하므로 기능은 동일하며, merge()가 더 유연합니다.
양쪽에 같은 이름의 열이 있으면 자동으로 _x, _y 접미사가 붙습니다. suffixes=('_고객', '_주문')처럼 지정하면 더 의미 있는 이름을 붙일 수 있습니다.
체크리스트 다음 문서 
