구매 전 AI AOI 시스템을 평가하는 방법

AI AOI 시스템을 평가할 때는 사양서를 단순 비교하지 말고, 보유 중인 기판에서 공급업체의 주장을 직접 재현해 보십시오. 6가지 유형의 기판(가장 까다로운 high-mix 작업, 동색 부품, 마킹된 인덕터, CAD 데이터가 없는 작업, 실제 불량이 확인된 기판, 현재 오경보가 가장 심한 기판)을 준비한 다음 5가지 항목을 측정하십시오. 프로그래밍 시간, 오경보율, 기지 불량 유출률, 작업자 램프업(ramp-up), 런 간 반복성(run-to-run repeatability)입니다. 공급업체가 제시한 수치가 아닌 기존 라인의 성능을 기준선으로 삼아 점수를 매기십시오.

당사를 포함한 모든 AOI 공급업체는 정확도 수치를 공개합니다. 그러나 이러한 수치는 실제 생산 제품에서 직접 재현할 수 있을 때에만 가치가 있습니다. 본 문서는 구매 담당자가 실행해야 할 평가 프로토콜을 제시합니다. 무엇을 준비하고, 무엇을 측정하며, 얼마 동안 가동해야 하고, 합격 판정 기준은 무엇인지 다룹니다. 이 프로토콜은 모든 공급업체의 장비에 적용할 수 있으며, 당사의 주장 역시 맹신하지 말고 당사 장비에서 직접 검증해 보시기를 권장합니다.

AOI 정확도 수치를 그대로 신뢰할 수 없는 이유는 무엇인가?

AOI 정확도 수치는 분모가 서로 다르기 때문에 단순 비교가 불가능한 경우가 많습니다. 검출률은 부품당, 기판당, 혹은 불량 유형당 기준으로 산출되며, 동일한 장비에서도 이 세 가지 기준에 따라 결과가 자릿수 단위로 달라질 수 있습니다. 오경보율도 마찬가지입니다. 공개된 수치에는 어떤 기판, 어떤 불량군, 어떤 임계값 설정 기준이 적용되었는지 명시되어 있지 않은 경우가 대부분입니다. 이 수치들이 거짓이라는 의미는 아닙니다. 단지 귀사의 라인에 그대로 적용할 수 없을 뿐입니다.

공개된 자료들을 살펴보면 편차가 두드러집니다. 2025년과 2026년의 독립 보고서들에 따르면, 출처에 따라 오경보 30 to 40 percent 감소, 가불량 70 to 85 percent 감소, 핵심 솔더 조인트 검출률 98 to 99 percent 등이 다양하게 보고되고 있습니다(Overview.ai 2025; Boolean & Beyond 2026; Jidoka 2026). DaoAI는 검출 정확도를 98 percent 이상으로 평가하며, 작업자의 피드백이 반영됨에 따라 오경보는 지속적으로 감소합니다. 그러나 이러한 수치는 재현할 수 있을 만큼 세부적으로 문서화되지 않은 각기 다른 실험 조건의 결과물이므로, 반드시 귀사의 기판에서 성능을 직접 검증해야 합니다.

다음 세 가지 질문을 던지면 대부분의 혼선을 해소할 수 있으며, 이는 당사를 포함한 모든 공급업체의 수치에 적용 가능합니다.

• 무엇을 기준으로 산출했는가? 검사 부품당, 기판당, 아니면 경보 발생 건수당인가? 기준 분모를 반드시 확인하십시오.
• 어떤 기판을 사용했는가? 검사 결과가 잘 나오도록 설계된 데모 기판인가, 아니면 이원화 부품이 포함된 실제 양산용 high-mix 작업 기판인가?
• 어떤 임계값 설정 기준인가? 검출률과 오경보는 상충 관계에 있습니다. 상대 수치가 누락된 단일 수치는 아무런 의미가 없습니다.

이것이 테스트가 무의미하다는 뜻은 아닙니다. 테스트는 반드시 귀사의 생산 현장에서 수행되어야 한다는 뜻입니다.

AOI 데모 시연에는 어떤 기판을 준비해야 하는가?

특정 역량을 검증하기 위해 6가지 유형의 기판을 준비하십시오: 가장 까다로운 high-mix 작업 기판, 동색 부품이 실장된 기판, 마킹이 있는 칩 인덕터나 크리스털 오실레이터 기판, CAD 데이터가 전혀 없는 작업 기판, 실제 불량이 투입되거나 문서화된 기판, 현재 오경보율이 가장 심각한 기판입니다. 공급업체는 자체 데모 기판을 제안할 것입니다. 그러나 데모 기판은 해당 장비가 무엇을 잘하는지만 보여줄 뿐이며, 이는 귀사가 확인해야 할 핵심이 아닙니다.

기지 불량 기판에 대해서는 부연 설명이 필요합니다. 가상 불량이 아니라 실제 문서화된 불량이어야 합니다. 자체 스크랩 라인에서 수거한 기판으로, 검증 스테이션에서 IPC-A-610 기준에 따라 불량 목록이 이미 확인된 것이어야 합니다. 데모 중에는 이 불량 목록을 공급업체에 공개하지 마십시오. 공급업체가 사전에 인지하고 있는 불량을 검사하는 것은 진정한 평가가 아닙니다.

단순하고 평범한 기판도 함께 준비하십시오. 직관적이고 수율이 높은 단일 작업 기판은 오경보의 기준 하한선을 확정해 줍니다. 단순한 작업에서도 노이즈와 오경보를 발생시키는 시스템이라면, 복잡한 기판에서 어떤 성능을 보이든 의미가 없습니다.

실제로 무엇을 측정해야 하는가?

다음 5가지를 측정하십시오: 프로그래밍 시간(기판 수령부터 첫 검사 시작까지 스톱워치 측정), 오경보율(일관된 분모 기준, 검사 부품 수 대비 경보 발생 건수), 유출률(실제 기지 불량 수 대비 검출된 불량 수), 작업자 램프업(비엔지니어 인력이 도움 없이 모델 변경을 완수하는지 여부), 반복성(동일 기판을 3회 반복 검사하여 결과 비교). 진행 과정에서 수치를 즉시 기록하십시오. 데모 룸에서 느낀 주관적 인상은 하루만 지나도 흐려집니다.

구체적인 산출 공식이 포함된 5가지 측정 항목은 다음과 같습니다.

1. 프로그래밍 시간. 기판이 장비에 투입되는 순간 측정을 시작하고, 첫 검사가 시작될 때 측정을 종료하십시오. 데이터 가져오기, 라이브러리 작업, 검사 영역 지정, 임계값 설정 등 모든 단계를 포함해야 합니다. 셋업 속도에 대한 공급업체의 주장은 가장 많은 시간이 소요되는 단계를 제외하는 경우가 많습니다. 실제 세부 절차에 대한 내용은 CAD 없는 프로그래밍 방식을 참조하십시오.
2. 오경보율. 검사 부품 수 대비 오경보 발생 건수로, PPM 또는 percent로 표기합니다. 하나의 일관된 분모 기준을 선택하여 기존 장비를 포함해 평가 대상인 모든 시스템에 동일하게 적용하십시오. 이 단 하나의 원칙만 철저히 지켜도 다른 어떤 절차보다 유효한 비교가 가능해집니다.
3. 유출률. 사전에 문서화된 불량 기판을 기준으로, 실제 존재하는 기지 불량 수 대비 검출된 불량 수입니다. 이는 공정 품질을 지키는 가장 결정적인 수치입니다. 오경보를 절반으로 줄이더라도 실제 불량 한 유형을 놓치는 시스템은 아무런 도움이 되지 않습니다.
4. 작업자 램프업. 공정 엔지니어나 공급업체의 애플리케이션 엔지니어가 아닌 현장 라인 작업자가 모델 변경을 처음부터 끝까지 직접 수행하도록 하십시오. 소요 시간을 측정하고, 도움이 필요한 순간을 모두 기록하십시오. 숙련된 전문가만 다룰 수 있는 워크플로우라면 현장 인력 운용 계획에 차질이 생깁니다.
5. 반복성. 설정을 전혀 변경하지 않고 동일한 기판을 3회 반복 검사하십시오. 경보 발생 결과를 비교합니다. 동일한 조건의 검사 간 편차는 측정 시스템 자체의 노이즈이며, 이는 향후 임계값 조정을 통해 얻을 수 있는 개선의 한계를 결정짓습니다. 이는 AOI 환경에서의 Gage R&R 검증과 같으며, 기존 장비에서도 반드시 수행해 볼 가치가 있습니다. 현재 라인의 기준선 수치에 놀라게 될 수도 있습니다.

평가 세션 중 단일 시트에 결과를 직접 기록하십시오. 공급업체 A, 공급업체 B, 그리고 현재 라인을 동일한 5개 행 기준으로 비교하십시오.

파일럿 테스트는 얼마 동안 진행해야 하는가?

2시간짜리 데모로도 프로그래밍 시간, 명백한 오경보, 기지 불량에 대한 유출 양상, 작업자 램프업을 측정할 수 있습니다. 그러나 시간이 지남에 따라 오경보가 실제로 감소하는지, 부품 롯 변경을 어떻게 처리하는지, 실제 양산 수량에서의 진정한 유출률은 어떠한지는 데모에서 확인할 수 없습니다. 이를 확인하려면 라인에서 2 to 4주의 기간이 필요합니다. 데모는 1차 스크리닝으로 삼고, 최종 도입 결정은 파일럿 테스트를 통해 내려야 합니다.

각 단계에서 실제로 확인할 수 있는 항목은 다음과 같습니다.

2시간 데모: 현실적인 검증 범위. 셋업 시간은 이 단계에서 실질적으로 측정 가능합니다. 동색 부품 인식 및 마킹 판별도 단일 이미지 기반 문제이므로 즉시 확인됩니다. 작업자 램프업 수준도 바로 파악할 수 있습니다. 기지 불량 기판의 유출 양상 역시 유효하게 평가할 수 있으나, 단 1장의 샘플 기판에 대한 결과라는 한계가 있습니다.

라인 2 to 4주 가동: 장기 가동에서만 드러나는 항목. 작업자가 수정 사항을 피드백함에 따라 오경보율이 하향 안정화되는지 여부입니다. 이는 학습형 시스템과 정적 시스템을 가르는 핵심 메커니즘입니다(상세 메커니즘은 여기 참조). 새로운 부품 롯이나 이원화 부품 도입 시 오류가 발생하지 않는지, 단일 샘플이 아닌 대량 양산에서도 유출률이 안정적으로 유지되는지, 유지보수 부담이 공급업체의 설명과 일치하는지 여부를 확인할 수 있습니다.

성급한 결론에 대해 두 가지 주의할 점이 있습니다. 데모 단계에서는 학습 능력에 대한 주장을 검증할 수 없습니다. 학습에는 실제 양산 피드백과 시간이 필수적이기 때문입니다. 또한 공급업체가 사전에 철저히 세팅해 둔 장비로 진행하는 데모는 도입 3개월 후 귀사 팀이 자체적으로 유지관리할 수 있는지 여부를 전혀 보장하지 못합니다. 귀사가 입장하기 전 장비가 어떤 상태로 준비되어 있었는지 확인하십시오.

합격 판정 기준은 어떻게 설정해야 하는가?

합격 기준은 절대적인 수치가 아니라 귀사의 기존 라인을 기준으로 설정하십시오. 현재의 프로그래밍 시간, 오경보율, 유출률, 재검사 인력을 기준선으로 확정하고, 구매 비용과 공정 전환에 따른 생산 차질을 정당화할 수 있는 최소 개선 폭을 사전에 결정하십시오. 공급업체가 직접 장비를 시연할 때는 모든 시스템이 인상적으로 보이기 때문에, 데모 전에 기준 임계값을 미리 문서화해 두어야 객관적인 판단을 내릴 수 있습니다.

방문 전 작성해 두어야 할 평가 시트 예시:

시트 작성 시 두 가지 원칙을 지켜야 합니다. 첫째, 불량 유출 항목은 절충의 대상이 아닌 통과 기준입니다. 다른 모든 항목이 개선되더라도 실제 불량을 놓치는 시스템은 다른 항목의 결과와 관계없이 불합격입니다. 둘째, 가운데 열(최소 기준)은 반드시 데모 전에 확정하십시오. 사후에 설정하는 기준선은 자기합리화에 불과합니다.

수치 검증에 앞서 장비 유형과 구성을 선별하는 단계라면, 모든 공급업체에 반드시 물어야 할 7가지 질문을 포함한 선정 가이드를 참조하십시오.

자주 묻는 질문

공급업체가 자체 기판 반입을 허용하지 않으면 어떻게 해야 합니까?

그 자체를 하나의 답변으로 간주하십시오. 보안 제약은 현실적인 문제이며 NDA를 통해 해결할 수 있습니다. 그러나 어떠한 방식으로도 귀사 제품의 테스트를 거부하는 공급업체는 그들이 주장하는 수치가 자사 데모 기판에서만 성립한다는 사실을 방증하는 것입니다. 모든 진지한 평가는 구매자의 실제 제품을 기반으로 진행되어야 합니다.

의미 있는 결과를 도출하려면 기판이 몇 장이나 필요합니까?

데모 단계에서는 수량보다 6개 카테고리를 고루 포괄하는 것이 더 중요합니다. 파일럿 단계에서는 오경보율이 일시적 우연이 아닌 통계적으로 안정된 수치로 수렴할 수 있을 만큼의 양산 기판이 필요하며, 이는 특정 수량을 정해두기보다는 실제 라인을 2 to 4주간 정상 가동하는 것을 의미합니다.

파일럿 기간 중 공급업체 엔지니어가 시스템을 튜닝해도 됩니까?

가능하며, 그렇게 하도록 두십시오. 다만 엔지니어가 수행하는 모든 조정 작업을 기록해야 합니다. 해당 작업 기록은 향후 유지보수 소요를 예측하는 지표가 됩니다. 파일럿 기간 동안 애플리케이션 엔지니어가 수행하는 모든 작업은 장비 도입 후 귀사 인력이 직접 떠맡아야 할 업무입니다. 작업 기록이 지나치게 길다면, 도입 6개월 차에 이 작업을 누가 수행할 것인지 자문해 보십시오.

파일럿에서 성능이 우수했던 AI 시스템이 추후 양산에서 저하될 수도 있습니까?

확인해야 할 고장 모드는 드리프트(drift) 현상입니다. 즉, 모델 학습 완료 후 부품 롯, 기판 리비전, 조명 조건 등이 변경되었을 때 어떤 현상이 발생하는가입니다. 작업자 피드백을 통해 학습하는 시스템은 이러한 변화를 흡수하도록 설계되어 있으며, DaoAI 장비는 사용 기간이 누적될수록 오경보율이 상승하지 않고 오히려 감소하는 것으로 보고됩니다(DaoAI 보고 기준). 공급업체에 모델이 어떤 방식으로 업데이트되는지, 업데이트를 누가 트리거하는지, 기판 리비전 변경 시 어떻게 대응하는지 반드시 문의하십시오.

당사 장비로 이 프로토콜을 직접 검증해 보십시오

도입 후보군에 오른 모든 장비에 이 프로토콜을 적용해 보십시오. DaoAI 장비가 후보에 포함되어 있다면 6가지 기판을 준비하시고, 불량 목록은 공개하지 마시며, 다른 모든 업체와 동일한 평가 기준으로 당사를 엄격히 평가해 주시기 바랍니다.