So evaluieren Sie ein AI-AOI-System vor dem Kauf

Evaluieren Sie ein AI-AOI-System, indem Sie dessen Leistungsversprechen auf Ihren eigenen Leiterplatten reproduzieren – nicht durch den Vergleich von Datenblättern. Bringen Sie sechs Baugruppenkategorien mit (Ihren anspruchsvollsten High-Mix-Auftrag, gleichfarbige Bauteile, beschriftete Induktivitäten, einen Auftrag ohne CAD-Daten, ein Board mit bekannten realen Fehlern und Ihren aktuell größten Verursacher von Pseudo-Fehlern). Messen Sie anschließend fünf Faktoren: Programmierzeit, Pseudo-Fehler-Rate, Schlupfrate bei bekannten Fehlern, Bediener-Einarbeitung und Wiederholgenauigkeit von Durchlauf zu Durchlauf. Bewerten Sie die Ergebnisse im Vergleich zu Ihrer bestehenden Linie als Baseline, nicht anhand der Zahlen des Herstellers.

Jeder AOI-Hersteller veröffentlicht Genauigkeitswerte, wir eingeschlossen. Diese Zahlen sind exakt so viel wert wie Ihre Fähigkeit, sie auf Ihrem eigenen Produkt zu reproduzieren. Dieser Artikel liefert das Protokoll, das Einkäufer unserer Ansicht nach anwenden sollten: was mitzubringen ist, was gemessen werden muss, wie lange der Test laufen sollte und wie ein erfolgreiches Ergebnis aussieht. Es funktioniert auf der Maschine jedes Anbieters – und wir bevorzugen es, wenn Sie es auf unseren Systemen testen, anstatt uns blind zu vertrauen.

Warum kann man Genauigkeitsangaben bei AOI nicht trauen?

AOI-Genauigkeitsangaben sind selten vergleichbar, da die Bezugsgrößen (Nenner) variieren. Erkennungsraten werden pro Bauteil, pro Leiterplatte oder pro Fehlerklasse angegeben – und diese drei Grundlagen können auf derselben Maschine um Größenordnungen voneinander abweichen. Bei Pseudo-Fehler-Raten besteht dasselbe Problem. Veröffentlichte Zahlen verschweigen zudem, welche Leiterplatten, welcher Fehlersatz und welche Schwellenwert-Philosophie ihnen zugrunde liegen. Die Zahlen sind nicht zwingend unredlich. Sie sind schlichtweg nicht auf Ihre Fertigungslinie übertragbar.

Ein kurzer Blick auf öffentlich zugängliche Angaben zeigt die Bandbreite. Unabhängige Quellen aus den Jahren 2025 und 2026 berichten je nach Referenz von 30 bis 40 Prozent weniger Pseudo-Fehlern, 70 bis 85 Prozent weniger Fehlverwürfen und 98 bis 99 Prozent Erkennung bei kritischen Lötstellen (Overview.ai 2025; Boolean & Beyond 2026; Jidoka 2026). DaoAI beziffert die Erkennungsgenauigkeit auf 98 Prozent oder höher, während die Pseudo-Fehler sinken, sobald Bediener Feedback geben. Diese Zahlen beschreiben unterschiedliche Experimente, die niemand detailliert genug dokumentiert hat, um sie zu wiederholen. Validieren Sie die Leistung daher auf Ihren eigenen Baugruppen.

Drei Fragen beseitigen den Großteil der Unklarheiten – und Sie können sie bei jedem Messwert stellen, auch bei unseren:

• Bezogen auf was? Pro geprüftem Bauteil, pro Leiterplatte oder pro gemeldetem Ereignis? Bestehen Sie auf der Angabe des Nenners.
• Auf welchen Baugruppen? Ein Demo-Board, das darauf ausgelegt ist, gut auszusehen, oder ein High-Mix-Produktionsauftrag mit Second-Source-Bauteilen?
• Bei welcher Schwellenwerteinstellung? Erkennung und Pseudo-Fehler stehen in einem Trade-off zueinander. Ein Wert, der ohne sein Gegenstück genannt wird, sagt nichts aus.

Das bedeutet keineswegs, dass Tests zwecklos sind. Es bedeutet lediglich, dass der Test in Ihrer Fertigungshalle stattfinden muss.

Welche Baugruppen sollten Sie zu einer AOI-Demo mitbringen?

Bringen Sie sechs Baugruppenkategorien mit, die jeweils auf eine bestimmte Fähigkeit abzielen: Ihren anspruchsvollsten High-Mix-Auftrag, ein Board mit gleichfarbigen Bauteilen, eines mit beschrifteten Chip-Induktivitäten oder Quarzoszillatoren, einen Auftrag gänzlich ohne CAD-Daten, ein Board mit bekannten, realen (eingeschleusten oder dokumentierten) Fehlern und die Baugruppe, die heute Ihre höchste Pseudo-Fehler-Rate verursacht. Hersteller werden Ihnen eigene Demo-Boards anbieten. Diese zeigen Ihnen nur, was die Maschine gut kann – und das ist nicht die Frage, die Sie beantworten wollen.

Die Baugruppe mit bekannten Fehlern verdient besondere Beachtung. Sie benötigen dokumentierte, reale Fehler, keine simulierten: Boards aus Ihrem eigenen Ausschuss, deren Fehlerliste an Ihrem Verifizierplatz nach IPC-A-610-Kriterien bestätigt wurde. Behalten Sie die Liste während der Demo für sich. Ein System, das anhand von Fehlern bewertet wird, die der Hersteller im Voraus kennt, wird nicht objektiv evaluiert.

Bringen Sie auch das unkritische Standard-Board mit. Ein einfacher Auftrag mit hohem First-Pass-Yield definiert Ihr Grundrauschen bei Pseudo-Fehlern. Wenn ein System bereits bei einfachen Aufträgen Fehlalarme erzeugt, hilft Ihnen keine noch so gute Leistung bei komplexen Boards weiter.

Was sollten Sie tatsächlich messen?

Messen Sie fünf Faktoren: Programmierzeit (Stoppuhr vom Erhalt der Baugruppe bis zur ersten Prüfung), Pseudo-Fehler-Rate (Meldungen geteilt durch geprüfte Bauteile, mit einheitlichem Nenner), Schlupfrate (gefundene bekannte Fehler geteilt durch vorhandene bekannte Fehler), Bediener-Einarbeitung (ob ein Nicht-Ingenieur einen Produktwechsel eigenständig durchführt) und Wiederholgenauigkeit (dasselbe Board dreimal durchlaufen lassen und die Ergebnisse vergleichen). Erfassen Sie die Zahlen laufend. Eindrücke aus einem Vorführraum verblassen innerhalb eines Tages.

Die fünf Punkte mit der genauen Berechnung:

1. Programmierzeit. Starten Sie die Zeitmessung, sobald das Board die Maschine erreicht; stoppen Sie sie, wenn die erste Inspektion beginnt. Schließen Sie alles ein: Datenimport, Bibliotheksarbeit, Regionenerstellung, Schwellenwerteinstellung. Herstellerangaben zur Einrichtzeit klammern meist die Schritte aus, die am längsten dauern. Detaillierte Einblicke in die tatsächlichen Prozessschritte finden Sie unter Funktionsweise der CAD-freien Programmierung.
2. Pseudo-Fehler-Rate. Pseudo-Fehler geteilt durch geprüfte Bauteile, angegeben in PPM oder Prozent. Wählen Sie einen Nenner und behalten Sie ihn für jedes evaluierte System bei – einschließlich Ihres Bestandssystems. Diese einheitliche Methodik macht Vergleiche valider als jeder andere Schritt im Protokoll.
3. Schlupfrate. Erkannte bekannte Fehler geteilt durch vorhandene bekannte Fehler anhand Ihres dokumentierten Fehler-Boards. Das ist die Kennzahl, die Ihre Qualität sichert. Ein System, das Pseudo-Fehler halbiert, aber eine reale Fehlerklasse übersieht, bringt Ihnen keinen Nutzen.
4. Bediener-Einarbeitung. Lassen Sie einen Linienbediener – keinen Prozessingenieur und keinen Applikationsingenieur des Herstellers – einen Produktwechsel von Anfang bis Ende durchführen. Stoppen Sie die Zeit. Notieren Sie jeden Moment, in dem Unterstützung erforderlich ist. Funktioniert der Workflow nur in Expertenhand, müssen Sie Ihre Personalplanung überdenken.
5. Wiederholgenauigkeit. Lassen Sie dieselbe Baugruppe dreimal durchlaufen, ohne Parameter zu verändern. Vergleichen Sie die Meldungen. Abweichungen zwischen identischen Durchläufen sind Rauschen des Messsystems und setzen der Optimierung von Schwellenwerten eine harte Grenze. Dies entspricht einer Gage-R&R-Prüfung für AOI und lohnt sich auch auf Ihrer Bestandsmaschine – die Baseline könnte Sie überraschen.

Tragen Sie die Ergebnisse während der Demo in eine gemeinsame Übersicht ein: Hersteller A versus Hersteller B versus Ihre aktuelle Linie, mit denselben fünf Zeilen.

Wie lange sollte ein Pilotbetrieb laufen?

Eine zweistündige Demo kann Programmierzeit, offensichtliche Pseudo-Fehler, das Schlupfverhalten bei bekannten Fehlern und die Einarbeitungszeit der Bediener erfassen. Sie kann jedoch nicht messen, ob Pseudo-Fehler im Zeitverlauf abnehmen, wie das System auf Chargenwechsel bei Bauteilen reagiert oder wie die tatsächliche Schlupfrate im Produktionsvolumen aussieht. Dafür sind zwei bis vier Wochen an der Linie erforderlich. Betrachten Sie die Demo als Vorauswahl und den Pilotbetrieb als Entscheidungsgrundlage.

Was die einzelnen Phasen tatsächlich aussagen können:

Zweistündige Demo – der realistische Rahmen: Die Rüstzeit ist hier real und messbar. Ebenso das Verhalten bei gleichfarbigen Komponenten und Beschriftungen, da es sich um Einzelfall-Bildanalysen handelt. Die Einarbeitung der Bediener zeigt sich sofort. Das Schlupfverhalten auf Ihrem Board mit bekannten Fehlern liefert belastbare Daten im Rahmen einer Stichprobe von genau einem Board.

Zwei bis vier Wochen an der Linie – was nur hier sichtbar wird: Ob die Pseudo-Fehler-Rate sinkt, wenn Bediener Korrekturen zurückmelden – der entscheidende Mechanismus, der lernende Systeme von statischen unterscheidet (Details zur Funktionsweise finden Sie hier). Ob eine neue Bauteilcharge oder ein Second-Source-Bauteil Fehler provoziert. Ob die Schlupfrate bei echtem Volumen stabil bleibt statt nur bei einer Einzelprobe. Ob der Wartungsaufwand den Versprechungen des Herstellers entspricht.

Zwei Warnungen vor voreiligen Schlüssen: Eine Demo kann Leistungsversprechen zum maschinellen Lernen nicht belegen, da Lernen Produktionsfeedback und Zeit erfordert. Und eine Demo auf einer vom Hersteller vorkonfigurierten Maschine sagt nichts darüber aus, was Ihr Team nach drei Monaten eigenständig warten kann. Fragen Sie, in welchem Zustand sich die Maschine befand, bevor Sie den Raum betreten haben.

Wie sieht ein erfolgreiches Ergebnis aus?

Definieren Sie die Erfolgskriterien relativ zu Ihrer eigenen Linie, nicht anhand absoluter Idealwerte. Erfassen Sie Ihre aktuelle Programmierzeit, Pseudo-Fehler-Rate, Schlupfrate sowie den Personalaufwand an der Nacharbeitsstation und legen Sie vorab fest, wie viel Verbesserung die Investition und die Prozessumstellung rechtfertigt. Das schriftliche Fixieren dieser Schwellenwerte vor der Demo sorgt für Objektivität – denn jedes System wirkt beeindruckend, wenn der Hersteller es vorführt.

Eine Bewertungsmatrix, die vor dem ersten Besuch ausgefüllt werden sollte:

Zwei Grundregeln zum Ausfüllen: Erstens ist das Kriterium Schlupfrate eine K.-o.-Bedingung, kein Verhandlungspunkt. Ein System, das alle anderen Werte verbessert, aber reale Fehler durchlässt, fällt durch – unabhängig von den anderen Spalten. Zweitens: Definieren Sie die mittlere Spalte vor der Demo. Ein Schwellenwert, der im Nachhinein festgelegt wird, ist reine Rationalisierung.

Wenn Sie noch dabei sind, Maschinentyp und Konfiguration einzugrenzen, anstatt konkrete Leistungsversprechen zu prüfen, deckt unser Auswahlleitfaden diese Phase ab – einschließlich der sieben Fragen, die Sie jedem Hersteller stellen sollten.

Häufig gestellte Fragen (FAQ)

Was tun, wenn ein Hersteller mich keine eigenen Leiterplatten mitbringen lässt?

Werten Sie das als klare Antwort. Geheimhaltungsbedenken sind legitim und lassen sich über ein NDA regeln. Ein Hersteller, der Ihre Produkte unter keinen Umständen testen will, signalisiert Ihnen damit, dass seine Zahlen nur auf seinen eigenen Baugruppen funktionieren. Jede seriöse Evaluierung findet auf dem Produkt des Kunden statt.

Wie viele Baugruppen benötige ich für aussagekräftige Ergebnisse?

Für eine Demo ist die Abdeckung über die sechs Kategorien hinweg wichtiger als das Volumen. Für einen Pilotbetrieb benötigen Sie genügend Produktionsleiterplatten, damit die Pseudo-Fehler-Rate statistisch stabil ist und kein Zufallsprodukt bleibt. In der Praxis bedeutet dies, die Linie zwei bis vier Wochen regulär laufen zu lassen, statt eine starre Stückzahl anzupeilen.

Darf der Applikationsingenieur des Herstellers das System während des Pilotbetriebs optimieren?

Ja, lassen Sie ihn gewähren. Protokollieren Sie jedoch jede Anpassung. Dieses Protokoll ist Ihre Wartungsprognose: Alles, was der Applikationsingenieur während des Pilotbetriebs unternimmt, muss später jemand in Ihrem Werk übernehmen. Ist das Protokoll lang, fragen Sie sich, wer diese Aufgaben im sechsten Betriebsmonat ausführt.

Kann die Leistung eines AI-Systems nach einem erfolgreichen Pilotbetrieb in der Produktion nachlassen?

Das zu hinterfragende Fehlermuster ist der sogenannte Drift: Was passiert, wenn sich Bauteilchargen, Leiterplattenrevisionen oder Lichtverhältnisse ändern, nachdem das Modell trainiert wurde? Systeme, die aus Bediener-Feedback lernen, sind darauf ausgelegt, solche Schwankungen abzufangen. DaoAI verzeichnet mit zunehmender Betriebsdauer sinkende statt steigende Pseudo-Fehler-Raten (von DaoAI gemeldet). Fragen Sie jeden Hersteller, wie Modell-Updates erfolgen, wer das Update anstößt und was bei einer Baugruppen-Revision passiert.

Wenden Sie dieses Protokoll auf uns an

Führen Sie dieses Protokoll auf allen Maschinen durch, die in Ihrer engeren Auswahl sind. Wenn unsere darunter ist: Bringen Sie die sechs Baugruppen mit, behalten Sie Ihre Fehlerliste für sich und messen Sie uns an derselben Bewertungsmatrix wie alle anderen.