muehlbronner.de

← Alle Projekte

Projektüberblick

Störlab

Aus einem Werkzeug gegen ein einzelnes Fiepen in der Wohnung ist ein Labor für Ton, Stimme und Bild geworden. Es läuft vollständig auf dem eigenen Rechner. Jede Schwelle ist an öffentlichen Datensätzen gemessen statt geraten – und was nichts bringt, wird gemessen, dokumentiert und weggelassen.

  • v2.0 Release
  • 360+ Commits
  • 130+ Testskripte
  • ~20 Datensätze gemessen
  • Windows + macOS

Auf einen Blick

Störgeräusch-Jagd

Live-Spektrum mit rund 3 Hz Auflösung bis 24 kHz (bei 96 kHz bis 48 kHz), Spektrogramm, Referenz und Differenz, Peak-Detektor zum Orten, Peak-Protokoll und Ereignis-Clips. Ein Auto-Modus lernt die Töne im Raum, beobachtet bis zu acht gleichzeitig, macht Ultraschall hörbar und führt Tagebuch. „Fiep-Muster“ findet Rhythmus, Wendepunkte und das nächste Auftreten – auch Zusammenhänge mit Wetter und Rechenlast.

Wiedergabe & Abwehr

Testsignal-Generator mit 13 Schritt-Typen, Lautstärke-Automation, Rotation über mehrere Ausgabegeräte (auch Bluetooth), Live-Masking eines Fieptons mit Regelkreis, Stimme → Ton, Konsolenmodus und Home-Assistant/MQTT-Anbindung.

Stimme

Stress-Index aus 88 Stimm-Merkmalen gegenüber der normalen Sprechweise derselben Person, automatische Sprechererkennung, Überlappungen zweier Stimmen, Emotion, Transkription mit Whisper, Erkennung von 527 Geräuschklassen und laufende KI-Kommentare. Kein Lügendetektor – Emotion und Anspannung bleiben Hinweise.

Kamera & Video

Webcam, Videodatei oder YouTube: Gesichter finden, Gesicht und Stimme gemeinsam auswerten, erkennen, wer im Bild spricht, Emotion im Gesicht, Körperhaltung, Hände und Gesten, Objekte und Text im Bild sowie eine Schnellanalyse ganzer Videos.

Vorhersage

Ketten „Vorbote → Folge“ mit nachgeprüfter Trefferquote, ein Muster-Entdecker mit statistischer Absicherung, unerwartete Momente und Wendepunkte sowie ein Editor für eigene Vorhersagen und Regeln mit Aktionen.

Qualität

Über 130 automatische Testskripte, Messungen an rund 20 öffentlichen Datensätzen, und jede Änderung kommt mit Dokumentation. Alle Daten bleiben lokal; Modelle laufen auf dem Prozessor über ONNX Runtime.

Die Bausteine

Welche Modelle und Verfahren dahinterstehen, wo sie veröffentlicht wurden und wie gut sie in Störlab selbst abschneiden.

AufgabeModell / VerfahrenVeröffentlichungIn Störlab gemessen
Gesichter findenYuNetWu, Peng, Yu: Machine Intelligence Research 2023 1WIDER FACE: ab 60 px 83–92 % gefunden
Gesichter wiedererkennenLVFace-T (Standard)You u. a.: ICCV 2025, Highlight 2LFW bei 0,01 % Fehlalarm: 60 px 99,4 %, 40 px 98,9 %; drei Testvideos 97,3 % mit richtigem Namen, 0 Fremde
… wahlweiseSFaceZhong u. a.: IEEE Trans. Image Processing 2021 3LFW 60 px 97,0 %; Videos 90,7 % mit Namen, 14 Fremde
Wer spricht im BildLR-ASD / Light-ASDLiao u. a.: Int. Journal of Computer Vision 2025 4 / CVPR 2023 5Talk-Video: 91 % entschieden, davon 100 % folgerichtig (Mundbewegung 58 %)
Emotion im GesichtEmotiEffNet-B0 (EmotiEffLib, früher HSEmotion)Savchenko: Beiträge zum ABAW-Wettbewerb, CVPR-Workshops 2022/2023 6RAVDESS: angezeigte Emotion 86–89 % richtig (mit Schwelle je Emotion)
Körper und HändeMediaPipe BlazePose / HandsBazarevsky u. a. 2020 7; Zhang u. a. 2020 8Gesten-Regeln, am Datensatz MPII geprüft
Objekte / Text im BildYOLOX-S / PP-OCRv3Ge u. a. 2021 9; Li u. a. 2022 10Texttafeln im Test gelesen (nicht eigens vermessen)
Stimmabdruck, wer sprichtTitaNet-L (NVIDIA NeMo)Koluguri, Park, Ginsburg: ICASSP 2022 11VoxConverse (174 Sendungen, 500 Sprecher): 91 % der Sprechzeit bei der richtigen Person
Zwei Stimmen gleichzeitigpyannote segmentation-3.0Plaquet, Bredin: Interspeech 2023 12VoxConverse: 80 % der gemischten Äußerungen erkannt, 2,4 % Fehlalarm
Mann / FrauECAPA-TDNN (Gender-Modell von J. Huh)Desplanques u. a.: Interspeech 2020 13RAVDESS / LibriSpeech / EmoDB: 100 / 100 / 95–100 %
Stimm-Merkmale für den Stress-IndexopenSMILE, eGeMAPSEyben u. a.: IEEE Trans. Affective Computing 2016 14; ACM Multimedia 2010 15Grundlage des Index
Emotion aus der Stimmeemotion2vec+ base; audEERING wav2vec2Ma u. a.: Findings ACL 2024 16; Wagner u. a.: IEEE TPAMI 2023 17EmoDB 2.0 81 %, fremde Stimme 36 %; mit Schwelle angezeigt 91 / 62 % richtig
TranskriptionWhisper (faster-whisper, bis large-v3-turbo)Radford u. a.: ICML 2023 1830 deutsche Sätze: Modell „small“ mit nur 3 % falschen Wörtern
GeräuscheCED-mini (527 AudioSet-Klassen)Dinkel u. a.: ICASSP 2024 19Husten 82–90 %, Lachen 74–90 %, Sirene 78–98 %; mitten in Sprache 0 % Fehlalarm
Sprache erkennenSilero VADSilero Team 20Sprach-Check: versteckte Sprache ab 15 dB zu 94 % „stark“ erkannt

Wie ausgewertet wird

  • Periode eines Tons: Lomb-Scargle-Periodogramm 2122 – kommt mit Messlücken klar; als Zufall gilt, wie oft dieselben Schübe in zufälliger Reihenfolge ein ebenso starkes Muster ergeben.
  • Wendepunkte: Bayes’sche Online-Wendepunkt-Erkennung nach Adams und MacKay 23 auf Blöcken (Fiep-Muster, Auswertung).
  • Muster-Entdecker: Hunderte Paare „nach A kommt B“ gleichzeitig geprüft – deshalb mit Falschfund-Korrektur nach Benjamini und Hochberg 24 und Bestätigung in mindestens zwei Analysen.
  • Güte der Prognosen: Brier-Score 25, Skill gegen die Grundrate, Kalibrierung.
  • Gesicht und Stimme gemeinsam: Fusion auf Ebene der Ähnlichkeiten, beide in Log-Likelihood-Verhältnisse umgerechnet und addiert – geeicht an VoxConverse und LFW.
  • Zusammenhänge in Zeitreihen (Ton gegen Rechenlast): Korrelation mit Verzögerung; als Zufall gilt die im Kreis verschobene Reihe – so wird eine bloße Häufung nicht zum Zusammenhang.

Einordnung

  • Auf aktuellem Forschungsstand (2023–2025): Gesichtswiedererkennung (LVFace-T, ICCV 2025), wer im Bild spricht (LR-ASD, IJCV 2025), Überlappungen (pyannote 3.0), Geräusche (CED, 2024), Transkription (Whisper).
  • Bewährt und weit verbreitet: Stimmabdruck (TitaNet), ECAPA-TDNN, YuNet, MediaPipe, YOLOX, openSMILE/eGeMAPS.
  • Prinzipbedingt begrenzt: Emotion und Anspannung sind auch mit aktuellen Modellen nur Hinweise – auf fremden Stimmen und Gesichtern liegt die Trefferquote deutlich tiefer als auf Trainingsdaten (in Störlab: fremde Stimme 36 %, CREMA-D-Gesichter 66 %). Störlab zeigt Emotionen deshalb erst ab einer Mindestsicherheit an und vermerkt, wenn Gesicht und Stimme übereinstimmen (dann 98–99 % richtig). Kein Lügendetektor.
  • Was Störlab besonders macht: die Verbindung aus Messtechnik, Stimme, Bild und Vorhersage in einer lokalen Anwendung – mit an öffentlichen Datensätzen gemessenen Schwellen und Prognosen, die ihre eigene Trefferquote nachprüfen.
  • Grenzen: rechnet nur auf dem Prozessor (keine Grafikkarte nötig, aber auch nicht genutzt); entwickelt und getestet unter Windows, seit Oktober 2026 auch auf einem Mac eingerichtet; kein geeichtes Messgerät im rechtlichen Sinn; die KI-Modelle für Geräusche rechnen mit 16 kHz und sehen über 8 kHz nichts – hohe Fieptöne misst deshalb die FFT; einige Gewichte sind nur für nicht-kommerzielle Nutzung frei (LVFace-T, audEERING).

Technik

PythonTkinterNumPySciPyPortAudio / sounddevicematplotlibONNX RuntimeOpenCVfaster-whisperopenSMILEsherpa-onnxClaude APIMQTT

Der Quellcode ist privat. Diese Seite fasst die Projektdokumentation zusammen (Stand: Oktober 2026).

Quellen

  1. W. Wu, H. Peng, S. Yu: YuNet: A Tiny Millisecond-level Face Detector. Machine Intelligence Research 20, 2023. doi.org
  2. You u. a. (ByteDance): LVFace: Progressive Cluster Optimization for Large Vision Models in Face Recognition. ICCV 2025 (Highlight). arxiv.org
  3. Y. Zhong, W. Deng, J. Hu u. a.: SFace: Sigmoid-Constrained Hypersphere Loss for Robust Face Recognition. IEEE Trans. Image Processing 30, 2021. arxiv.org
  4. J. Liao, H. Duan, K. Feng u. a.: LR-ASD: Lightweight and Robust Network for Active Speaker Detection. International Journal of Computer Vision, 2025. doi.org
  5. J. Liao, H. Duan u. a.: A Light Weight Model for Active Speaker Detection. CVPR 2023. github.com
  6. A. V. Savchenko: EmotiEffLib / HSEmotion und Beiträge zum ABAW-Wettbewerb (CVPR-Workshops 2022/2023). github.com
  7. V. Bazarevsky u. a.: BlazePose: On-device Real-time Body Pose tracking. CVPR-Workshop 2020. arxiv.org
  8. F. Zhang u. a.: MediaPipe Hands: On-device Real-time Hand Tracking. CVPR-Workshop 2020. arxiv.org
  9. Z. Ge u. a.: YOLOX: Exceeding YOLO Series in 2021. arxiv.org
  10. C. Li u. a.: PP-OCRv3: More Attempts for the Improvement of Ultra Lightweight OCR System. 2022. arxiv.org
  11. N. R. Koluguri, T. Park, B. Ginsburg: TitaNet: Neural Model for Speaker Representation with 1D Depth-wise Separable Convolutions and Global Context. ICASSP 2022. arxiv.org
  12. A. Plaquet, H. Bredin: Powerset multi-class cross entropy loss for neural speaker diarization. Interspeech 2023. doi.org
  13. B. Desplanques, J. Thienpondt, K. Demuynck: ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification. Interspeech 2020. arxiv.org – Gender-Modell: huggingface.co
  14. F. Eyben u. a.: The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computing. IEEE Trans. Affective Computing 7(2), 2016. doi.org
  15. F. Eyben, M. Wöllmer, B. Schuller: openSMILE – The Munich Versatile and Fast Open-Source Audio Feature Extractor. ACM Multimedia 2010. doi.org
  16. Z. Ma, Z. Zheng, J. Ye u. a.: emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation. Findings of ACL 2024. arxiv.org
  17. J. Wagner, A. Triantafyllopoulos, H. Wierstorf u. a.: Dawn of the Transformer Era in Speech Emotion Recognition: Closing the Valence Gap. IEEE TPAMI 2023. arxiv.org
  18. A. Radford u. a.: Robust Speech Recognition via Large-Scale Weak Supervision. ICML 2023. arxiv.org
  19. H. Dinkel, Y. Wang, Z. Yan, J. Zhang, Y. Wang: CED: Consistent Ensemble Distillation for Audio Tagging. ICASSP 2024. arxiv.org
  20. Silero Team: Silero VAD. github.com
  21. N. R. Lomb: Least-squares frequency analysis of unequally spaced data. Astrophysics and Space Science 39, 1976. doi.org
  22. J. D. Scargle: Studies in astronomical time series analysis II. Astrophysical Journal 263, 1982. doi.org
  23. R. P. Adams, D. J. C. MacKay: Bayesian Online Changepoint Detection. 2007. arxiv.org
  24. Y. Benjamini, Y. Hochberg: Controlling the False Discovery Rate. Journal of the Royal Statistical Society B 57(1), 1995. doi.org
  25. G. W. Brier: Verification of forecasts expressed in terms of probability. Monthly Weather Review 78(1), 1950. doi.org
  26. G. B. Huang u. a.: Labeled Faces in the Wild. UMass Amherst, Technical Report 07-49, 2007. web.archive.org (Original offline)
  27. S. Yang u. a.: WIDER FACE: A Face Detection Benchmark. CVPR 2016. arxiv.org
  28. J. S. Chung u. a.: Spot the conversation: speaker diarisation in the wild (VoxConverse). Interspeech 2020. arxiv.org
  29. S. R. Livingstone, F. A. Russo: The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). PLoS ONE 13(5), 2018. doi.org
  30. H. Cao u. a.: CREMA-D: Crowd-sourced Emotional Multimodal Actors Dataset. IEEE Trans. Affective Computing 5(4), 2014. doi.org
  31. F. Burkhardt u. a.: A Database of German Emotional Speech (EmoDB). Interspeech 2005. doi.org
  32. K. J. Piczak: ESC: Dataset for Environmental Sound Classification. ACM Multimedia 2015. doi.org
  33. E. Fonseca u. a.: FSD50K: An Open Dataset of Human-Labeled Sound Events. IEEE/ACM Trans. Audio, Speech and Language Processing 30, 2022. arxiv.org
  34. Y. Gong, J. Yu, J. Glass: VocalSound: A Dataset for Improving Human Vocal Sounds Recognition. ICASSP 2022. arxiv.org
  35. J. Salamon, C. Jacoby, J. P. Bello: A Dataset and Taxonomy for Urban Sound Research. ACM Multimedia 2014. doi.org
  36. S. Poria u. a.: MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations. ACL 2019. arxiv.org
  37. V. Panayotov u. a.: LibriSpeech: An ASR corpus based on public domain audio books. ICASSP 2015. doi.org
  38. Y. Koizumi u. a.: Description and Discussion on DCASE2020 Challenge Task2. DCASE 2020, arxiv.org H. Purohit u. a.: MIMII Dataset. DCASE 2019, arxiv.org