Die fortschreitende Digitalisierung stellt die Polizeiarbeit vor wachsende Herausforderungen bei der Beobachtung und Aufklärung von strafrechtlich und für die Gefahrenabwehr relevantem Geschehen in digitalen Räumen. Zwischen den technischen Möglichkeiten der Datenauswertung und den rechtlichen sowie ethischen Anforderungen bestehen oft erhebliche Diskrepanzen, wie etwa das Beispiel der biometrischen Gesichtserkennung in Massendaten zeigt. Dabei entwickeln sich Bedarfe und Anwendungsfälle KI-gestützter Datenauswertungen stetig weiter. Die Herausforderung besteht darin, tragfähige Lösungen für einen rechtskonformen Betrieb (insb. auch hinsichtlich der Vorgaben der ab Mitte 2026 für Sicherheitsbehörden anzuwendenden europäische KI-Verordnung) von KI-Anwendungen zu finden, die auf verschiedene Anwendungsfälle übertragen werden können und nicht für jeden Anwendungsfall neu entwickelt werden müssen. Der vorliegende Beitrag skizziert ethische und rechtliche Anforderungen an KI-gestützte polizeiliche Auswertungen von Online-Daten, die im Rahmen des BMBF-Projekts KISTRA entwickelt wurden. Schließlich wird erörtert, wie entsprechende Anforderungen in der Softwaregestaltung entsprechend eines ‚Legal by Design‘- und ‚Ethics by Design‘-Ansatzes umgesetzt werden könnten.