Cognos und die Kosten, Ihr BI NICHT zu testen

Aktualisiert August 28, 2019

Testen ist seit der Entwicklung von Software weit verbreitet als Teil der Softwareentwicklung. Business Intelligence (BI) hat Tests jedoch langsamer als integrierten Bestandteil der Entwicklung in BI-Software wie IBM Cognos eingeführt. Lassen Sie uns untersuchen, warum BI Testverfahren langsamer eingeführt hat und welche Konsequenzen daraus resultieren NICHT Testen.

Warum Unternehmen BI nicht testen…

• Zeitbeschränkungen. BI-Projekte stehen unter ständigem Druck, schneller geliefert zu werden. Was einige Unternehmen möglicherweise nicht wissen, ist, dass das Testen die einfachste Phase zur Reduzierung der Zeit ist.
• Budgetbeschränkungen. Der Gedanke ist, dass das Testen zu teuer ist und kein Testteam zur Verfügung gestellt werden kann.
• Schneller ist besser. Dies ist nicht unbedingt ein „agiler“ Ansatz und führt Sie möglicherweise nur schneller an die falsche Stelle.

• Die „Macht es gleich beim ersten Mal richtig“-Mentalität. Dieser naive Ansatz besteht darauf, dass das Vorhandensein einer Qualitätskontrolle die Notwendigkeit von Tests reduzieren sollte.
• Mangel an Eigentum. Dies ist dem vorherigen Aufzählungszeichen ähnlich. Der Gedanke ist, dass „unsere Benutzer es testen werden“. Dieser Ansatz kann zu unzufriedenen Benutzern und vielen Support-Tickets führen.
• Mangel an Werkzeugen. Das Missverständnis, dass sie nicht die richtige Technologie zum Testen haben.
• Mangelndes Verständnis von Tests. Zum Beispiel,
  • Beim Testen sollten die Genauigkeit und Gültigkeit der Daten, die Datenkonsistenz, die Aktualität der Daten, die Leistung der Bereitstellung und die Benutzerfreundlichkeit des Bereitstellungsmechanismus bewertet werden.
  • Das Testen während eines BI-Projekts kann Regressionstests, Unit-Tests, Smoke-Tests, Integrationstests, Benutzerakzeptanztests, Ad-hoc-Tests, Stress-/Skalierbarkeitstests und Systemleistungstests umfassen.

Was sind die Kosten, wenn Sie BI NICHT testen?

• Ineffiziente Designs. Eine schlechte Architektur wird möglicherweise nicht entdeckt, wenn das Testen ignoriert wird. Designprobleme können zu Benutzerfreundlichkeit, Leistung, Wiederverwendung sowie Wartung und Instandhaltung beitragen.
• Probleme mit der Datenintegrität. Datenkorruption oder Herausforderungen bei der Datenherkunft können zu einem Mangel an Vertrauen in die Zahlen führen.
• Probleme bei der Datenvalidierung. Entscheidungen aufgrund fehlerhafter Daten können für das Unternehmen verheerend sein. Es gibt nichts Schlimmeres, als zu versuchen, anhand von Metriken zu verwalten, die auf falschen Informationen basieren.

• Verringerte Benutzerakzeptanz. Wenn die Zahlen nicht stimmen oder die Anwendung nicht benutzerfreundlich ist, wird Ihre Benutzergemeinschaft Ihre glänzende neue Unternehmens-BI-Software einfach nicht verwenden.
• Erhöhte Kosten durch fehlende Standardisierung.
• Erhöhte Kosten für die Reparatur von Defekten in späteren Phasen des BI-Entwicklungslebenszyklus. Alle Probleme, die über die Anforderungsphase hinaus entdeckt werden, kosten exponentiell mehr als wenn sie früher entdeckt werden.

Nachdem wir nun dargelegt haben, warum Unternehmen möglicherweise nicht testen, und welche Fallstricke auftreten, wenn Sie BI nicht testen, sehen wir uns nun einige Studien zum Testen in der Softwareentwicklung an.

Studien zeigen, dass das Testen Ihrer BI-Plattform Geld spart!

Eine Studie mit 139 nordamerikanischen Unternehmen mit einer Größe von 250 bis 10,000 Mitarbeitern, berichteten jährliche Debugging-Kosten von 5.2 bis 22 Millionen US-Dollar. Diese Kostenspanne spiegelt Organisationen wider, die unterlassen Sie über automatisierte Unit-Tests verfügen. Unabhängig davon haben Untersuchungen von IBM und Microsoft ergeben, dass mit durch automatisierte Unit-Tests kann die Anzahl der Fehler zwischen 62 % und 91 % reduziert werden. Dies bedeutet, dass die für das Debugging ausgegebenen Dollars von 5 bis 22 Millionen US-Dollar auf 0.5 bis 8.4 Millionen US-Dollar reduziert werden könnten. Das ist eine enorme Ersparnis!

Kosten für die Behebung von Fehlern schnell eskalieren.

Ein Papier über erfolgreiche Softwareentwicklungstaktiken zeigt, dass die meisten Fehler zu Beginn des Entwicklungszyklus gemacht werden und je länger Sie mit der Erkennung und Korrektur warten, desto höher sind die Kosten für die Behebung. Es braucht also keinen Raketenwissenschaftler, um die offensichtliche Schlussfolgerung zu ziehen, dass je früher Fehler entdeckt und behoben werden, desto besser. Apropos Raketenwissenschaft, es ist einfach so, dass die NASA ein Papier darüber veröffentlicht hat – „Fehlerkosteneskalation während des Projektlebenszyklus.“

Es ist intuitiv, dass die Kosten für die Behebung von Fehlern mit fortschreitendem Entwicklungslebenszyklus steigen. Die NASA-Studie wurde durchgeführt, um festzustellen, wie schnell sich die relativen Kosten für die Behebung von entdeckten Fehlern entwickeln. In dieser Studie wurden drei Ansätze verwendet, um die relativen Kosten zu bestimmen: die Bottom-up-Kostenmethode, die Gesamtkostenaufschlüsselungsmethode und die hypothetische Top-down-Projektmethode. Die in diesem Papier beschriebenen Ansätze und Ergebnisse setzen die Entwicklung eines Hardware/Software-Systems voraus, das Projekteigenschaften aufweist, die denen ähnlich sind, die bei der Entwicklung eines großen, komplexen Raumfahrzeugs, eines Militärflugzeugs oder eines kleinen Kommunikationssatelliten verwendet werden. Die Ergebnisse zeigen, wie stark die Kosten eskalieren, da Fehler in späteren Phasen des Projektlebenszyklus entdeckt und behoben werden. Diese Studie ist repräsentativ für andere Untersuchungen, die durchgeführt wurden.

Aus der obigen Grafik zeigen Untersuchungen von TRW, IBM, GTE, Bell Labs, TDC und anderen die Kosten für die Behebung von Fehlern während der verschiedenen Entwicklungsphasen:

• Die Kosten für die Behebung eines in der Anforderungsphase entdeckten Fehlers sind definiert als 1 Einheit
• Die Kosten für die Behebung dieses Fehlers, wenn er während der Entwurfsphase gefunden wird, betragen doppelt zur Verbesserung der Gesundheitsgerechtigkeit
• In der Code- und Debug-Phase betragen die Kosten für die Behebung des Fehlers 3 Einheiten
• In der Unit-Test- und Integrationsphase werden die Kosten für die Behebung des Fehlers 5
• In der Phase der Systemtestphase, die Kosten für die Behebung des Fehlers steigen auf 20
• Und sobald sich das System in der Betriebsphase befindet, die relativen Kosten für die Korrektur des Fehlers sind auf 98 gestiegen, fast das 100-fache der Kosten für die Korrektur des Fehlers, wenn er in der Anforderungsphase festgestellt wird!

Unterm Strich ist es viel teurer, Defekte zu reparieren, wenn sie nicht frühzeitig erkannt werden.

Schlussfolgerungen

Es wurden umfangreiche Forschungsarbeiten durchgeführt, die den Wert frühzeitiger und kontinuierlicher Tests in der Softwareentwicklung belegen. Wir in der BI-Community können von unseren Freunden in der Softwareentwicklung lernen. Obwohl die meisten formalen Forschungen im Zusammenhang mit der Softwareentwicklung durchgeführt wurden, können ähnliche Schlussfolgerungen über die BI-Entwicklung gezogen werden. Der Wert des Testens ist unbestreitbar, aber viele Unternehmen waren langsamer, um die Vorteile formaler Tests ihrer BI-Umgebung zu nutzen und Tests in ihre BI-Entwicklungsprozesse zu integrieren. Die Kosten für nicht Tests sind echt. Die damit verbundenen Risiken nicht Tests sind echt.

Möchten Sie automatisierte Cognos-Tests in Aktion sehen? Sehen Sie sich die Videos in unserer Playlist an von indem Sie hier klicken!