Ιστολόγιο ελέγχου Cognos - Συμβουλές και κόλπα για περιβάλλοντα μεγάλου και μεγάλου όγκου

by 17 Μαΐου 2021Ελεγκτικάσχόλια 0

Ένα blog από τους John Boyer και Mike Norris.

Εισαγωγή

Είναι σημαντικό να έχετε τη δυνατότητα Ελέγχου Cognos για να γνωρίζετε και να κατανοείτε πώς χρησιμοποιείται το Cognos από την κοινότητα χρηστών σας και να βοηθήσετε να απαντήσετε σε ερωτήσεις όπως:

    • Ποιος χρησιμοποιεί το σύστημα;
    • Τι αναφορές τρέχουν;
    • Ποιες είναι οι ώρες λειτουργίας της έκθεσης;
    • Με τη βοήθεια άλλων εργαλείων, όπως MotioCI, ποιο περιεχόμενο δεν χρησιμοποιείται;

Λαμβάνοντας υπόψη πόσο κρίσιμο είναι να διατηρούμε υγιή περιβάλλοντα Cognos Analytics, εκπληκτικά λίγα έχουν γραφτεί για τη βάση ελέγχου της πέρα ​​από την τυπική τεκμηρίωση προϊόντος. Perhapsσως, θεωρείται δεδομένο, αλλά οι οργανισμοί που το χρησιμοποιούν γνωρίζουν ότι με την πάροδο του χρόνου η αναζήτηση των πινάκων της βάσης δεδομένων ελέγχου θα αρχίσει να επιβραδύνεται - ειδικά αν ο οργανισμός σας έχει πολλούς χρήστες που τρέχουν πολλές αναφορές και έχει μεγάλο ιστορικό. Επιπλέον, η καταγραφή της δραστηριότητας ελέγχου μπορεί να καθυστερήσει επειδή βρίσκεται σε ουρά όταν δεν μπορεί να προστεθεί στη βάση δεδομένων αρκετά γρήγορα, για παράδειγμα. Τότε αρχίζετε να σκέφτεστε την απόδοση της βάσης δεδομένων όπως θα κάνατε με οποιαδήποτε λειτουργική βάση δεδομένων που έχει απαιτήσεις αναφοράς.

Οι μεγάλοι πίνακες συνήθως επιβραδύνουν την απόδοση του ερωτήματος. Όσο μεγαλύτερος είναι ο πίνακας, τόσο περισσότερο χρόνο χρειάζεται για την εισαγωγή και το ερώτημα. Θυμηθείτε ότι αυτοί οι πίνακες και η βάση δεδομένων ελέγχου είναι βασικά μια λειτουργική βάση δεδομένων. Τα γράμματα συμβαίνουν συχνά και λειτουργούν εναντίον μας, καθώς δεν μπορούμε να τα εστιάσουμε μόνο για λειτουργίες ανάγνωσης όπως θα κάνατε με ένα data mart.

Όπως και το κατάστημα περιεχομένου, η υγεία του περιβάλλοντος Cognos πρέπει επίσης να λαμβάνει υπόψη την υγεία της Βάσης Δεδομένων Ελέγχου. Η απεριόριστη ανάπτυξη της Βάσης Δεδομένων Ελέγχου μπορεί να γίνει ζήτημα με την πάροδο του χρόνου και μπορεί τελικά να επηρεάσει ακόμη και τη συνολική απόδοση ενός περιβάλλοντος Cognos. Σε πολλούς οργανισμούς με εξωτερικούς κανονισμούς που τους επιβάλλονται, το να μην έχουν πλήρες αρχείο ελέγχου μπορεί να τους οδηγήσει σε κατάσταση μη συμμόρφωσης με βαριές επιπτώσεις. Πώς αντιμετωπίζουμε λοιπόν την ανάγκη να διατηρούμε τόσα πολλά δεδομένα για ιστορικούς σκοπούς ελέγχου - σε ορισμένες περιπτώσεις έως και 10 χρόνια - αλλά ακόμα να λαμβάνουμε τις αναφορές που χρειαζόμαστε για να διατηρήσουμε το περιβάλλον και να κρατήσουμε τους χρήστες ευχαριστημένους με την απόδοση;

Η πρόκληση

    • Η απεριόριστη ανάπτυξη της Βάσης Δεδομένων Ελέγχου επηρεάζει αρνητικά την υγεία του περιβάλλοντος Cognos
    • Η αναφορά από τη βάση δεδομένων ελέγχου έχει γίνει αργή ή άχρηστη
    • Το Cognos αντιμετωπίζει καθυστερήσεις στην εγγραφή εγγραφών στη βάση δεδομένων ελέγχου
    • Η Βάση Δεδομένων Ελέγχου εξαντλείται στο χώρο του δίσκου

Όλα αυτά σημαίνουν ότι δεν υποφέρουν μόνο οι αναφορές που βασίζονται στη βάση δεδομένων ελέγχου, αλλά συχνά ολόκληρο το σύστημα. Εάν η βάση δεδομένων ελέγχου βρίσκεται στον ίδιο διακομιστή με το κατάστημα περιεχομένου Cognos, η απόδοση όλων των πραγμάτων του Cognos θα επηρεαστεί σε αυτό το περιβάλλον.

Η εγκατάσταση

Υποθέτουμε:

    1. Το Cognos Analytics είναι εγκατεστημένο και λειτουργεί
    2. Το Cognos έχει ρυθμιστεί για σύνδεση σε βάση δεδομένων ελέγχου
        • Έχετε μια βάση δεδομένων ελέγχου
        • Ορίστε κατάλληλα επίπεδα καταγραφής ελέγχου στη διαχείριση του Cognos
        • Οι εγγραφές γράφονται στη βάση δεδομένων από τον Cognos
    3. Η βάση δεδομένων ελέγχου χρησιμοποιείται για περισσότερο από ένα χρόνο
    4. Το περιβάλλον είναι πολύ ενεργό με χρήστες και εκτελέσεις
    5. Το πακέτο ελέγχου χρησιμοποιείται για την εμφάνιση δεδομένων χρήσης του Cognos
    6. Προσπαθούμε να βελτιώσουμε την απόδοση των αναφορών της Βάσης Δεδομένων Ελέγχου
    7. Η εκκίνηση από την αρχή ή η διαγραφή παλιών εγγραφών δεν είναι πάντα μια επιλογή

Εάν δεν έχετε, ακόμα, εγκαταστήσει και διαμορφώσει το Cognos Audit, το Lodestar Solutions, a Motio συνεργάτης, έχει έναν εξαιρετικό θέση σχετικά με την ενεργοποίηση του ελέγχου στο Cognos BI /CA.

Η Λύση

Υπάρχουν μερικές πιθανές λύσεις που εμφανίζονται γρήγορα:

    1. Μειώστε τον όγκο των δεδομένων κατά:
        • Μετακίνηση ορισμένων από τα παλαιότερα δεδομένα σε άλλη βάση δεδομένων
        • Μετακίνηση ορισμένων από τα παλαιότερα δεδομένα σε άλλο πίνακα στην ίδια βάση δεδομένων
    2. Απλώς διαγράψτε ή τόξοhive μερικά από τα δεδομένα και μην ανησυχείτε για αυτό
    3. Ζήσε με αυτό. Κλωτσήστε το δοχείο κάτω road και πιέστε το Διαχειριστή βάσης δεδομένων για απόδοση
      βελτιώσεις ενώ τους περνάει χειροπέδες χωρίς να επιτρέπονται αλλαγές στο σχήμα ή
      δείκτες

Δεν πρόκειται να ασχοληθούμε με την επιλογή 3. Η επιλογή 2, η διαγραφή των δεδομένων, δεν είναι καλή επιλογή και θα συνιστούσα να διατηρήσετε την αξία τουλάχιστον 18 μηνών στο ελάχιστο. Αλλά, αν είστε τόσο διατεθειμένοι, η IBM παρέχει ένα βοηθητικό πρόγραμμα, AuditDBCleanup (Cognos BI) ή α γραφή (Cognos Analytics) που θα κάνει ακριβώς αυτό. Το βοηθητικό πρόγραμμα για το Cognos BI διαγράφει εγγραφές βάσει χρονικής σήμανσης, ενώ τα σενάρια για το Cognos Analytics απλώς διαγράφουν τα ευρετήρια και τους πίνακες.

Οι συστάσεις που κάναμε στους πελάτες προηγουμένως σχετικά με αυτό ήταν να χωριστούν σε δύο βάσεις δεδομένων:

    1. Έλεγχος - Ζωντανά: περιέχει δεδομένα αξίας της πιο πρόσφατης εβδομάδας
    2. Έλεγχος - Ιστορικό: περιέχει ιστορικά δεδομένα (έως Ν έτη)

Εν ολίγοις, η διαδικασία εκτελείται εβδομαδιαίως για τη μετακίνηση των πιο πρόσφατων εγγραφών από το Audit Live στο Audit Historical. Το Audit Live ξεκινά από την αρχή ως κενό φύλλο μετά την εκτέλεση αυτής της διαδικασίας.

    1. Το Live DB είναι γρήγορο και σφιχτό, επιτρέποντας τα ένθετα να γίνονται όσο το δυνατόν γρηγορότερα
    2. Τα ερωτήματα ελέγχου απευθύνονται αποκλειστικά στο ιστορικό DB

Χρησιμοποιώντας αυτήν την προσέγγιση, δεν υπάρχει καμία έμμεση «συρραφή» των Ζωντανών δεδομένων και των Ιστορικών δεδομένων. Θα υποστήριζα ότι μάλλον θέλετε να το κρατήσετε έτσι.

Στο Cognos Administration, μπορείτε να προσθέσετε δύο διαφορετικές συνδέσεις για την Πηγή δεδομένων ελέγχου. Όταν ένας χρήστης εκτελεί μια αναφορά στο πακέτο Έλεγχος, λαμβάνεται ερώτηση για τη σύνδεση που θέλει να χρησιμοποιήσει:

Βάσεις Δεδομένων Ελέγχου

Στην περίπτωση που θέλετε να δείτε ζωντανά δεδομένα ελέγχου και όχι δεδομένα ιστορικού ελέγχου, απλώς επιλέξτε τη σύνδεση "Έλεγχος - Ζωντανά" όταν σας ζητηθεί (θα πρέπει να αποτελεί εξαίρεση, όχι ο κανόνας.)

Εάν ΠΡΑΓΜΑΤΙΚΑ θέλετε επίσης να παρέχετε μια ενοποιημένη άποψη τόσο για το Ζωντανό όσο και για το Ιστορικό, θα μπορούσατε να το κάνετε, αλλά θα επηρεάσει την απόδοση.

Για παράδειγμα, μπορείτε να δημιουργήσετε μια τρίτη βάση δεδομένων που ονομάζεται "Έλεγχος - ενοποιημένη προβολή" και, στη συνέχεια, για κάθε πίνακα στο σχήμα ελέγχου: δημιουργήστε μια πανομοιότυπη προβολή που είναι μια ένωση SQL μεταξύ του πίνακα στο ζωντανό DB και του πίνακα στο ιστορικό DB. Ομοίως, αυτό θα μπορούσε επίσης να επιτευχθεί στο μοντέλο Framework Manager, αλλά, και πάλι, η απόδοση θα ήταν ένα βασικό στοιχείο.

Μερικοί από τους πελάτες μας έχουν δημιουργήσει μια ενοποιημένη προβολή. Κατά τη γνώμη μας, αυτό είναι πιθανώς υπερβολικό. Η απόδοση θα ήταν πάντα χειρότερη σε αυτήν την ενοποιημένη άποψη και δεν έχουμε συναντήσει πολλές περιπτώσεις χρήσης που χρησιμοποιούν τόσο τα σύνολα δεδομένων ζωντανής όσο και ιστορικής. Το Live χρησιμοποιείται για την αντιμετώπιση προβλημάτων και το ιστορικό για την αναφορά τάσεων.

Από το Cognos Analytics 11.1.7, η βάση δεδομένων ελέγχου έχει αυξηθεί σε 21 πίνακες. Μπορείτε να βρείτε περισσότερες πληροφορίες αλλού στη βάση δεδομένων ελέγχου, δείγματα αναφορών ελέγχου και το μοντέλο Framework Manager. Το προεπιλεγμένο επίπεδο καταγραφής είναι Ελάχιστο, αλλά μπορεί να θέλετε να χρησιμοποιήσετε το επόμενο επίπεδο, το Βασικό, για να καταγράψετε αιτήματα χρήσης, διαχείριση λογαριασμού χρήστη και χρήση χρόνου εκτέλεσης. Ένας τρόπος για να διατηρήσετε την απόδοση του συστήματος είναι να διατηρήσετε το επίπεδο καταγραφής στο χαμηλότερο επίπεδο που απαιτείται. Προφανώς, όσο περισσότερη καταγραφή γίνεται από τον διακομιστή, τόσο μεγαλύτερη συνολική απόδοση του διακομιστή μπορεί να επηρεαστεί.

Οι βασικοί πίνακες που θα ενδιαφέρουν τους περισσότερους διαχειριστές είναι οι 6 πίνακες που καταγράφουν τη δραστηριότητα χρήστη και τη δραστηριότητα αναφοράς στο σύστημα.

  • COGIPF_USERLOGON: Αποθηκεύει πληροφορίες σύνδεσης χρήστη (συμπεριλαμβανομένης της αποσύνδεσης)
  • COGIPF_RUNREPORT: Αποθηκεύει πληροφορίες σχετικά με τις εκτελέσεις αναφορών
  • COGIPF_VIEWREPORT: Αποθηκεύει πληροφορίες σχετικά με αιτήματα προβολής αναφοράς
  • COGIPF_EDITQUERY: Αποθηκεύει πληροφορίες σχετικά με τις εκτελέσεις ερωτημάτων
  • COGIPF_RUNJOB: Αποθηκεύει πληροφορίες σχετικά με αιτήματα εργασίας
  • COGIPF_ACTION: Καταγράφει ενέργειες χρηστών στο Cognos (αυτός ο πίνακας μπορεί να αναπτυχθεί πολύ πιο γρήγορα από τους άλλους)

Η διαμόρφωση εκτός συσκευής μοιάζει με αυτήν:

Προεπιλεγμένη διαμόρφωση ελέγχου

Προτεινόμενη διαμόρφωση:

Συνιστώμενη διαμόρφωση ελέγχου

Η βάση δεδομένων Cognos Audit - Live περιέχει 1 εβδομάδα δεδομένων ελέγχου. Τα δεδομένα παλαιότερα από 1 εβδομάδα μεταφέρονται στη βάση δεδομένων Cognos Audit - Historical.

Η γραμμή από τη βάση δεδομένων Cognos Audit - Live to Cognos Audit Database - Ιστορική στο διάγραμμα είναι υπεύθυνη για:

  • Αντιγραφή δεδομένων από τον Ζωντανό Έλεγχο στον Ιστορικό Έλεγχο
  • Καταργήστε όλες τις σειρές στο Live Audit που είναι παλαιότερες από 1 εβδομάδα
  • Καταργήστε όλες τις σειρές στον Ιστορικό έλεγχο που είναι παλαιότερες από x χρόνια
  • Καταργήστε όλες τις σειρές στο COGIPF_ACTION που είναι παλαιότερες των 6 μηνών

Δείκτες

Διαφορετικοί τύποι βάσεων δεδομένων έχουν διαφορετικούς τύπους ευρετηρίασης. Ένα ευρετήριο βάσης δεδομένων είναι μια δομή δεδομένων, που σχετίζεται με έναν πίνακα (ή προβολή), που χρησιμοποιείται για τη βελτίωση του χρόνου εκτέλεσης ερωτημάτων κατά την ανάκτηση των δεδομένων από αυτόν τον πίνακα (ή προβολή). Συνεργαστείτε με το DBA για να δημιουργήσετε τη βέλτιστη στρατηγική. Θα θέλουν να γνωρίζουν τις απαντήσεις σε ερωτήσεις όπως αυτές για να πάρουν τις καλύτερες αποφάσεις σχετικά με τις στήλες που θα ευρετηριάσουν. Προφανώς, ο διαχειριστής της βάσης δεδομένων θα μπορούσε να μάθει τις απαντήσεις σε ορισμένες ή όλες αυτές τις ερωτήσεις χωρίς τη βοήθειά σας, αλλά θα χρειαστεί κάποια έρευνα και λίγος χρόνος:

  • Πόσους δίσκους έχουν οι πίνακες και σε τι μέγεθος περιμένετε να μεγαλώσουν; (Η ευρετηρίαση ενός πίνακα δεν θα είναι χρήσιμη εκτός εάν ο πίνακας έχει μεγάλο αριθμό εγγραφών.)
  • Γνωρίζετε ποιες στήλες είναι μοναδικές; Επιτρέπουν τιμές NULL; Ποιες στήλες έχουν τύπο δεδομένων ακέραιο ή μεγάλο ακέραιο; (Οι στήλες με αριθμητικούς τύπους δεδομένων και που είναι ΜΟΝΑΔΙΚΕΣ και ΟΧΙ NULL είναι ισχυροί υποψήφιοι για συμμετοχή στο κλειδί ευρετηρίου.)
  • Πού βρίσκονται τα κύρια προβλήματα απόδοσης σήμερα; Αναζητούν τα δεδομένα; Υπάρχουν συγκεκριμένα ερωτήματα ή αναφορές που είναι περισσότερο πρόβλημα; (Αυτό μπορεί να οδηγήσει τον διαχειριστή της βάσης δεδομένων σε ορισμένες συγκεκριμένες στήλες που μπορούν να βελτιστοποιηθούν.)
  • Ποια πεδία χρησιμοποιούνται για τη συγχώνευση πινάκων για αναφορά;
  • Ποια πεδία χρησιμοποιούνται για φιλτράρισμα, ταξινόμηση, ομαδοποίηση και συγκέντρωση;

Δεν αποτελεί έκπληξη το γεγονός ότι αυτές είναι οι ίδιες ερωτήσεις που θα πρέπει να απαντηθούν για τη βελτίωση της απόδοσης οποιωνδήποτε πινάκων βάσεων δεδομένων.

Υποστήριξη IBM συνιστά δημιουργία ευρετηρίου στις στήλες "COGIPF_REQUESTID", "COGIPF_SUBREQUESTID" και "COGIPF_STEPID" για τους παρακάτω πίνακες για βελτίωση της απόδοσης:

  • COGIPF_NATIVEQUERY
  • COGIPF_RUNJOB
  • COGIPF_RUNJOBSTEP
  • COGIPF_RUNREPORT
  • COGIPF_EDITQUERY

Συν σε άλλους λιγότερο χρησιμοποιημένους πίνακες:

  • COGIPF_POWERPLAY
  • COGIPF_HUMANTASKSERVICE
  • COGIPF_HUMANTASKSERVICE_DETAIL

Μπορείτε να το χρησιμοποιήσετε ως σημείο εκκίνησης, αλλά θα περάσω από την άσκηση της απάντησης στις παραπάνω ερωτήσεις για να φτάσω στην καλύτερη απάντηση για τον οργανισμό σας.

άλλα θέματα

  1. Έλεγχος μοντέλου FM. Θυμηθείτε ότι το μοντέλο Framework Manager που παρέχει η IBM είναι μοντελοποιημένο στους προεπιλεγμένους πίνακες και πεδία. Τυχόν αλλαγές που κάνετε στους πίνακες αναφοράς θα πρέπει να αντικατοπτρίζονται στο μοντέλο. Η ευκολία ή η πολυπλοκότητα αυτών των αλλαγών - ή η οργανωτική σας ικανότητα να κάνετε αυτές τις αλλαγές - μπορεί να επηρεάσει τη λύση που θα επιλέξετε.
  2. Πρόσθετα πεδία. Εάν πρόκειται να το κάνετε, τώρα είναι η ώρα να προσθέσετε επιπλέον πεδία για δεδομένα περιβάλλοντος ή αναφοράς για να βελτιώσετε τις αναφορές ελέγχου.
  3. Συνοπτικοί πίνακες. Αντί να αντιγράψετε απλώς τα δεδομένα στον ιστορικό πίνακα, συμπιέστε τα. Θα μπορούσατε να συγκεντρώσετε τα δεδομένα στο ημερήσιο επίπεδο για να τα κάνετε πιο αποτελεσματικά για την αναφορά.
  4. Προβολές αντί για πίνακες. Άλλοι λένε, «Έτσι, αντί να έχετε μια« τρέχουσα »βάση δεδομένων και μια« ιστορική »βάση δεδομένων, θα πρέπει να έχετε μόνο μία βάση δεδομένων και όλοι οι πίνακες σε αυτήν θα πρέπει να έχουν πρόθεμα με το« ιστορικό ». Στη συνέχεια, θα πρέπει να δημιουργήσετε ένα σύνολο προβολών, μία για κάθε πίνακα που θέλετε να βλέπετε ως «τρέχουσα» και κάθε προβολή να φιλτράρει τις ιστορικές σειρές που δεν θέλετε να δείτε και να αφήσετε να περάσουν μόνο οι τρέχουσες. »
    https://softwareengineering.stackexchange.com/questions/276395/two-database-architecture-operational-and-historical/276419#276419

Συμπέρασμα

Το συμπέρασμα είναι ότι με τις πληροφορίες που παρέχονται εδώ θα πρέπει να είστε καλά προετοιμασμένοι για να έχετε μια παραγωγική συνομιλία με το DBA σας. Οι πιθανότητες είναι καλές ότι έχει λύσει παρόμοια προβλήματα στο παρελθόν.

Οι προτεινόμενες αλλαγές στην αρχιτεκτονική βάσης δεδομένων Cognos Audit θα βελτιώσουν την απόδοση τόσο στις άμεσες αναφορές όσο και στις εφαρμογές τρίτων που βασίζονται σε αυτήν, όπως Motio'S ReportCard και Απογραφή.

Παρεμπιπτόντως, αν είχατε αυτή τη συνομιλία με το DBA σας, θα θέλαμε να το ακούσουμε. Θα θέλαμε επίσης να ακούσουμε αν έχετε λύσει το ζήτημα μιας Βάσης Δεδομένων Ελέγχου με κακή απόδοση και πώς το κάνατε.

ΕλεγκτικάBI/Analytics
Είστε έτοιμοι για έλεγχο;

Είστε έτοιμοι για έλεγχο;

Είστε έτοιμοι για έλεγχο; Συγγραφείς: Ki James και John Boyer Όταν διαβάσατε για πρώτη φορά τον τίτλο αυτού του άρθρου, πιθανότατα ανατρίχιασατε και αμέσως σκεφτήκατε τον οικονομικό έλεγχο. Αυτά μπορεί να είναι τρομακτικά, αλλά τι γίνεται με τους ελέγχους συμμόρφωσης; Είστε έτοιμοι για μια...

Δείτε Περισσότερα

ΕλεγκτικάBI/Analytics
Υπάρχει μια τρύπα στο Sox σας; (Συμμόρφωση)

Υπάρχει μια τρύπα στο Sox σας; (Συμμόρφωση)

Analytics και Sarbanes-Oxley Διαχείριση συμμόρφωσης SOX με εργαλεία αυτοεξυπηρέτησης BI όπως τα Qlik, Tableau και PowerBI Το επόμενο έτος η SOX θα είναι αρκετά μεγάλη για να αγοράσει μπύρα στο Τέξας. Δημιουργήθηκε από τον «Νόμο για τη Μεταρρύθμιση της Λογιστικής των Δημοσίων Επιχειρήσεων και την Προστασία των Επενδυτών»,...

Δείτε Περισσότερα