Blog di Auditazione Cognos - Cunsiglii è Trucchi per Ambienti Grandi è Alti Volumi

by Chì 17, 2021Auditingmissaghji 0

Un blog di John Boyer è Mike Norris.

I MUVRINI

Hè impurtante di avè a capacità di Auditoria Cognos chì travaglia per cunnosce è capisce cumu Cognos hè adupratu da a vostra comunità d'utilizatori è aiutà à risponde à e dumande cum'è:

    • Quale hè chì utilizza u sistema?
    • Chì raporti stanu currendu?
    • Chì sò i tempi di esecuzione di u rapportu?
    • Cù l'aiutu di altri strumenti, cume MotioCI, chì cuntenutu hè inutilizatu?

Cunsiderendu quantu hè criticu di mantene ambienti sani di Cognos Analytics, sorprendentemente pocu hè statu scrittu annantu à a so basa di dati di cuntrollu al di là di a documentazione standard di u pruduttu. Forse, hè datu per scontu, ma l'urganisazioni chì l'utilizanu sanu chì cù u tempu interrugà e tavule di a basa di dati di cuntrollu cumincierà à rallentà - soprattuttu se a vostra urganizazione hà assai utilizatori chì currenu assai rapporti è hà assai storia. In più, l'attività di cuntrollu di registrazione stessa pò esse ritardata perchè hè in coda quandu ùn pò micca esse aghjuntu à a basa di dati abbastanza prestu, per esempiu. Eccu quandu cuminciate à pensà à e prestazioni di a basa di dati cum'è avete da fà cù qualsiasi basa di dati operativi chì hà esigenze di segnalazione.

Grandi tavuli tipicamente rallentanu e prestazioni di query. Più grande hè a tavula, più si impiega per inserisce è dumandà. Arricurdatevi chì ste tavule è a basa di dati di cuntrollu sò in fondu una basa di dati operativa; i scritti accadenu spessu è travaglianu contr'à noi perchè ùn li pudemu micca focalizà per leghje solu operazioni cum'è si feria cù un data mart.

À u listessu modu cum'è u magazinu di cuntenutu, a salute di l'ambiente Cognos deve ancu piglià in contu a salute di a basa di dati di cuntrollu. A crescita illimitata di a basa di dati di cuntrollu pò diventà un prublema cù u tempu è pò infine ancu influenzà a prestazione generale di un ambiente Cognos. In parechje urganizazioni cù regulamenti esterni pusati nantu à elli, ùn avè micca un registru di cuntrollu cumpletu pò sbarcalli in una situazione di non conformità cù ripercussioni pesanti. Allora cumu trattemu d'avè da tene tanti dati per scopi di cuntrollu storicu - in certi casi finu à 10 anni - eppuru ottenemu sempre a segnalazione chì avemu bisognu per mantene l'ambiente è tene l'utenti felici cù e prestazioni?

U sfida

    • A crescita illimitata di a basa di dati di cuntrollu hà un impattu negativu nantu à a salute di l'ambiente Cognos
    • A segnalazione fora di a basa di dati di cuntrollu hè diventata lenta o inutilizabile
    • Cognos sperimenta ritardi in i registri scritti in a basa di dati di cuntrollu
    • A basa di dati di cuntrollu hè senza spaziu di discu

Tuttu què significa chì ùn sò micca solu i rapporti chì si basanu nantu à a basa di dati di cuntrollu chì soffrenu, ma spessu tuttu u sistema. Se a basa di dati di cuntrollu hè nantu à u listessu servitore cum'è u magazinu di cuntenutu Cognos, u rendimentu di tutte e cose Cognos serà influenzatu in questu ambiente.

U prugrammu

Assumemu:

    1. Cognos Analytics hè installatu è in esecuzione
    2. Cognos hè cunfiguratu per accede à una basa di dati di cuntrollu
        • Avè una basa di dati di cuntrollu in situ
        • Impostate i livelli di log di Audit adatti in l'amministrazione di Cognos
        • I registri sò scritti in a basa di dati da Cognos
    3. A basa di dati di cuntrollu hè in usu dapoi più di un annu
    4. L'ambiente hè assai attivu cù l'utilizatori è l'esicuzzioni
    5. U pacchettu di Verità hè adupratu per affaccà i dati d'usu di Cognos
    6. Circhemu à migliurà e prestazioni di segnalazione di a basa di dati di cuntrollu
    7. Ricumincià o sguassà vechji registri ùn hè micca sempre una opzione

Se ùn avete micca, avete ancu Cognos Audit installatu è cunfiguratu, Lodestar Solutions, a Motio cumpagnu, hà un eccellente articulu nantu à attivà l'Audit in Cognos BI / CA.

u Vergogna à tè

Ci sò qualchì suluzione pussibule chì si presentanu rapidamente:

    1. Riduce u vulume di dati da:
        • Trascendendu una parte di i vechji dati in un'altra basa di dati
        • Trascendendu alcuni di i dati più vechji in un altru tavulu in a stessa basa di dati
    2. Basta sguassà o arcuhive alcuni di i dati è ùn vi ne fate micca
    3. Campà cun ella. Calcià a lattina in ghjò road è spinghje l'amministratore di a basa di dati per u spettaculu
      megliurenze mentre li manette in mancu permettendu alterazioni di u schema o
      indices

Ùn avemu micca da trattà cù l'opzione 3. L'opzione 2, eliminendu i dati, ùn hè micca una bona opzione è vi cunsiglierebbe di mantene almenu 18 mesi 'à u minimu. Ma, sè site cusì inclinatu, IBM furnisce una utilità, AuditDBCleanup (Cognos BI) o a scrittura (Cognos Analytics) chì farà esattamente quessa. L'utilità per Cognos BI elimina registri basati annantu à un timestamp mentre i script per Cognos Analytics eliminanu solu l'indici è e tàvule.

E raccomandazioni chì avemu fattu à i clienti in precedenza nantu à questu eranu di separà in duie basi di dati:

    1. Audit - Live: cuntene i dati più recenti di a settimana
    2. Audit - Storicu: cuntene dati storichi (finu à N anni)

In breve, u prucessu si svolge settimanalmente per spostà i record più recenti da Audit Live in Audit Historical. Audit Live ricumincia cum'è una piastra in biancu dopu à sta prucedura.

    1. U Live DB hè veloce è strettu, permettendu à l'inserzioni di accade u più prestu pussibule
    2. E dumande di cuntrollu sò dirette solu à u DB storicu

Utilizendu questu approcciu, ùn ci hè micca implicitu "stitching together" di i dati Live è i dati Storichi. Diceraghju chì probabilmente vulete mantene cusì.

In Amministrazione Cognos, pudete aghjunghje duie cunnessione diverse per l'Audit Data Source. Quandu un utilizatore esegue un rapportu contr'à u pacchettu Audit, riceve a richiesta di chì cunnessione vole usà:

Basi di dati di cuntrollu

À casu chì vulete vede i dati di cuntrollu in diretta piuttostu chè i dati di cuntrollu storichi, basta à sceglie a cunnessione "Audit - Live" quandu vi hè dumandatu (duverebbe esse l'eccezione, micca a norma).

Se VRAI vulete ancu furnisce una visione cunsulidata di u Live è di u Storicu, pudete fà, ma averebbe un impattu nantu à e prestazioni.

Per esempiu, pudete esse creatu una 3a basa di dati chjamata "Audit - Vista Consolidata" è dopu, per ogni tavula in u schema Audit: create una vista identitamente chjamata chì hè una unione SQL trà a tavula in u DB in diretta è a tavula in u DB storicu. Similmente, questu puderia ancu esse uttenutu in u mudellu Framework Manager, ma, dinò, a prestazione seria una cunsiderazione chjave.

Alcuni di i nostri clienti anu creatu una vista consolidata. Hè a nostra opinione chì questu hè probabilmente eccessivu. U rendimentu seria sempre peghju in questa visione cunsulidata è ùn avemu micca scontru assai casi d'usu chì utilizanu sia i set di dati in diretta sia Storichi. U Live hè adupratu per a risoluzione di i prublemi è u Storicu per a segnalazione di tendenze.

A parte di Cognos Analytics 11.1.7, a basa di dati di cuntrollu hè cresciuta à 21 tavule. Pudete truvà più infurmazioni in altrò nantu à a basa di dati di cuntrollu, campione di rapporti di cuntrollu è u mudellu Framework Manager. U nivellu di logging predefinitu hè Minimal, ma pudete vulete usà u prossimu livello, Basic, per catturà richieste d'usu, gestione di conti d'utilizatori è usu di runtime. Un modu per mantene a prestazione di u sistema hè mantenendu u livellu di logging à u livellu più bassu richiestu. Ovviamente, più u logging hè fattu da u servitore, u più prestazione generale di u servitore pò esse affettata.

E tavule chjave chì a maiò parte di l'amministratori saranu interessate sò e 6 tavule chì registranu l'attività di l'utente è l'attività di segnalazione in u sistema.

  • COGIPF_USERLOGON: Memorizza l'infurmazioni di l'accessu di l'utilizatore (cumpresu a disconnessione)
  • COGIPF_RUNREPORT: Memorizza infurmazione nantu à l'esicuzzioni di i rapporti
  • COGIPF_VIEWREPORT: Memorizza l'infurmazioni nantu à e richieste di vista di rapportu
  • COGIPF_EDITQUERY: Memorizza l'infurmazioni nantu à e ricerche
  • COGIPF_RUNJOB: Memorizza l'infurmazioni nantu à e richieste di travagliu
  • COGIPF_ACTION: Registra l'azzioni di l'utilizatori in Cognos (sta tavula pò cresce assai più rapidamente di l'altri)

A cunfigurazione fora di a scatula pare cusì:

Configurazione di Audit Default

Cunfigurazione cunsigliata:

Cunfigurazione di Verificazione Raccomandata

A basa di dati Audit Cognos - Live cuntene 1 settimana di dati di cuntrollu. I dati più vechje di 1 settimana sò trasferiti in a Cognos Audit Database - Historical.

A linea da a basa di dati Audit Cognos - Live à Cognos Audit Database - Storica in u schema hè rispunsevule per:

  • Copia di dati da Audit Live in Auditu Storicu
  • Elimina tutte e file in l'Audit Live chì sò più vechje di 1 settimana
  • Elimina tutte e file in Auditu Storicu chì sò più vechje di x anni
  • Elimina tutte e file in COGIPF_ACTION chì sò più vechje di 6 mesi

Indices

Diversi tipi di basa di dati anu diverse tipi d'indexazione. Un indice di basa di dati hè una struttura di dati, assuciata à una Tabella (o Vista), aduprata per migliurà u tempu di esecuzione di e dumande quandu si recuperanu i dati da quella tavula (o Vista). Travagliate cù u vostru DBA per creà a strategia ottima. Vuleranu cunnosce e risposte à e dumande cume queste per piglià e decisioni megliu nantu à chì colonne da indizià. Ovviamente, l'amministratore di a basa di dati puderia truvà e risposte à alcune o tutte queste dumande senza u vostru aiutu, ma ci vuleria qualchì ricerca è qualchì tempu:

  • Quantu registri anu e tavule è à chì dimensione li aspettate di cresce? (L'indexazione di una tavula ùn serà micca utile a menu chì a tavula abbia un gran numeru di registri.)
  • Sapete chì colonne sò uniche? Permettenu valori NULL? Chì colonne anu un tipu di dati di numeru numeru interu o grande? (E colonne cù tippi di dati numerichi è chì sò UNIQUE è NOT NULL sò forti candidati à participà à a chjave d'indice.)
  • Induve sò i vostri prublemi principali di prestazione oghje? Sò in recuperu di i dati? Ci sò dumande specifiche o rapporti chì sò più di un prublema? (Questu pò guidà l'amministratore di a basa di dati à alcune colonne specifiche chì ponu esse ottimizate.)
  • Chì campi sò aduprati per riunisce e tavule per segnalà?
  • Chì campi sò aduprati per filtrà, sorte, raggruppà è aggregà?

No sorpresa, queste sò e listesse dumande chì avianu bisognu di risponde per migliorà e prestazioni di qualsiasi tavule di basa di dati.

Supportu IBM ricumanda creendu un indice nantu à e culonne "COGIPF_REQUESTID", "COGIPF_SUBREQUESTID", è "COGIPF_STEPID" per e seguenti tavule per migliurà e prestazioni:

  • COGIPF_NATIVEQUERY
  • COGIPF_RUNJOB
  • COGIPF_RUNJOBSTEP
  • COGIPF_RUNREPORT
  • COGIPF_EDITQUERY

Plus nantu à altre tavule menu usate:

  • COGIPF_POWERPLAY
  • COGIPF_HUMANTTASKSERVICE
  • COGIPF_HUMANTASKSERVICE_DETAIL

Pudete aduprà questu cume un puntu di partenza, ma passeraghju per l'eserciziu di risponde à e dumande sopra per ghjunghje à a migliore risposta per a vostra urganizazione.

Altri Saggio

  1. Verificà u mudellu FM. Arricurdatevi chì u mudellu Framework Manager chì IBM furnisce hè mudellatu annantu à e tavule è i campi predefiniti. Ogni cambiamentu chì fate à e tavule di segnalazione duverà esse riflessu in u mudellu. A facilità o a cumplessità di sti cambiamenti - o a vostra cumpetenza organizzativa per fà questi cambiamenti - ponu influenzà a soluzione chì sceglite.
  2. Campi addiziunali. Se avete da fà, hè ora u mumentu di aghjunghje campi addiziunali per u cuntestu o dati di riferimentu per migliurà a segnalazione di l'auditu.
  3. Tabelle riassuntive. Invece di copià solu i dati à a vostra tavula storica, cumpressate. Puderete aggregà i dati à u livellu di u ghjornu per renderli più efficiente per a segnalazione.
  4. Viste invece di tavule. Altri dicenu: "Dunque, invece di avè una basa di dati" attuale "è una basa di dati" storica ", duvete avè una sola basa di dati, è tutte e tavule in questu duveranu esse prefissate cù" storiche ". Dopu, duverete creà un inseme di viste, una per ogni tavula chì vulete vede cum'è «attuale», è chì ogni vista filtressi e file storiche chì ùn vulete micca vede è lascia passà solu quelli attuali. "
    https://softwareengineering.stackexchange.com/questions/276395/two-database-architecture-operational-and-historical/276419#276419

cunchiusioni

U fondu hè chì cù l'infurmazioni furnite quì duvete esse bè preparatu per avè una conversazione pruduttiva cù u vostru DBA. A probabilità hè bona chì ella abbia risoltu prublemi simili prima.

I cambiamenti pruposti in l'architettura di Cognos Audit Database miglioreranu e prestazioni sia in a segnalazione diretta sia in l'applicazioni di terze parti chì si basanu nantu à ella, cume Motio's ReportCard è Inventariu.

A propositu, se avete avutu quella conversazione cù u vostru DBA, ci piacerebbe sentene parlà. Ci piacerebbe ancu sente se avete risolvutu u prublema di una basa di dati di cuntrollu male performante è cumu l'avete fattu.