مدونة Cognos Auditing - نصائح وحيل للبيئات الكبيرة والعالية الحجم

مدونة جون بوير ومايك نوريس.

المُقدّمة

من المهم أن تعمل قدرة Cognos Auditing على معرفة وفهم كيفية استخدام Cognos من قِبل مجتمع المستخدمين لديك والمساعدة في الإجابة على أسئلة مثل:

• • من يستخدم النظام؟
  • ما التقارير التي يقومون بتشغيلها؟
  • ما هي أوقات تشغيل التقرير؟
  • بمساعدة أدوات أخرى ، مثل MotioCI، ما هو المحتوى غير المستخدم؟

بالنظر إلى مدى أهمية الحفاظ على بيئات Cognos Analytics الصحية ، فمن المدهش أنه لم يتم كتابة سوى القليل عن قاعدة بيانات التدقيق الخاصة بها بخلاف وثائق المنتج القياسية. ربما يعتبر هذا أمرًا مفروغًا منه ، لكن المؤسسات التي تستخدمه تعلم أنه بمرور الوقت سيبدأ الاستعلام عن جداول قاعدة بيانات التدقيق في التباطؤ - خاصةً إذا كان لدى مؤسستك الكثير من المستخدمين الذين يشغلون الكثير من التقارير ولديها الكثير من المحفوظات. ما هو أكثر من ذلك هو أن تسجيل نشاط التدقيق نفسه قد يتأخر لأنه يتم وضعه في قائمة الانتظار عندما لا يمكن إضافته إلى قاعدة البيانات بسرعة كافية ، على سبيل المثال. هذا عندما تبدأ في التفكير في أداء قاعدة البيانات كما تفعل مع أي قاعدة بيانات تشغيلية لها متطلبات إعداد التقارير.

عادةً ما تبطئ الجداول الكبيرة أداء الاستعلام. كلما زاد حجم الجدول ، كلما استغرق الإدراج والاستعلام وقتًا أطول. تذكر أن هذه الجداول وقاعدة بيانات المراجعة هي أساسًا قاعدة بيانات تشغيلية ؛ تحدث عمليات الكتابة بشكل متكرر وتعمل ضدنا حيث لا يمكننا تركيزها على عمليات القراءة فقط كما تفعل مع سوق البيانات.

تمامًا مثل متجر المحتوى ، يجب أن تأخذ صحة بيئة Cognos في الاعتبار أيضًا صحة قاعدة بيانات التدقيق. يمكن أن يصبح النمو غير المحدود لقاعدة بيانات التدقيق مشكلة بمرور الوقت وقد يؤثر في النهاية على الأداء العام لبيئة Cognos. في العديد من المنظمات ذات اللوائح الخارجية المفروضة عليها ، قد يؤدي عدم وجود سجل تدقيق كامل إلى وضعها في حالة عدم امتثال مع تداعيات كبيرة. إذن ، كيف نتعامل مع الاضطرار إلى الاحتفاظ بقدر كبير من البيانات لأغراض التدقيق التاريخية - في بعض الحالات حتى 10 سنوات - ومع ذلك ما زلنا نحصل على التقارير التي نحتاجها للحفاظ على البيئة وإبقاء المستخدمين سعداء بالأداء؟

التحدي

• • يؤثر النمو غير المحدود لقاعدة بيانات التدقيق سلبًا على صحة بيئة Cognos
  • أصبح الإبلاغ عن قاعدة بيانات التدقيق بطيئًا أو غير قابل للاستخدام
  • تواجه Cognos تأخيرات في كتابة السجلات في قاعدة بيانات التدقيق
  • مساحة القرص على "قاعدة بيانات التدوين" تنفد

كل هذا يعني أنه ليس فقط التقارير التي تعتمد على قاعدة بيانات المراجعة هي التي تعاني ، ولكن غالبًا ما تعاني النظام بأكمله. إذا كانت Audit Database على نفس وحدة الخدمة مثل مخزن محتوى Cognos ، فسوف يتأثر أداء كل أشياء Cognos في هذه البيئة.

إعداد

نحن نفترض:

1. 1. تم تثبيت Cognos Analytics وتشغيله
   2. تم تكوين Cognos لتسجيل الدخول إلى قاعدة بيانات التدقيق
   1. • لديك قاعدة بيانات تدقيق في المكان
      • قم بتعيين مستويات تسجيل التدقيق المناسبة في إدارة Cognos
      • تقوم Cognos بكتابة السجل إلى قاعدة البيانات
   3. قاعدة بيانات التدقيق قيد الاستخدام منذ أكثر من عام
   4. البيئة نشطة للغاية مع المستخدمين وعمليات التنفيذ
   5. يتم استخدام حزمة التدقيق لعرض بيانات استخدام Cognos
   6. نحن نتطلع إلى تحسين أداء تقارير قاعدة بيانات التدقيق
   7. البدء من جديد أو حذف السجلات القديمة ليس دائمًا خيارًا

إذا لم تقم بعد ، بتثبيت وتهيئة Cognos Audit ، فإن Lodestar Solutions ، a Motio شريك ممتاز بريد.. اعلاني حول تمكين التدقيق في Cognos BI / CA.

نقدم الحلول الذكية

هناك بعض الحلول الممكنة التي تقدم نفسها بسرعة:

1. 1. تقليل حجم البيانات من خلال:
   1. • نقل بعض البيانات القديمة إلى قاعدة بيانات أخرى
      • نقل بعض البيانات القديمة إلى جدول آخر في نفس قاعدة البيانات
   2. مجرد حذف أو قوسhive بعض البيانات ولا تقلق بشأنها
   3. تعود عليها. ركل العلبة أسفل road ودفع مسؤول قاعدة البيانات للأداء
      تحسينات أثناء تقييدهم من خلال عدم السماح بإجراء تعديلات على المخطط أو
      الفهارس

لن نتعامل مع الخيار 3. الخيار 2 ، حذف البيانات ، ليس خيارًا جيدًا وأنا أوصي بالاحتفاظ بقيمة 18 شهرًا على الأقل كحد أدنى. ولكن ، إذا كنت تميل إلى هذا الحد ، فإن شركة IBM توفر أداة مساعدة ، التدقيق (Cognos BI) أو أ سيناريو (Cognos Analytics) التي ستفعل ذلك بالضبط. تحذف الأداة المساعدة لـ Cognos BI السجلات بناءً على طابع زمني بينما تقوم البرامج النصية لـ Cognos Analytics بحذف الفهارس والجداول فقط.

كانت التوصيات التي قدمناها للعملاء في السابق بشأن هذا هي الفصل في قاعدتي بيانات:

1. 1. تدقيق - مباشر: يحتوي على أحدث بيانات الأسبوع
   2. تدقيق - تاريخي: يحتوي على بيانات تاريخية (تصل إلى N سنة)

باختصار ، يتم تشغيل العملية أسبوعيًا لنقل أحدث السجلات من Audit Live إلى Audit Historical. يبدأ Audit Live من جديد كجدول فارغ بعد تشغيل هذه العملية.

1. 1. تتميز قاعدة بيانات Live DB بالسرعة والضيق ، مما يسمح بإجراء عمليات الإدخال بأسرع ما يمكن
   2. يتم توجيه استعلامات التدقيق حصريًا إلى قاعدة البيانات التاريخية

باستخدام هذا الأسلوب ، لا يوجد "تجميع" ضمني للبيانات الحية والبيانات التاريخية. أود أن أزعم أنك ربما تريد الاحتفاظ بها على هذا النحو.

في Cognos Administration ، يمكنك إضافة اتصالين مختلفين لمصدر بيانات التدقيق. عندما يقوم المستخدم بتشغيل تقرير مقابل حزمة التدقيق ، تتم مطالبتهم بالاتصال الذي يريدون استخدامه:

إذا كنت ترغب في إلقاء نظرة على بيانات التدقيق المباشر بدلاً من بيانات التدقيق التاريخية ، فما عليك سوى اختيار اتصال "تدقيق - مباشر" عند مطالبتك بذلك (يجب أن يكون الاستثناء وليس القاعدة.)

إذا كنت تريد حقًا تقديم عرض موحد لكل من Live و Historical ، فيمكنك القيام بذلك ، ولكنه سيؤثر على الأداء.

على سبيل المثال ، يمكنك إنشاء قاعدة بيانات ثالثة تسمى "تدقيق - عرض موحد" وبعد ذلك ، لكل جدول في مخطط التدقيق: قم بإنشاء طريقة عرض تحمل نفس الاسم وهي اتحاد SQL بين الجدول في قاعدة البيانات الحية والجدول في DB التاريخية. وبالمثل ، يمكن تحقيق ذلك أيضًا في نموذج مدير الإطار ، ولكن ، مرة أخرى ، سيكون الأداء أحد الاعتبارات الرئيسية.

قام بعض عملائنا بإنشاء عرض موحد. في رأينا أن هذا من المحتمل أن يكون مبالغة. سيكون الأداء دائمًا أسوأ في طريقة العرض الموحدة هذه ولم نواجه العديد من حالات الاستخدام التي تستخدم كل من مجموعات البيانات الحية والتاريخية. يتم استخدام Live لاستكشاف الأخطاء وإصلاحها والتاريخية لتقارير الاتجاه.

اعتبارًا من Cognos Analytics 11.1.7 ، نمت قاعدة بيانات التدقيق إلى 21 جدولًا. يمكنك العثور على مزيد من المعلومات في مكان آخر حول قاعدة بيانات التدقيق ونموذج تقارير التدقيق ونموذج Framework Manager. مستوى التسجيل الافتراضي هو الحد الأدنى ، ولكن قد ترغب في استخدام المستوى التالي ، الأساسي ، لالتقاط طلبات الاستخدام وإدارة حساب المستخدم واستخدام وقت التشغيل. إحدى الطرق التي يمكنك من خلالها الحفاظ على أداء النظام هي الحفاظ على مستوى التسجيل عند أدنى مستوى مطلوب. من الواضح أنه كلما زاد عدد عمليات التسجيل التي يقوم بها الخادم ، يمكن أن يتأثر أداء الخادم بشكل عام.

الجداول الرئيسية التي سيهتم بها معظم المسؤولين هي الجداول الستة التي تسجل نشاط المستخدم ونشاط التقارير في النظام.

• COGIPF_USERLOGON: يخزن معلومات تسجيل دخول المستخدم (بما في ذلك تسجيل الخروج)
• COGIPF_RUNREPORT: يخزن معلومات حول تنفيذ التقرير
• COGIPF_VIEWREPORT: يخزن معلومات حول طلبات عرض التقرير
• COGIPF_EDITQUERY: يخزن معلومات حول عمليات تشغيل الاستعلام
• COGIPF_RUNJOB: يخزن معلومات حول طلبات العمل
• COGIPF_ACTION: يسجل إجراءات المستخدم في Cognos (قد ينمو هذا الجدول بسرعة أكبر بكثير من الجداول الأخرى)

يبدو التكوين الجاهز للخارج كما يلي:

التكوين الموصى به:

تحتوي Cognos Audit Database - Live على بيانات تدقيق مدتها أسبوع واحد. يتم نقل البيانات الأقدم من أسبوع واحد إلى Cognos Audit Database - التاريخية.

السطر من Cognos Audit Database - Live to Cognos Audit Database - تاريخي في الرسم التخطيطي مسؤول عن:

• نسخ البيانات من تدقيق مباشر إلى تدقيق تاريخي
• قم بإزالة كافة الصفوف التي مضى عليها أكثر من أسبوع واحد في Live Audit
• قم بإزالة كافة الصفوف في "التدقيق التاريخي" التي يزيد عمرها عن x سنة
• قم بإزالة كافة الصفوف في COGIPF_ACTION التي مضى عليها أكثر من 6 أشهر

الفهارس

أنواع قواعد البيانات المختلفة لها أنواع فهرسة مختلفة. فهرس قاعدة البيانات هو بنية بيانات مرتبطة بجدول (أو عرض) ، تُستخدم لتحسين وقت تنفيذ الاستعلامات عند استرداد البيانات من هذا الجدول (أو العرض). اعمل مع DBA الخاص بك لإنشاء الإستراتيجية المثلى. سيرغبون في معرفة الإجابات على أسئلة مثل هذه لاتخاذ أفضل القرارات بشأن الأعمدة التي سيتم فهرستها. من الواضح ، يمكن لمسؤول قاعدة البيانات العثور على إجابات لبعض أو كل هذه الأسئلة دون مساعدتك ، لكن الأمر سيستغرق بعض البحث وبعض الوقت:

• كم عدد السجلات الموجودة في الجداول وإلى أي حجم تتوقع أن تنمو؟ (لن تكون فهرسة الجدول مفيدة إلا إذا كان الجدول يحتوي على عدد كبير من السجلات.)
• هل تعرف أي الأعمدة فريدة من نوعها؟ هل يسمحون بالقيم الفارغة؟ ما الأعمدة التي تحتوي على نوع بيانات من عدد صحيح أو عدد صحيح كبير؟ (تعتبر الأعمدة ذات أنواع البيانات الرقمية الفريدة وغير الفارغة من المرشحين الأقوياء للمشاركة في مفتاح الفهرس.)
• أين مشاكل الأداء الرئيسية الخاصة بك اليوم؟ هل هم في استرجاع البيانات؟ هل هناك استفسارات أو تقارير محددة تمثل مشكلة أكبر؟ (قد يؤدي ذلك بمسؤول قاعدة البيانات إلى بعض الأعمدة المحددة التي يمكن تحسينها.)
• ما هي الحقول المستخدمة في ضم الجداول للتقرير؟
• ما الحقول المستخدمة للتصفية والفرز والتجميع والتجميع؟

ليس من المستغرب أن هذه هي نفس الأسئلة التي تحتاج إلى إجابة لتحسين أداء أي جداول قاعدة بيانات.

دعم IBM توصي إنشاء فهرس بالأعمدة "COGIPF_REQUESTID" و "COGIPF_SUBREQUESTID" و "COGIPF_STEPID" للجداول التالية لتحسين الأداء:

• COGIPF_NATIVEQUERY
• COGIPF_RUNJOB
• COGIPF_RUNJOBSTEP
• COGIPF_RUNREPORT
• COGIPF_EDITQUERY

بالإضافة إلى الطاولات الأخرى الأقل استخدامًا:

• COGIPF_POWERPLAY
• COGIPF_HUMANTASKSERVICE
• COGIPF_HUMANTASKSERVICE_DETAIL

يمكنك استخدام هذا كنقطة بداية ، لكنني سأمر بممارسة الإجابة على الأسئلة أعلاه للوصول إلى أفضل إجابة لمؤسستك.

اعتبارات أخرى

1. نموذج FM للتدقيق. تذكر أن نموذج Framework Manager الذي توفره شركة IBM مصمم على غرار الجداول والحقول الافتراضية. يجب أن تنعكس أي تغييرات تجريها على جداول التقارير في النموذج. قد تؤثر سهولة أو تعقيد هذه التغييرات - أو كفاءتك التنظيمية لإجراء هذه التغييرات - على الحل الذي تختاره.
2. حقول إضافية. إذا كنت ستفعل ذلك ، فقد حان الوقت الآن لإضافة حقول إضافية للسياق أو البيانات المرجعية لتحسين تقارير التدقيق.
3. جداول الملخص. بدلاً من مجرد نسخ البيانات إلى جدولك التاريخي ، قم بضغطها. يمكنك تجميع البيانات على مستوى اليوم لجعلها أكثر كفاءة لإعداد التقارير.
4. طرق العرض بدلاً من الجداول. يقول آخرون ، "لذا ، بدلاً من وجود قاعدة بيانات" حالية "وقاعدة بيانات" تاريخية "، يجب أن يكون لديك قاعدة بيانات واحدة فقط ، ويجب أن تُسبَق جميع الجداول الموجودة بها بـ" التاريخية ". بعد ذلك ، يجب عليك إنشاء مجموعة من طرق العرض ، واحدة لكل جدول تريد رؤيته على أنه "حالي" ، وجعل كل طريقة عرض تقوم بتصفية الصفوف التاريخية التي لا تريد رؤيتها والسماح فقط للصفوف الحالية بالمرور ".
   https://softwareengineering.stackexchange.com/questions/276395/two-database-architecture-operational-and-historical/276419#276419

وفي الختام

خلاصة القول هي أنه مع المعلومات المقدمة هنا ، يجب أن تكون مستعدًا جيدًا لإجراء محادثة مثمرة مع مسؤول قاعدة البيانات الخاص بك. هناك احتمالات جيدة بأنها قد حلت مشاكل مماثلة من قبل.

ستعمل التغييرات المقترحة في بنية قاعدة بيانات تدقيق Cognos على تحسين الأداء في كل من التقارير المباشرة وتطبيقات الطرف الثالث التي تعتمد عليها ، مثل Motioالصورة ReportCard والمخزون.

بالمناسبة ، إذا كنت قد أجريت تلك المحادثة مع DBA الخاص بك ، فنحن نحب أن نسمع عنها. نود أيضًا معرفة ما إذا كنت قد قمت بحل مشكلة قاعدة بيانات التدقيق ذات الأداء الضعيف وكيف قمت بذلك.