Development of Indicators and Criterias to Assess Performance of Primary Care Pharmacy for Sub-district Primary Care

Abstract

Introduction: Indicators and criteria used for evaluating performance of primary care pharmacy (PCP) for sub-district primary care are formulated by several policy makers but they have some limitations and are difficult to use. No evidence has been found to prove whether such indicators and criteria have been developed systematically. This study aims to develop appropriate indicators and criteria for evaluation of primary care pharmacy for sub-district primary care.

Materials and Methods: This study was divided into 4 phases, phases 1 Review indicators and criteria for evaluation of PCP operations in Thailand Phase 2 Analysis and selection of indicators and criteria for evaluating PCP operations for sub-district primary care. The selected indicators and criteria are in accordance with the primary pharmacy framework and the IPO model evaluation concept by specifying 3 indicators: inputs, processes, and outputs to produce (draft) indicators and criteria for evaluation of primary pharmacy operations for sub-district primary care. Phase 3 evaluation of appropriateness of indicators and evaluation criteria by Modified Delphi Technique , evaluated by 14 experts. Phase 4 Piloting to use the developed indicators and criteria, conducted by a practitioner responsible for PCP of 117 health promotion hospital.

Results: The draft of indicators and criteria were assessed twice experts. Most indicators and criteria were agreed to be appropriate but the evaluation criteria of indicator 5.8, namely ‘participation of community networks in order to solve problems regarding consumer protection locally’, had the interquartile range below 1.50 with diverse opinions of experts, resulted in being removed from the final draft. Eventually, 24 indicators with 4 levels of evaluation criteria were considered as appropriate: 9 input indicators, 12 process indicators and 3 output indicators. From the pilot survey to evaluate performance of primary care unit, sixty questionnaire were returned and usable (response rate as of 75%) The results showed that 63.6% (56 units) of health promotion hospitals passed. Discrimination analysis by independent t-test showed that p-value was <0.05, indicating discriminative power. Each indicator found that Cronbach's alpha coefficient of each indicator was above 0.3 and overall Cronbach alpha coefficient was as of 0.908, confirming reliability of the tool. Pearson correlation coefficient was as of 0.41, indicating moderate relation with the current tool used by policy makers.

Conclusion: Appropriate indicators for evaluation of PCP in primary care include 24 indicators with 4 levels of evaluation criteria. These indicators and criteria were developed systematically, correlated to primary care pharmacy, and can potentially be used in practice.

บทนำ: ตัวชี้วัดและเกณฑ์ที่ใช้ในประเมินผลการดำเนินงานเภสัชกรรมปฐมภูมิสำหรับหน่วยบริการปฐมภูมิระดับตำบลนั้น ถูกกำหนดโดยหลายหน่วยงาน แต่มีข้อจำกัดหลายประการทำให้ใช้งานได้ยาก รวมถึงไม่พบหลักฐานเกี่ยวกับการพัฒนาตัวชี้วัดและเกณฑ์ดังกล่าวที่เป็นระบบ การวิจัยนี้มีวัตถุประสงค์เพื่อการพัฒนาตัวชี้วัดและเกณฑ์การประเมินผลการดำเนินงานเภสัชกรรมปฐมภูมิสำหรับหน่วยบริการปฐมภูมิที่มีความเหมาะสม การดำเนินงานวิจัยแบ่งออกเป็น 4 ระยะ ได้แก่ ระยะที่ 1 ทบทวนตัวชี้วัดและเกณฑ์การประเมินผลการดำนเนินงานเภสัชกรรมปฐมภูมิในประเทศไทย ระยะที่ 2 การวิเคราะห์และคัดเลือกตัวชี้วัดและเกณฑ์ประเมินผลการดำเนินงานเภสัชกรรมปฐมภูมิสำหรับsน่วยบริการปฐมภูมิระดับตำบล โดยตัวชี้วัดและเกณฑ์ที่คัดเลือกเป็นไปตามกรอบการดำเนินงานเภสัชกรรมปฐมภูมิและแนวคิดการประเมินผลแบบ IPO model โดยกำหนดให้มีตัวชี้วัด 3 ประเภท ได้แก่ ปัจจัยนำเข้า (input) กระบวนการ (process) และปัจจัยผลผลิต (output) เพื่อจัดทำ (ร่าง) ตัวชี้วัดและเกณฑ์การประเมินผลการดำเนินงานเภสัชกรรมปฐมภูมิสำหรับหน่วยบริการปฐมภูมิระดับตำบล ระยะที่ 3 การพิจารณาความเหมาะสมของ(ร่าง)ตัวชี้วัดและเกณฑ์การประเมินผลด้วยวิธีเดลฟายแบบปรับปรุง กลุ่มตัวอย่างคือผู้เชี่ยวชาญ 14 คน และระยะที่ 4 การทดลองประเมินผลการดำเนินงานด้วยตัวชี้วัดและเกณฑ์ที่พัฒนาขึ้น กลุ่มตัวอย่าง คือ เจ้าหน้าที่จากหน่วยบริการปฐมภูมิจังหวัดยโสธรที่รับผิดชอบงานเภสัชกรรมปฐมภูมิ จำนวน 117 แห่ง ผลการวิจัย: (ร่าง)ตัวชี้วัดและเกณฑ์การประเมินนั้นผ่านการพิจารณาโดยผู้เชี่ยวชาญ 2 รอบ พบว่าผู้เชี่ยวชาญมีความเห็นพ้องต้องกันต่อตัวชี้วัดและเกณฑ์ส่วนใหญ่ แต่เกณฑ์ประเมินของตัวชี้วัดที่ 5.8 ซึ่งเกี่ยวกับ “การมีส่วนร่วมของภาคีเครือข่ายในชุมชนในการแก้ไขปัญหาการคุ้มครองผู้บริโภคในพื้นที่” นั้นพบว่า มีพิสัยควอไทล์เกิน 1.50 และข้อเสนอแนะของผู้เชี่ยวชาญไม่เป็นไปในทิศทางเดียวกันจึงตัดตัวชี้วัดและเกณฑ์ประเมินกลุ่มนี้ออก เมื่อสิ้นสุดกระบวนการแล้วพบว่า มีตัวชี้วัดและเกณฑ์ที่เหมาะสมทั้งสิ้น 24 ตัวชี้วัดที่มีเกณฑ์การประเมินแบบ 4 ระดับคะแนน (0, 1, 2, 3) แบ่งเป็นตัวชี้วัดปัจจัยนำเข้า 9 ตัว ตัวชี้วัดกระบวนการ 12 ตัว และตัวชี้วัดผลผลิต 3 ตัว การทดลองใช้ดำเนินงานเภสัชกรรมปฐมภูมิตามตัวชี้วัดและเกณฑ์ในการประเมินหน่วยบริการนั้น พบว่ามีแบบสอบถามที่ตอบกลับมาและใช้ได้จำนวน 60 ชุด (คิดเป็นอัตราตอบกลับร้อยละ 75) มีหน่วยบริการที่ผ่านเกณฑ์ประเมิน ร้อยละ 63.6 (56 แห่ง) ผลการวิเคราะห์อำนาจจำแนกด้วยสถิติ t test พบว่า p-value มีค่า <0.05 แสดงว่าตัวชี้วัดและเกณฑ์ที่พัฒนาขั้นมีอำนาจจำแนกที่ดี ผลการวิเคราะห์ความเที่ยงโดยการหาความสอดคล้องภายในของตัวชี้วัดแต่ละข้อพบว่าสัมประสิทธิ์แอลฟา (Alpha - Coefficient) ของครอนบราค (Cronbach) ของแต่ละตัวชี้วัดมีค่าไม่น้อยกว่า 0.3 และค่าสัมประสิทธิ์แอลฟาของภาพรวมเท่ากับ 0.908 แสดงว่าตัวชี้วัดและเกณฑ์ที่พัฒนาขั้นมีความสอดคล้องกันภายในที่ดี และผลการวิเคราะห์ความสอดคล้องกับเครื่องมืออื่นด้วยสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันมีค่า 0.41 แสดงว่ามีความสัมพันธ์กับเครื่องมืออื่นน้อย สรุป: ตัวชี้วัดที่เหมาะสมสำหรับการประเมินงานเภสัชกรรมปฐมภูมิในหน่วยบริการปฐมภูมิมีทั้งหมด 24 ตัวชี้วัดที่มีเกณฑ์การประเมินแบบ 4 ระดับคะแนน ตัวชี้วัดและเกณฑ์ประเมินที่ได้มานั้นถูกพัฒนาขึ้นอย่างเป็นระบบ มีความความสอดคล้องกับงานเภสัชกรรมปฐมภูมิ และสามารถนำไปใช้ได้จริง