1. แนวคิดของประเด็นหลัก1.1 การสังเคราะห์งานวิจัย เป็นการหาข้อสรุปจากงานวิจัยหลายๆเรื่องที่จะศึกษาในปัญหาเดียวกัน เทคนิคการสังเคราะห์งานวิจัยที่ได้รับความสนใจในขณะนี้ คือ การสังเคราะห์งานวิจัยเชิงปริมาณ ซึ่งเทคนิคที่ใช้ คือ การวิเคราะห์เมตา (Meta-analysis) และการสังเคราะห์งานวิจัยเชิงคุณภาพ
1.2 การสังเคราะห์งานวิจัย มีกระบวนการดำเนินงานเช่นเดียวกับการดำเนินวิจัยทั่วไป โดยแบ่งเป็น 5 ขั้นตอน คือ ขั้นการกำหนดปัญหา ขั้นการศึกษาเอกสารที่เกี่ยวข้องกับการวิจัย ขั้นดำเนินการสังเคราะห์งานวิจัย ขั้นการวิเคราะห์ข้อมูล และขั้นการเสนอผลการสังเคราะห์งานวิจัย
1.3 กรณีตัวอย่างการสังเคราะห์งานวิจัย ทำให้ผู้ที่ต้องการสังเคราะห์งานวิจัยได้เห็นกระบวนการสังเคราะห์งานวิจัย ตลอดจนได้ข้อสรุปจากข้อค้นพบของการสังเคราะห์งานวิจัย
2.ความจำเป็นต้องมีการสังเคราะห์งานวิจัย เนื่องจากปัจจุบันสถาบันการศึกษา หน่วยงานต่างๆทั้งภาครัฐและเอกชน ตระหนักถึงความสำคัญของการวิจัยและการทำวิจัยมากขึ้น เพื่อนำผลไปใช้ในการวางแผน ปรับปรุงงานด้านต่างๆ รวมทั้งงานวิจัยของนิสิตนักศึกษา ระดับบัณฑิตศึกษาซึ่งเป็นส่วนหนึ่งของการศึกษา จึงส่งผลให้งานวิจัยจำนวนมากที่ศึกษาในปัญหาเดียวกันอาจแตกต่างในเรื่องของกลุ่มตัวอย่าง วิธีการวิจัย ผลการวิจัยจึงมีทั้งสอดคล้องหรือขัดแย้งกัน จึงทำให้ผู้วิจัยที่ต้องการทำวิจัยสืบเนื่อง หรือนำผลการวิจัยไปใช้ไม่สามารถหาข้อยุติได้ จึงจำเป็นต้องหาวิธีการที่เหมาะสมเพื่อสังเคราะห์ข้อสรุปจากงานวิจัยที่มีอยู่
3.วิธีการสังเคราะห์งานวิจัย การสังเคราะห์งานวิจัยสามารถทำได้ 2 วิธี คือ การสังเคราะห์งานวิจัยเชิงคุณภาพ (Qualitative synthesis) และการสังเคราะห์งานวิจัยเชิงปริมาณ (Quantitative synthesis)
3.1 วิธีการสังเคราะห์งานวิจัยเชิงคุณภาพ เป็นการบรรยายสรุปข้อค้นพบที่ได้จากงานวิจัย แต่ละเรื่อง โดยบรรยายให้เห็นถึงความสัมพันธ์ และความขัดแย้งระหว่างผลการวิจัย เป็นวิธีการที่ใช้ได้กับการสังเคราะห์งานวิจัยทั้งการวิจัยเชิงปริมาณและการวิจัยเชิงคุณภาพ วิธีนี้นอกจากจะใช้ได้กับการวิจัยแล้ว ยังเป็นวิธีการที่ใช้กันมากในการเขียนรายงานการวิจัยที่เกี่ยวข้อง โดยการรวบรวมงานวิจัยที่ศึกษาในเรื่องเดียวกัน แล้วบรรยายเกี่ยวกับวิธีการและข้อค้นพบที่ได้จากงานวิจัยแต่ละเรื่องและข้อสรุปข้อค้นพบที่ได้ วิธีการนี้เป็นวิธีการที่ง่ายและเป็นวิธีที่ใช้กันมาก
การสังเคราะห์งานวิจัยเชิงคุณภาพส่วนใหญ่ใช้สถิติพรรณนาในการวิเคราะห์คุณลักษณะ ของงานวิจัยและใช้การวิเคราะห์เนื้อหา (Content analysis) ในการสรุปข้อค้นพบจากงานวิจัย ตัวอย่างงานวิจัยใช้วิธีการวิเคราะห์เนื้อหา เช่น เรื่องการสังเคราะห์งานวิจัยทางด้านหลักสูตร (มาเรียม นิลพันธุ์ 2543)
ขั้นตอนการสังเคราะห์งานวิจัย มีดังนี้1. อ่านและทำความเข้าใจรายงานการวิจัยที่จะนำมาสังเคราะห์
2. วางกรอบการจัดหมวดหมู่งานวิจัยและจัดแยกสาระงานวิจัยตามหมวดหมู่ที่กำหนด
3. วิเคราะห์เนื้อหา รายงานการวิจัยแต่ละกลุ่ม ให้ได้ข้อสรุปตามหลักการสังเคราะห์งานวิจัยและเปรียบเทียบให้เห็นว่าผลการวิจัยในแต่ละกลุ่มสอดคล้องหรือขัดแย้งกันอย่างไร
วิธีการสังเคราะห์งานวิจัยเชิงคุณภาพดังกล่าวข้างต้น เป็นวิธีการสังเคราะห์แบบเดิมที่ยังไม่มีระบบ การสังเคราะห์ซ้ำอาจจะทำให้ได้ผลเหมือนเดิมได้ยาก โนบลิท และแฮร์ (Noblit and Hare,1988) ได้เสนอแนวคิดในการสังเคราะห์งานวิจัยเชิงคุณภาพอีกรูปแบบหนึ่งที่เรียกว่า
การวิจัยชาติพันธุ์วรรณนาอภิมาน โดยมีขั้นตอนในการดำเนินงาน 7 ขั้นตอน ดังนี้ (นงลักษณ์ วิรัชชัย 2542:120-121)
ขั้นตอนที่ 1 ขั้นเริ่มต้น การดำเนินงานขั้นตอนนี้เป็นแบบเดียวกับการดำเนินการวิจัยทั่วๆไป
นักวิจัยต้องกำหนดปัญหาวิจัยที่ต้องการศึกษา แสวงหาคำตอบ ลักษณะปัญหาวิจัยควรเป็นปัญหาที่มีคำถามประเภท ทำไม อย่างไร มีกระบวนการเป็นขั้นตอน หรือเปลี่ยนแปลงเป็นแบบใดบ้าง รวมทั้งต้องสามารถอธิบายได้ว่าปัญหาวิจัยนั้นมีความสำคัญในเชิงวิชาการ และในภาคปฏิบัติอย่างไร
ขั้นตอนที่ 2 ขั้นตัดสินใจเรื่องงานวิจัยที่จำนำมาสังเคราะห์
การดำเนินงานขั้นตอนนี้เทียบเคียงได้กับการเลือกกรณีศึกษาสำหรับกรณีศึกษาสำหรับการวิจัยเชิงคุณภาพ นักวิจัยอาจพิจารณาเลือกเฉพาะงานวิจัยที่มีคุณค่า มีประเด็นที่ควรค่าแก่การศึกษาและตีความ
ขั้นตอนที่ 3 ขั้นอ่านงานวิจัย
ขั้นตอนนี้นักวิจัยต้องอ่านและทำความเข้าใจเนื้อหาสาระใน
งานวิจัยที่นำมาวิเคราะห์ โดยอ่านซ้ำๆ แต่ยังไม่ต้องมีการตีความ หรือเปรียบเทียบ จุดประสงค์ ของการอ่าน คือ การทำความรู้จัก ทำความเข้าใจรายละเอียดของงานวิจัยให้ทะลุปรุโปร่ง
ขั้นตอนที่ 4 ขั้นกำหนดกรอบแสดงความสัมพันธ์เชื่อมโยงระหว่างงานวิจัยที่นำมาสังเคราะห์
ในขั้นตอนนี้นักวิจัยต้องพัฒนากรอบแสดงความเกี่ยวข้องระหว่างงานวิจัยแต่ละเรื่อง โดยจับประเด็นหลัก สังกัปแนวคิด วิธีการ ผลการวิจัย จากงานวิจัยแต่ละเรื่องมาเทียบเคียงกัน นอกจากนี้ยังอาจพิจารณาจากประโยคคำ วลี เพื่อหาความหมายที่เปรียบเทียบกันได้ด้วย
ขั้นตอนที่ 5 ขั้นแปลความหมายหรือตีความเทียบเคียงระหว่างงานวิจัย
การดำเนินการขั้นตอนนี้คล้ายกับการนำแนวคิด สังกัปจากงานวิจัยเรื่องหนึ่งไปใช้กับงานวิจัยอีกเรื่องหนึ่ง แล้วนำผลที่น่าจะได้รับมาเปรียบเทียบกัน การดำเนินงานขั้นตอนนี้มีความสำคัญมาก การแปลความหมายหรือการตีความทำได้เป็น 3 แบบ คือ การแปลความหมายเทียบกลับไปกลับมา (Reciprocal translation) การแปลความหมายเชิงหักล้าง (reputational translation) และการแปลความเพื่อเสนอประเด็นการโต้แย้งหรือการถกแถลง (build a line-of-argument)
ขั้นตอนที่ 6 ขั้นสังเคราะห์การแปลความหมาย
ขั้นตอนนี้นักวิจัยนำผลการแปลความหมาย ทั้งหมดมาสังเคราะห์ ลักษณะการสังเคราะห์จะได้ข้อความรู้ที่เป็นภาพรวมของงานวิจัยทุกเรื่อง มีความกว้างขวาง และความลึกซึ้งมากเกินกว่าที่จะได้รับจากงานวิจัยแต่ละเรื่อง ผลการสังเคราะห์ในส่วนนี้เป็นแบบเดียวกับหลักการสังเคราะห์งานวิจัยในการวิเคราะห์อภิมาน
ขั้นตอนที่ 7 ขั้นการสรุปและรายงานผลการสังเคราะห์
งานขั้นตอนนี้เป็นแบบเดียวกับการนำเสนอ รายงานการวิจัยโดยทั่วไป
3.2 วิธีการสังเคราะห์งานวิจัยเชิงปริมาณ เป็นวิธีการที่นำมาใช้ในการสังเคราะห์งานวิจัย ซึ่งสามารถทำได้หลายวิธี ดังเช่น
3.2.1 วิธีการนับคะแนนเสียง (Voting method) เป็นการแจงนับความถี่ของผลการวิจัย โดยแบ่งออกเป็นกลุ่มตามผลที่ได้จากการทดสอบสมมติฐาน คือ
ก. ผลจากการทดสอบสมมติฐานมีนัยสำคัญทางสถิติและค่าสถิติจากการทดสอบเป็นบวก
ข. ผลการทดสอบสมมติฐานมีนัยสำคัญทางสถิติ และค่าสถิติจากการทดสอบเป็นลบ
ค. ผลการทดสอบสมมติฐานไม่มีนัยสำคัญทางสถิติ
ในการศึกษาพิจารณาว่างานวิจัยได้จำแนกไว้ในกลุ่มใดกลุ่มหนึ่งมากที่สุดตามผลการทดสอบสมมติฐานทั้ง 3 ลักษณะแล้ว ก็จะได้ข้อสรุปเป็นไปตามนั้น ถึงแม้ว่าวิธีการนี้จะเป็นวิธีการที่ค่อนข้างมาตรฐานกว่าวิธีการสังเคราะห์งานวิจัยเชิงคุณภาพก็ตาม แต่วีการนี้ก็มีข้อจำกัด คือ ในการที่มีตัวแปรตามสมมติฐานของตัวแปรตามอีกตัวหนึ่งพบว่าไม่มีนัยสำคัญทางสถิติ นอกจากนี้ยังมีข้อจำกัดอื่นๆ คือ วิธีนี้ไม่ได้พิจารณาถึงความคลาดเคลื่อนจากการสุ่มและจากการวัด
จากวิธีการนับคะแนนเสียงดังกล่าวข้างต้น นอกจากจะมีข้อจำกัดดังกล่าวแล้ว ประการสำคัญของวิธีการนับคะแนนเสียง คือ ไม่ได้มีการศึกษาความสัมพันธ์ระหว่างตัวแปร ดังนั้น การพิจารณาขนาดของความสัมพันธ์ระหว่างตัวแปรจำเป็นต้องใช้วีการวิเคราะห์ที่ดีกว่า นั่นคือ วิธีการที่เรียกว่า การวิเคราะห์เมตา (Meta-analysis) คำว่า การวิเคราะห์เมตา มีคำภาษาไทยที่ใช้ได้แตกต่างกัน เช่น การวิเคราะห์อภิมาน การอภิวิเคราะห์ การวิเคราะห์รวมผล แต่ในแนวการศึกษาฉบับนี้จะใช้คำวิการวิเคราะห์เมตา
3.2.2 วิธีการวิเคราะห์เมตา เป็นวิธีการที่กลาสได้กล่าวถึงปี ค.ศ. 1976 และให้ความหมาย ของการวิเคราะห์เมตาว่า เป็นการนำวิธีการทางสถิติมาวิเคราะห์โดยมีจุดมุ่งหมายเพื่อหาข้อสรุปจากงานวิจัยหลายๆเรื่องที่ศึกษาปัญหาวิจัยเดียวกัน จากความหมายของกลาสในการวิเคราะห์เมตาจะประกอบด้วย 1) การค้นหางานวิจัย 2) การอธิบายลักษณะงานวิจัยในเชิงปริมาณ 3)การหาค่าของผลการวิจัยจากการวิจัยกับขนาดอิทธิพล ดังนั้นข้อมูลที่นำมาสังเคราะห์ ได้แก่ คุณลักษณะงานวิจัย (research characteristics) และผลการวิจัย (research outcomes)
สำหรับการวิเคราะห์เมตา ดัชนีมาตรฐานมี 2 ประเภท แยกตามประเภทของการวิจัย คือ 1. การวิจัยเชิงทดลอง (experimental research) ดัชนีมาตรฐานที่ใช้คือ ขนาดอิทธิพล
(Effect Size ใช้ตัวย่อว่า ES หรือ D )
2. การวิจัยเชิงสหสัมพันธ์ (correlation research) ดัชนีมาตรฐานที่ใช้คือ สัมประสิทธิ์
สหสัมพันธ์ (correlation coefficient ใช้ตัวย่อว่า r )
1. การคำนวณขนาดอิทธิพล จากการวิจัยเชิงทดลองโดยการวิเคราะห์เมตา
ในการวิเคราะห์เมตานั้นมีหลายแนวคิด แต่ในแนวการศึกษานี้จะขอกล่าวถึงการวิเคราะห์เมตาตามแนวคิดของกลาส (Glass) การวิเคราะห์เมตาตามแนวคิดของฮันเตอร์ และชมิดท์ (Hunter and Schmidt) และการวิเคราะห์เมตาตามแนวคิดของเฮดเจส และฮอลคิน (Hedges and Olkin)
1.1 การวิเคราะห์เมตาตามแนวคิดของกลาสคำว่า ขนาดอิทธิพล (Effect Size :ES) กลาสได้ให้นิยามอยู่บนพื้นฐานแนวคิดว่าเป็นความจริงแตกต่างระหว่างค่าเฉลี่ยของกลุ่มทดลอง ( ) และค่าเฉลี่ยของกลุ่มควบคุม ( ) หารด้วยส่วนเบี่ยงเบนมาตรฐานของกลุ่มควบคุม (Sc)
1.2 การวิเคราะห์เมตาตามแนวคิดของฮันเตอร์และชมิดท์ การหาดัชนีมาตรฐานที่ใช้แทนค่าขนาดอิทธิพลตามแนวคิดของฮันเตอร์และชมิดท์นั้น แตกต่างจากของกลาสตรงที่ว่า ฮันเตอร์และชมิดท์มีความเชื่อว่าค่าขนาดอิทธิพลน่าจะเป็นผลมาจากความคลาดเคลื่อนด้วย เพราะฉะนั้นในการที่จะทราบค่าขนาดอิทธิพลที่แท้จริงจะต้องขจัดความคลาดเคลื่อนออกไปจากค่าขนาดอิทธิพล ซึ่งความคลาดเคลื่อนดังกล่าวประกอบด้วย ความคลาดเคลื่อนจากการสุ่ม (Sampling error) ความคลาดเคลื่อนจากการวัด (error of measurement) และความแตกต่างของพิสัย (range variation)
1.3 การวิเคราะห์เมตาตามแนวความคิดของเฮดเจสและออลคิน เฮดเจสและออลคินได้เสนอแนวความคิดในการวิเคราะห์เมตาในปี ค.ศ.1985 วิธีการของเขามีชื่อเรียกว่า วิธีการทางสถิติแนวใหม่สำหรับการวิเคราะห์เมตา (Modern statistical method for meta-analysis)
กระบวนการสังเคราะห์งานวิจัย การสังเคราะห์งานวิจัยด้วยวิธีการวิเคราะห์เมตามีขั้นตอนเหมือนกับการวิจัยโดยทั่วไปซึ่งประกอบด้วย
1. การกำหนดปัญหาวิจัย
การกำหนดปัญหาวิจัยของการสังเคราะห์งานวิจัย มีวิธีการกำหนดปัญหาเช่นเดียวกับปัญหาวิจัยโดยทั่วไป เนื่องจากคำว่า “ปัญหาวิจัย” ก็คือข้อสงสัยที่ยังหาข้อสรุปไม่ได้ ฉะนั้นปัญหาวิจัยของการสังเคราะห์งานวิจัยก็คือ สิ่งที่ยังเป็นข้อสงสัยที่ยังหาข้อสรุปไม่ได้เช่นเดียวกัน เนื่องจากในปัจจุบันมีงานวิจัยเพิ่มขึ้นเรื่อยๆ และงานวิจัยดังกล่าวส่วนใหญ่จะศึกษาตัวแปรที่มีลักษณะเหมือนกันหรือตัวแปรเดียวกัน แต่ศึกษาจากกลุ่มตัวอย่างที่แตกต่างกัน เพราะฉะนั้นผลการวิจัยจึงมีทั้งสอดคล้องกันและขัดแย้งกัน ซึ่งข้อสรุปดังกล่าวยังไม่มีข้อยุติ และผู้ที่จะนำผลการวิจัยดังกล่าวไปใช้ก็ไม่สามารถจะนำผลไปใช้ได้ เมื่อกำหนดปัญหาวิจัยแล้วจะต้องกำหนดวัตถุประสงค์ของการวิจัย
2. การศึกษาเอกสารและงานวิจัยที่เกี่ยวข้อง
ในการวิจัยโดยใช้วิธีการสังเคราะห์งานวิจัยก็มีลักษณะเหมือนกับการวิจัยโดยทั่วไป กล่าวคือหลังจากผู้วิจัยได้ทราบถึงปัญหาที่จะทำการวิจัยแล้ว สิ่งที่ผู้วิจัยควรดำเนินการต่อไปก็คือศึกษาปัญหาที่จะทำการวิจัยอย่างรอบคอบ โดยการศึกษาจากทฤษฎีและงานวิจัยที่เกี่ยวข้องกับปัญหาการวิจัย ทั้งนี้เพื่อช่วยให้ปัญหาการวิจัยชัดเจนขึ้นและจะได้เป็นแนวทางในการกำหนดขอบเขตการวิจัยและสมมติฐานการวิจัยต่อไป
3. การดำเนินการสังเคราะห์งานวิจัย
ในหัวข้อนี้จะกล่าวถึงการเก็บรวบรวมข้อมูลเพื่อการวิเคราะห์เมตา ซึ่งประกอบด้วย
3.1 การเสาะค้นงานวิจัย หลังจากที่ผู้วิจัยกำหนดปัญหาและวิเคราะห์การวิจัยที่จะสังเคราะห์งานวิจัยแล้ว สิ่งที่ผู้วิจัยจะต้องดำเนินการต่อไปคือ การเสาะค้นงานวิจัยที่เกี่ยวข้องกับปัญหาการวิจัยนั้นๆ ซึ่งกลาส (Glass,1981:62-63) ได้กล่าวถึงแหล่งเสาะค้นงานวิจัยที่จะนำมาวิเคราะห์เมตาว่าแบ่งออกเป็น 2 ประเภท คือ
ก.แหล่งปฐมภูมิ (primary sources) หมายถึงแหล่งที่ผู้วิจัยจะเก็บข้อมูลวิจัยจาก
งานวิจัยนั้นโดยตรง อันได้แก่ รายงานการวิจัยที่พิมพ์เผยแพร่เป็นเล่ม และพิมพ์เผยแพร่ในวารสารต่างๆ วิทยานิพนธ์หรือปริญญานิพนธ์ของนิสิตและนักศึกษา รายงานการวิจัยของหน่วยงานต่างๆ ตลอดจนงานประชุมสัมมนาเกี่ยวกับการวิจัย และอื่นๆ เป็นต้น
ข.แหล่งทุติยภูมิ (Secondary sources) หมายถึงแหล่งข้อมูลที่ผู้วิจัยไม่ได้เก็บข้อมูลผลการวิจัยจากรายงานการวิจัยนั้นโดยตรง แต่เป็นข้อมูลผลการวิจัยที่ผู้วิจัยเก็บรวบรวมจากรายงานสรุป และในวารสารต่างๆ อันได้แก่ Review of Educational Research, Sociological Review, Abstracts in Anthropology, Dissertation Abstracts International, Educational Index, Psychological Abstracts, Sociological Abstracts เป็นต้น
3.2 การคัดเลือกงานวิจัย หลังจากที่ผู้วิจัยได้เสาะค้นหางานวิจัยจากแหล่งต่างๆ ไม่ว่าจะเป็นแหล่งปฐมภูมิหรือแหล่งทุติยภูมิแล้ว สิ่งที่ผู้วิจัยจะต้องดำเนินการต่อไปก็คือ การคัดเลือกงานวิจัย ซึ่งมีอยู่หลายวิธี เช่น เลือกมาทั้งหมด ใช้วิธีการสุ่มมา ใช้วิธีการคัดเลือก อย่างไรก็ตาม ไลท์ (Light and Pillemer,1984:31-38) ได้ให้ข้อสังเกตเกี่ยวกับการคัดเลือกงานวิจัยในกรณีที่เลือกมาทั้งหมด กับการเลือกเฉพาะผลงานที่มีการพิมพ์ ดังนี้
ก. การเลือกมาทั้งหมด วิธีนี้เป็นวิธีที่ง่ายที่สุด กล่าวคือ เป็นการรวบรวมผลการวิจัยทุกเรื่องเท่าที่จะหาได้ ทั้งงานวิจัยที่มีการพิมพ์และงานวิจัยที่ไม่มีการพิมพ์ วิทยานิพนธ์ระดับปริญญาโทและเอก รายงานการวิจัยเท่าที่จะหาได้จากองค์กรต่างๆ เช่น Rand Operation, Urban Institute และสถาบันวิทยาศาสตร์แห่งชาติ วิธีนี้สามารถทำให้หลีกเลี่ยงการเลือกเรื่องที่จะนำมาศึกษาหรือการตัดสินใจที่ว่าทำไมจึงเลือกบางเรื่องมาศึกษา
ข. การเลือกเฉพาะผลงานที่มีการตีพิมพ์ วิธีนี้เป็นการนำเสนอเฉพาะผลงานที่มีการตีพิมพ์ เท่านั้นมารวมเข้าไว้ด้วยกัน ซึ่งในกรณีเช่นนี้ไม่ได้หมายความถึงเฉพาะวิทยานิพนธ์และเอกสารการประชุมเท่านั้น เนื่องจากสิ่งเหล่านี้มีอยู่ในห้องสมุดและสามารถหาได้แทบทุกแห่ง การไม่นำรายงานที่ไม่มีการตีพิมพ์มาพิจารณาจะเป็นการทุ่นเวลา งบประมาณ และยังสามารถควบคุมคุณภาพของงานวิจัยได้ด้วย
แต่การคัดเลือกงานวิจัยเฉพาะที่มีการตีพิมพ์มาเสนอนั้นก็มีผู้ตั้งข้อสังเกตเกี่ยวกับเรื่องนี้ คือ โรเซนทาล (Rosenthal, 1978 อ้างถึงใน Light and Pillemer, 1984) ได้เขียนบทความเกี่ยวกับสิ่งตีพิมพ์ที่มีความลำเอียง โดยสรุปว่าผลงานวิจัยที่นำมาอ้างในวารสารจะเป็นผลงานวิจัยที่มีการตีพิมพ์ ก็จะมีการยอมรับมากกว่าข้อค้นพบที่ไม่มีนัยสำคัญทางสถิติ ดังนั้นในการคัดเลือกงานวิจัย ถ้าผู้วิจัยคัดเลือกเฉพาะผลงานวิจัยที่มีการตีพิมพ์ ก็จะทำให้ผลที่ได้สูงกว่าความเป็นจริง ซึ่งในเรื่องนี้ สมิธ (Smith, 1980 อ้างถึงใน Light and Pillemer,1984) ได้ศึกษาผลงานวิจัย 10 เรื่องที่เสนอในวารสารกับผลงานวิจัยที่ได้มาจากแหล่งอื่นๆ ผลปรากฏว่าค่าที่ได้จากผลงานวิจัย หากเลือกเฉพาะผลงานวิจัยที่มีการตีพิมพ์จะทำให้ได้ข้อสรุปที่มีความคลาดเคลื่อนได้ ดังนั้นจึงควรหันมาพิจารณาเอกสารอื่นๆที่ไม่มีการตีพิมพ์ แต่เป็นสิ่งที่มีคุณค่ายิ่ง เนื่องจากการรวบรวมผลงานวิจัยจากแหล่งต่างๆ โดยละเว้นผลงานที่ไม่มีการตีพิมพ์ จะทำให้ข้อสรุปที่ได้จาการศึกษามีความลำเอียงไปโดยปริยาย
อย่างไรก็ตาม ในการคัดเลือกงานวิจัย ไม่ว่าผู้วิจัยจะคัดเลือกโดยวิธีใดก็ตาม ผู้วิจัยจะต้องตรวจสอบคุณภาพของงานวิจัยก่อนว่ามีคุณภาพมากน้อยเพียงใด ซึ่ง อุทุมพร จามรมาน (2527:22) ได้เสนอเกณฑ์การประเมินงานวิจัย ดังนี้
1) ความชัดเจนในปัญหาวิจัย สมมติฐาน ข้อตกลง ความจำกัดของการวิจัย ความไม่สมบูรณ์ของการวิจัย
2) คำจำกัดความที่ใช้ในรายงานได้รับการระบุอย่างชัดเจนหรือไม่
3) การออกแบบการวิจัยมีการบรรยายอย่างครบถ้วนและถูกต้องหรือไม่
4) ประชากร กลุ่มตัวอย่าง และการสุ่มตัวอย่าง ถูกต้องหรือไม่
5) เครื่องมือวิจัยมีความเที่ยงตรงหรือไม่
6) เทคนิคการรวบรวมข้อมูลเหมาะสมกับงานวิจัยครั้งนี้
7) เทคนิคการวิเคราะห์ข้อมูล ถูกต้อง เหมาะสม ตรงตามกระบวนการข้อมูลตัวแปร และวัตถุประสงค์การวิจัยหรือไม่
8) การเสนอผลวิจัยครบถ้วน ไม่ลำเอียง และถูกต้อง
9) การสรุปผลวิจัยชัดเจน ถูกต้อง ครบถ้วน และอ่านง่าย
3.3 การรวบรวมผลงานวิจัยและการลงรหัสข้อมูล หลังจากที่ผู้วิจัยได้เลือกงานวิจัยโดยใช้เกณฑ์การประเมินงานวิจัยแล้ว สิ่งที่ผู้วิจัยต้องดำเนินการต่อไป คือ การรวบรวมผลงานวิจัย โดยการศึกษางานวิจัยอย่างละเอียด เพื่อนำค่าสถิติต่างๆ ซึ่งเป็นข้อค้นพบจากงานวิจัยทุกเรื่องไปวิเคราะห์เมตา ในการรวบรวมผลงานวิจัย ผู้วิจัยจะต้องสร้างเครื่องมือในการเก็บรวบรวมข้อมูลจากรายงานการวิจัย โดยทั่วไปแล้วเครื่องมือที่ใช้ในการเก็บรวบรวมผลงานวิจัยหรือที่เรียกว่า แบบสรุปงานวิจัย จะประกอบด้วย 1) ข้อมูลเกี่ยวกับคุณลักษณะของงานวิจัย ได้แก่ ชื่อผู้วิจัย ชื่องานวิจัย ปีที่พิมพ์ สถาบันที่ทำการวิจัย เนื้อเรื่องที่ทำวิจัย สมมติฐาน ตัวแปร กลุ่มตัวอย่าง วิธีการเลือกกลุ่มตัวอย่าง เครื่องมือการวิจัย การตรวจสอบคุณภาพเครื่องมือ สถิติที่ใช้ในการวิเคราะห์ข้อมูล 2) ข้อมูลเกี่ยวกับผลการวิจัย ได้แก่ ค่าสถิติต่างๆ
4. การวิเคราะห์ข้อมูล ในการวิเคราะห์ข้อมูลของงานวิจัยโดยทั่วไป ข้อมูลที่นำมาวิเคราะห์จะเป็นข้อมูลที่ได้จากการวัดหรือการสังเกต ซึ่งอยู่ในรูปของคะแนน แต่ในการวิเคราะห์เมตานั้น สำหรับการวิจัยเชิงทดลองข้อมูลที่ใช้ในการวิเคราะห์ คือ ค่าดัชนีมาตรฐาน เรียกว่า ค่าขนาดอิทธิพล (Effect Size) ใช้ตัวย่อว่า E.S. หรือ d แต่ถ้าเป็นการวิจัยเชิงสหสัมพันธ์ ค่าดัชนีมาตรฐานที่ได้ คือ ค่าสัมประสิทธิ์สหสัมพันธ์ใช้ตัวย่อว่า r
5. การเสนอผลการสังเคราะห์งานวิจัย ในขั้นนี้เป็นการสรุปผลการวิเคราะห์และจัดทำรายงาน สำหรับการสรุปผลการวิเคราะห์นอกจากจะต้องมีการสรุปผล การอภิปรายผลเชื่อมโยงผลการวิจัยกับความรู้ในอดีต และความรู้ทางทฤษฏีแล้ว ยังต้องให้ข้อเสนอแนะเชิงนโยบายและข้อเสนอแนะทางวิชาการด้วย และผลการวิเคราะห์ต้องให้ข้อค้นพบที่ลึกซึ้งเหนือชั้นกว่างานวิจัยแต่ละเรื่องที่นำมาสังเคราะห์ และข้อสรุปรวมทั้งข้อเสนอแนะต้องมีความกว้างขวางโดยทั่วไป (generality) มากกว่างานวิจัยปกติ (นงลักษณ์ วิรัชชัย 2542:98-99)
