Eclipse Cluster@BIOTEC

ศูนย์พันธุวิศวกรรมและเทคโนโลยีชีวภาพแห่งชาติ (National Center for Genetic Engineering and Biotechnology : BIOTEC) หรือ ไบโอเทค เป็นศูนย์วิจัยทางด้านพันธุวิศวกรรมและเทคโนโลยีชีวภาพ เป็นส่วนหนึ่งของสำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ (National Science and Technology Development Agency : NSTDA) หรือ สวทช. มีหน้าที่หลัก ในการสนับสนุนและส่งเสริมการวิจัยและพัฒนาวิศวกรรม, การพัฒนาบุคลากรด้านเทคโนโลยีชีวภาพ, การถ่ายทอดเทคโนโลยี, และการเสริมสร้างโครงสร้างพื้นฐานทางเทคโนโลยีชีวภาพ

ระบบอิคลิปส์คลัสเตอร์(Eclipse Cluster) เป็นระบบคอมพิวเตอร์คลัสเตอร์ของศูนย์พันธุวิศวกรรมและเทคโนโลยีชีวภาพแห่งชาติ ซึ่งเป็นระบบคอมพิวเตอร์คลัสเตอร์ที่มีความเร็วสูงที่สุดในประเทศไทยในปัจจุบัน(2552) ซึ่งติดตั้งอยู่ที่ สำนักงานศูนย์พันธุวิศวกรรมและเทคโนโลยีชีวภาพแห่งชาติ อุทยานวิทยาศาสตร์ประเทศไทย ซึ่งทำหน้าที่สนับสนุนการประมวลผลงานวิจัยต่าง ๆ ของทีมนักวิจัย ศูนย์พันธุวิศวกรรมและเทคโนโลยีชีวภาพแห่งชาติ เพื่อย่นย่อระยะเวลาในการประมวลผลของนักวิจัย

เนื่องจากงานวิจัยแต่ละชิ้นนั้นใช้เวลาในการประมวลผลนาน และใช้แรงในการปรมวลผลมาก ระบบ Eclipse Cluster นึ้ จึงเข้ามาช่วยตอบโจทย์ของนักวิจัย ทำให้ย่นย่อระยะเวลาในการรอผลลัพธ์จากการประมวลผลสั้นลง เพื่อให้นักวิจัยสามารถนำผลลัพธ์ที่ได้ นำกลับไปทำงานต่อได้รวดเร็วยิ่งขึ้น

ปัญหาและความท้าทายที่พบ

  • ระบบต้องรองรับ user ที่จะเข้ามาใช้งานจำนวนมากได้
  • ระบบต้องการพื้นที่จัดเก็บที่มีขนาดใหญ่มาก และมีความเร็วในการ อ่าน/เขียน สูง และสามารถรองรับผู้ใข้งานจำนวนมาก ที่จะเข้ามาใช้ระบบพร้อม ๆ กันได้
  • ต้องการให้ระบบมีความคงทนสูง (High Availability)

วิธีการแก้ปัญหา

คลัสเตอร์คิทเลือกใช้ระบบวิธีการผสานเทคโนโลยีต่าง ๆ โดยแบ่งออกเป็นส่วน ๆ ดังต่อไปนี้

  • ส่วนของระบบ cluster นั้นเราใช้ซอฟแวร์ Rocks Cluster เป็น OS สำหรับระบบคลัสเตอร์ เนื่องจากเป็น Linux distribution ที่ออกมาสำหรับใช้ในการทำระบบคลัสเตอร์โดยเฉพาะแล้วนั้น ก็ยังมีระบบจัดลำดับงาน และมีระบบจัดการที่ง่ายในการใช้งาน
  • ทำ High Availability (HA) ให้กับเครื่อง Login node และ Frontend node เพื่อให้ระบบสามารถให้บริการได้อย่างต่อเนื่อง มีระบบสำรองในการให้บริการ ทำให้ระยะเวลาการให้บริการไม่ได้ (Downtime) นั้น น้อยที่สุดเท่าที่จะเป็นไปได้
  • ส่วนให้บริการข้อมูล ใช้ระบบไฟล์แบบคลัสเตอร์ ด้วยซอฟต์แวร์ Lustre เพื่อสร้างพื้นที่จัดเก็บข้อมูลขนาดใหญ่ และเชื่อมต่อระบบเครือข่ายความเร็วสูงในระบบคลัสเตอร์ด้วย infiniband card ซึ่งมี bandwidth สูงถึง 20Gbps สามารถรองรับผู้ใช้งานจำนวนมากที่ใช้งานระบบพร้อม ๆ กันได้ โดยที่ประสิทธิภาพการอ่านเขียนข้อมูลยังอยู่ในอัตราที่มีความเร็วสูง

สภาปัตยกรรมของระบบ

A generic square placeholder image with rounded corners in a figure.
BIOTEC Logical View

ระบบอิคลิปส์คลัสเตอร์ เป็นระบบคอมพิวเตอร์ขนาด 768 คอร์ มีจำนวนเครื่องทั้งสิ้น 30 เครื่อง เชื่อมต่อกับผ่านเครือข่ายความเร็วสูง มีรายละเอียดดังนี้

  1. Frontend Node จำนวน 2 เครื่อง มีหน่วยประมวลผลเครื่องละ 8 คอร์ และมีหน่วยความจำเครื่องละ 4 GB
  2. Management Node จำนวน 2 เครื่อง มีหน่วยประมวลผลเครื่องละ 8 คอร์ และมีหน่วยความจำเครื่องละ 4 GB
  3. Compute Node จำนวน 22 เครื่อง มีหน่วยประมวลผลเครื่องละ 32 คอร์ และมีหน่วยความจำเครื่องละ 64 GB
  4. Storage Node จำนวน 4 เครื่อง มีหน่วยประมวลผลเครื่องละ 8 คอร์ และมีหน่วยความจำเครื่องละ 4 GB

ทั้งระบบมีการเชื่อมต่อเครือข่ายด้วยกัน 4 แบบ คือ

  1. Public Network เป็นเครือข่ายที่ให้ผู้ใช้ภายนอกสามารถเข้าถึงระบบจากระยะไกลได้
  2. Private Network เป็นเครือข่ายภายในระบบคอมพิวเตอร์คลัสเตอร์ซี่งแบ่งเป็นดังนี้
    1. ILOM Network เป็นเครือข่ายที่ใช้บริหารจัดการเครื่องคอมพิวเตอร์เซิร์ฟเวอร์ทั้งหมดภายในกลุ่มคลัสเตอร์
    2. Gigabit Network เป็นเครือข่ายที่ใช้ติดต่อสื่อสารกันระหว่างเครื่องคอมพิวเตอร์เซิร์ฟเวอร์ทั่งหมดภายในกลุ่มคลัสเตอร์
    3. Infiniband Network เป็นเครือข่ายความเร็วสูงใช้ติดต่อสื่อสารกันระหว่างเครื่องหน่วยประมวบผลและหน่วยจัดเก็บข้อมูล

Software

A generic square placeholder image with rounded corners in a figure.
BIOTEC Software Architecture

ระบบคลัสเตอร์ Eclipse มีอัตราการ Down Time ที่ต่ำมาก อันเนื่องมาจากมีการออกแบบ และ ปรับแต่งให้ในส่วนต่าง ๆ ของระบบ ไม่ว่าจะเป็นในส่วนของเครื่อง Frontend, Job Scheduler และเครื่อง MDS ให้มีความคงทนสูง (High Availability) โดยในแต่ละส่วนจะมีระบบสำรองที่สามารถทำงานทดแทนกันได้ทันที ในกรณีที่เครื่องหลักที่ให้บริการอยู่เกิดปัญหาไม่สามารถให้บริการใด้ ระบบสำรองก็จะทำงานแทน (Active) ได้ทันที จึงสามารถให้บริการได้อย่างต่อเนื่อง

โดยระบบ Eclipse cluster นี้ บริษัท คลัสเตอร์คิท จำกัด ได้รับความไว้วางใจจากศูนย์พันธุวิศวกรรม และเทคโนโลยีชีวภาพแห่งชาติ และบริษัท ซันไมโครซิสเต็มซ์ (ประเทศไทย) จำกัด ให้เป็นผู้ดำเนินการติดตั้งระบบคอมพิวเตอร์คลัสเตอร์ และ ซอฟต์แวร์ และทำหน้าที่ในการดูแล บำรุงรักษาระบเป็นระยะเวลา 3 ปี