LSR Profile Jan 2010 th

From WikiLSR
Jump to: navigation, search

ชื่อหน่วยปฏิบัติการ

หน่วยปฏิบัติการวิจัยการจำลองขนาดใหญ่ (LSR)

วัตถุประสงค์

เพื่อพัฒนาศักยภาพในการใช้การจำลองด้วยคอมพิวเตอร์ในการทำความเข้าใจ การสร้างนวัตกรรม และ การจัดการแก้ไขปัญหา

หน่วยปฏิบัติการวิจัยการจำลองขนาดใหญ่มุ่งสร้างขีดความสามารถในการสร้างแบบจำลองทางคอมพิวเตอร์ขนาดใหญ่ โดยมีจุดประสงค์เพื่อแก้ปัญหาที่มีผลกระทบสูง

การทำความเข้าใจ

การสร้างองค์ความรู้: การจำลองเป็นเครื่องมือสำคัญในการแสงหาองค์ความรู้ใหม่ ซึ่งจะนำไปสู่การสร้างขีดความสามารถในการพัฒนาเทคโนโลยีขั้นสูง การสร้างขีดความสามารถในการแข่งขัน และ คุณภาพชีวิตของประชาชน

การสร้างนวัตกรรม

การออกแบบทางวิศวกรรม: การจำลองเป็นเครื่องมือสำคัญสำหรับการออกแบบทางวิศวกรรม เพื่อสร้างผลิตภัณฑ์ใหม่ และ ปรับปรุงคุณภาพ เพิ่มขีดความสามารถของผลิตภัณฑ์ที่มีอยู่แล้ว รวมถึงการปรับปรุงประสิทธิภาพและคุณภาพของกระบวนการผลิต

การจัดการแก้ไขปัญหา

การจำลองเป็นเครื่องมือสำคัญในการจัดการ และ แก้ไขปัญหาที่มีความซับซ้อน เช่น ปัญหาสิ่งแวดล้อม และ ภัยธรรมชาติ เนื่องจากการจำลองสามารถทำนายผลของปัจจัยต่างๆ ที่เกี่ยวข้องกับปัญหา

ความเป็นมา

ก่อนหน้านี้ หน่วยปฏิบัติการวิจัยการจำลองขนาดใหญ่ เป็นส่วนหนึ่งของ ฝ่ายวิจัยและพัฒนาเทคโนโลยีคอมพิวเตอร์ (RDC) ซึ่งได้แยกออกเป็นหน่วยปฏิบัติการ 2 หน่วย คือ หน่วยปฏิบัติการวิจัยการจำลองขนาดใหญ่ และ หน่วยปฏิบัติการวิจัยคลังอนุพันธ์ความรู้ เมื่อมีการปรับโครงสร้างองค์กรในปี 2550 หน่วยปฏิบัติการวิจัยการจำลองขนาดใหญ่เกิดจากการรวมตัวกันของงานวิจัย 2 งาน คือ งานวิจัยวิทยาการเชิงคอมพิวเตอร์ และ งานวิจัยเทคโนโลยีคลัสเตอร์คอมพิวติ้ง

กิจกรรมหลัก

  • พัฒนาทรัพยากรการคำนวณสมรรถนะสูงและระบบจัดเก็บข้อมูลขนาดใหญ่
  • วิจัยและประยุกต์ใช้เทคโนโลยีการคำนวณแบบเสมือ (virtualization technology)
  • พัฒนาโครงสร้างพื้นฐาน และ โปรแกรมสำหรับการบูรณาการข้อมูล
  • พัฒนาเครื่องมือสำหรับการจำลองด้วยคอมพิวเตอร์
  • ประยุกต์ใช้การจำลองด้วยคอมพิวเตอร์ในการแสวงหาองค์ความรู้ สร้างนวัตกรรม และ จัดการแก้ไขปัญหา

เทคโนโลยีที่เกี่ยวข้อง

  • การประมวลผลแบบคลัสเตอร์, การประมวลผลแบบกริด, ระบบจัดเก็บข้อมูลขนาดใหญ่
  • การประมวลผลแบบกระจาย: เวปเซอร์วิส, XML, ภาษาจาวา
  • การประมวลผลเชิงตัวเลข: ไฟไนต์เอลิเม้นต์ และ พลศาสตร์ของไหลเชิงคำนวณ

โครงการในปัจจุบัน

  • โครงการพัฒนาโครงสร้างพื้นฐานด้านการคำนวณ ระยะที่ 2
    • พัฒนาและให้บริการทรัพยากรการคำนวณสำหรับการวิจัยด้านวิทยาการเชิงคอมพิวเตอร์
    • ระยะเวลา 5 ปี (2551-2555)
    • ผลงานหลักคือ การบริการทรัพยาการการคำนวณสมรรถนะสูงซึ่งนักวิจัยในประเทศในสาขาวิทยาการเชิงคอมพิวเตอร์สามารถใช้ได้
  • โครงการความร่วมมือ EUAsiaGrid
    • มุ่งส่งเสริมให้เกิดการวิจัยทางวิทยาศาสตร์ข้ามสาขาวิชาผ่านการสร้างความร่วมมือ และ ประชาคมทางวิทยาศาสตร์ โดยใช้ประสบการณ์ของสถาบันในทวีปยุโรปในการสร้างโครงสร้างพื้นฐานสำหรับการคำนวณแบบกริด และ การพัฒนาโปรแกรมประยุกต์ทางวิทยาศาสตร์
    • ระยะเวลา 2 ปี (2551-2553)
    • ผลงานหลักคือ การให้บริการโครงสร้างพื้นฐาน (e-Infrastructure) ผ่านความร่วมมือทั้งในระดับชาติ และ ระดับนานาชาติ
  • โครงการการพัฒนาระบบสนับสนุนการสืบค้น บูรณาการ และนำเสนอสารสนเทศสิ่งแวดล้อมแบบเบ็ดเสร็จ
    • ส่งเสริมการสร้างมาตรฐานข้อมูลทางด้านสิ่งแวดล้อม เพื่อใช้เป็นมาตรฐานในการแลกเปลี่ยนข้อมูลระหว่างผู้ให้บริการและผู้ใช้บริการข้อมูล
    • ประยุกต์ใช้กริดสารสนเทศในการพัฒนาแหล่งข้อมูลเสมือนสำหรับข้อมูลทางด้านสิ่งแวดล้อม
    • สนับสนุนการพัฒนาระบบการสืบค้นและนำเสนอข้อมูลทางด้านสิ่งแวดล้อมในรูปแบบของ one-stop-service
    • ระยะเวลา 2 ปี (2553 – 2554)
    • ผลงานหลัก คือ ระบบ Environment Informatorium ที่ให้บริการการสืบค้นและนำเสนอข้อมูลสิ่งแวดล้อมในรูปแบบต่างๆ ภายใต้มาตรฐานข้อมูลด้านสิ่งแวดล้อม รวมถึงการถ่ายทอดองค์ความรู้ให้แก่ผู้ให้บริการ
  • โครงการการจำลองกระบวนการเปลี่ยนแปลงบริเวณชายฝั่งอ่าวไทย ระยะที่ 1 : ผลกระทบจากการเพิ่มระดับน้ำทะเล การรุกล้ำของคลื่นทะเล และน้ำท่วมตามแนวชายฝั่ง
    • ประยุกต์ใช้เทคนิคเชิงตัวเลขชั้นสูง เพื่อให้สามารถใช้ในการวิเคราะห์และหาวิธีแก้ปัญหาการเปลี่ยนแปลงบริเวณชายฝั่งอ่าวไทยได้อย่างมีประสิทธิภาพและประสิทธิผล
    • ระยะเวลา 2 ปี (2552 – 2554)
    • ผลงานหลัก คือ มาตรฐานและระบบสืบค้นข้อมูล รวมถึงองค์ความรู้ที่จะนำไปประยุกต์ใช้ในการจำลองกับกระบวนการแปลี่ยนแปลงชายฝั่งอ่าวไทย
  • โครงการพัฒนาระบบข้อมูลสุขภาพและการแพทย์ของประเทศไทย (NHIS) (ส่วนงานการแปลงและเชื่อมโยงข้อมูลสุขภาพ)
    • สนับสนุนการนำข้อมูลสุขภาพจากระบบสารสนเทศโรงพยาบาลใดๆไปสู่มาตรฐาน
    • ประยุกต์ใช้เทคโนโลยีเว็บเซอร์วิส XML และกริด เพื่อสนับสนุนการเชื่อมโยงแหล่งข้อมูลจากสถานพยาบาลต่างๆ
    • ระยะเวลาต่อเนื่องตั้งแต่ปี 2552
    • ผลงานหลัก คือ เครื่องมือสนับสนุนการนำข้อมูลไปสู่มาตรฐาน (Metadata Mapping Tool & Metadata Conversion Tool), เซอร์วิสการบริการข้อมูล (Metadata Service) และ เซอร์วิสการเข้าถึงและบูรณาการข้อมูล (Metadata Broker)

ผลงานที่ผ่านมา

โปรแกรมระเบียบวิธีไฟไนต์เอลิเม้นต์

เราได้พัฒนาโปรแกรมเพื่อการคำนวณตามระเบียบวิธีไฟไนต์เอลิเม้นต์ซึ่งมีความสามารถดังต่อไปนี้

  • ประมวลผลแบบขนาน: โปรแกรมนี้ใช้ MPI ในการประมวลผลแบบขนาน เมื่อโปรแกรมทำงานบนเครื่องคอมพิวเตอร์ที่มีโปรเซสเซอร์แบบคอร์เดียว เพียงตัวเดียว โปรแกรมจะทำงานแบบลำดับ เมื่อโปรแกรมทำงานบนเครื่องคอมพิวเตอร์ที่มีโปรเซสเซอร์แบบหลายคอร์ หรือ หลายโปรเซสเซอร์ โปรแกรมสามารถทำการประมวลผลแบบขนาน ทำให้สามารถได้ผลลัพธ์รวดเร็วขึ้น เมื่อโปรแกรมทำงานบนเครื่องคลัสเตอร์คอมพิวเตอร์ โปรแกรมจะสามารถทำงานแบบขนานและสามารถกระจายข้อมูลไปยังเครื่องต่างๆ ภายในคลัสเตอร์ ทำให้สามารถประมวลผลได้เร็วขึ้น และ สามารถเพิ่มความละเอียดในการประมวลผลได้สูงขึ้น
  • ปัญหาหลายฟิสิกส์: โปรแกรมสามารถวิเคราะห์ปัญหาทางกายภาพได้หลากหลาย ได้แก่ ปัญหาอิลาสติคเชิงเส้น, ปัญหากระแสไฟฟ้าในสภาวะคงตัว, การวิเคราะห์การกระจายความร้อน และ ปัญหาเพียโซอิเล็กทริก
  • การเก็บข้อมูลภายใน: การคำนวณด้วยระเบียบวิธีไฟไนต์เอลิเม้นต์มักเกี่ยวข้องกับระบบสมการเชิงเส้นจำนวนมาก ทำให้จำเป็นต้องเก็บค่าของเมตริกซ์ขนาดใหญ่ซึ่งมีเอลิเม้นต์ที่มีค่าเป็นศูนย์เป็นจำนวนมาก โปรแกรมนี้ได้รับการพัฒนาขึ้นโดยใช้วิธีการเก็บข้อมูลเมตริกซ์แบบ CRS/CCS (Compressed Row/Column Storage) ที่มีประสิทธิภาพสูง โดยเก็บค่าของเอลิเม้นต์ที่ไม่เป็นศูนย์เท่านั้น ทำให้ใช้เนื้อที่หน่วยความจำในการเก็บข้อมูลน้อย โปรแกรมนี้จึงสามารถแก้ปัญหาขนาดใหญ่ซึ่งมีจำนวนเอลิเม้นต์มากได้ จากการทดสอบพบว่าโปรแกรมที่พัฒนาขึ้นสามารถคำนวณปัญหาทดสอบซึ่งโปรแกรมเชิงพานิชย์บางโปรแกรมไม่สามารถคำนวณได้ เนื่องจากหน่วยความจำไม่เพียงพอ
  • แก้สมการเชิงตัวเลขได้เร็ว: ในระเบียบวิธีไฟไนต์เอลิเม้นต์ กระบวนการที่ใช้เวลามากที่สุดคือการแก้ระบบสมการ ปัญหาขนาดใหญ่ที่มีจำนวนโนดมากกว่า 100,000 โนด อาจจะต้องใช้เวลาหลายชั่วโมง โปรแกรมนี้ถูกพัฒนาขึ้นโดยใช้อัลกอริธึมในการแก้สมการที่ทันสมัย เช่น CG,BiCG, GMRES, GPBiCG และ ใช้เทคนิคพรีคอนดิชั่นเนอร์ได้หลายแบบเช่น SSOR, ILU, IC, DIAG ทำให้สามารถทำงานได้รวดเร็วเทียบกับโปรแกรมเชิงพานิชย์
  • มีความถูกต้องสูง: เราได้ตรวจสอบผลการคำนวณของโปรแกรมที่พัฒนาขึ้นได้ผลลัพธ์โดยเทียบกับผลจากโปรแกรมเชิงพานิชย์ พบว่าไม่มีความแตกต่างกัน


โปรแกรมพลศาสตร์ของไหลเชิงคำนวณและการพาความร้อนเชิงคำนวณ

เราได้พัฒนาโปรแกรมเพื่อทำการคำนวณตามหลักพลศาสตร์ของไหล และ โปรแกรมเพื่อทำการคำนวณการพาความร้อนในตัวกลางที่เป็น continuum และ วัสดุที่เป็นรูพรุน ซึ่งโปรแกรมนี้มีความสามารถดังต่อไปนี้

  • ประมวลผลแบบขนาน: โปรแกรมนี้ใช้ MPI ในการประมวลผลแบบขนาน เมื่อโปรแกรมทำงานบนเครื่องคอมพิวเตอร์ที่มีโปรเซสเซอร์แบบคอร์เดียว เพียงตัวเดียว โปรแกรมจะทำงานแบบลำดับ เมื่อโปรแกรมทำงานบนเครื่องคอมพิวเตอร์ที่มีโปรเซสเซอร์แบบหลายคอร์ หรือ หลายโปรเซสเซอร์ โปรแกรมสามารถทำการประมวลผลแบบขนาน ทำให้สามารถได้ผลลัพธ์รวดเร็วขึ้น เมื่อโปรแกรมทำงานบนเครื่องคลัสเตอร์คอมพิวเตอร์ โปรแกรมจะสามารถทำงานแบบขนานและสามารถกระจายข้อมูลไปยังเครื่องต่างๆ ภายในคลัสเตอร์ ทำให้สามารถประมวลผลได้เร็วขึ้น และ สามารถเพิ่มความละเอียดในการประมวลผลได้สูงขึ้น
  • ใช้วิธีการ Direct numerical simulation ในการคำนวณพลศาสตร์ของไหล: โปรแกรมนี้ใช้วิธีการ Direct numerical simulation ในการคำนวณพลศาสตร์ของไหล โดยการแก้ระบบสมการเชิงอนุพันธ์ย่อย Navier-Stokes โดยตรง แม้ว่าวิธีนี้จะทำให้โปรแกรมใช้ทรัพยากรในการคำนวณสูงกว่าโปรแกรมพลศาสตร์ของไหลเชิงคำนวณทั่วๆ ไปมาก แต่ข้อดีของวิธีนี้คือ ทำให้ได้ผลลัพธ์ที่มีความแม่นยำสูง ที่ครอบคลุมของรูปแบบของการไหลทั้ง การไหลแบบราบเรียบ การไหลแบบปั่นป่วน และสภาวะการไหลที่อยู่ระหว่างการไหลแบบราบเรียบและการไหลแบบปั่นป่วน ทำให้ไม่ต้องปรับเปลี่ยน Turbulence model ไปตามลักษณะของปัญหา
  • ใช้วิธีการ Direct numerical simulation ในการพาความร้อนเชิงคำนวณ: โปรแกรมนี้ใช้วิธีการ Direct numerical simulation ในการจำลองการพาความร้อน ทำให้สามารถจำลองรูปแบบและปริมาณการถ่ายเทความร้อนอย่างละเอียด โดยเฉพาะอย่างยิ่งในกรณีของการไหลแบบปั่นป่วน และ สภาวะการไหลที่อยู่ระหว่างการไหลแบบราบเรียบและการไหลแบบปั่นป่วน
  • มีความสามารถในการแก้ปัญหาการพาความร้อนในหลากหลายรูปแบบ: โปรแกรมนี้สามารถจำลองการพาความร้อนได้ทั้งแบบ อิสระ แบบถูกบังคับ และแบบผสม โดยสามารถแก้ปัญหาการพาความร้อนได้ทั้งในตัวกลางที่เป็น continuum และ ตัวกลางที่เป็นรุพรุน
  • ใช้ระเบียบวิธีเชิงตัวเลขที่มีความถูกต้องสูงมาก: โปรแกรมสำหรับแก้ปัญหาพลศาสตร์ของไหลเชิงคำนวณและการพาความร้อนเชิงคำนวณ นี้ได้ถูกสร้างขึ้นมาโดยใช้ระเบียบวิธีเชิงตัวเลขที่มีความถูกต้องสูง คือ ระเบียบวิธีทาง spectral element method ที่ให้ความถูกต้องของผลเฉลยสูงมากและนอกเหนือจากนี้ระเบียบวิธีนี้ยังสามารถใช้แก้ปัญหาที่มีรูปร่างของปัญหาที่ซับซ้อนมากได้อีกด้วย


ทรัพยากรการคำนวณ

เราได้พัฒนาทรัพยากรการคำนวณและให้บริการกับนักวิจัยในประเทศไทย ทรัพยากรการคำนวณที่ให้บริการอยู่ในปัจจุบันมีดังต่อไนี้

  • เครื่อง Ocean Cluster: เครื่องคลัสเตอร์คอมพิวเตอร์นี้ เป็นทรัพยากรการคำนวณใหม่ล่าสุดที่ได้พัฒนาขึ้น ประกอบด้วยเครื่องแม่ข่าย 4 เครื่อง แต่ละเครื่องมีโปรเซสเซอร์ Intel Xeon processor X7350 2.93GHz จำนวน 4 ตัว ซึ่งแต่ละตัวมีแกนการประมวลผล (คอร์)่ จำนวน 4 คอร์ ทำให้มีแกนการประมวลผลรวมทั้งสิ้น 64 คอร์ เพื่อให้รองรับการคำนวณที่ใช้หน่วยความจำมากจึงได้ออกแบบให้มีหน่วยความจำ 4GB ต่อคอร์ คิดเป็นหน่วยความจำรวมทั้งสิ้น 256GB เครื่องแม่ข่ายทั้งสี่เชื่อมต่อกันด้วยสวิทช์ infiniband DDR ที่มีความเร็วในการเชื่อมต่อถึง 20Gbps เครื่องคลัสเตอร์คอมพิวเตอร์นี้มีระบบสำรองข้อมูล HP Polyserve SAN storage ซึ่งมีความจุ 4.8TB เราได้ทำการทดสอบประสิทธิภาพของระบบพบว่ามีความเร็วในการประมวลผล 750GFLOPS (Rpeak) และ 400GFLOPS (Rmax)
  • เครื่อง Itanium Cluster: เครื่องคลัสเตอร์คอมพิวเตอร์สมรรถนะสูงเครื่องนี้ ใช้โปรเซสเซอร์ชนิด 64 บิท Itanium 2 1.4GHz ประกอบด้วยเครื่องแม่ข่ายจำนวน 32 เครื่อง แต่ละเครื่องมี 2 โปรเซสเซอร์ (หนึ่งคอร์) ทำให้มีโปรเซสเซอร์รวม 64 โปรเซสเซอร์ แต่ละเครื่องมีหน่วยความจำไม่เท่ากัน โดยมีหน่วยความจำรวมกันเท่ากับ 256GB การเชื่อมต่อระหว่างเครื่องแม่ข่ายเป็นแบบผสมระหว่าง infiniband และ gigabit ethernet เครื่องคลัสเตอร์คอมพิวเตอร์นี้มีระบบสำรองข้อมูลความจุ 3TB วัดประสิทธิภาพการคำนวณได้ 358GFLOPS (Rpeak) และ 200GFLOPS (Rmax)
  • เครื่อง Origin 2000: เครื่องคอมพิวเตอร์นี้เป็นแบบ Symmetric Multi Processing ซึ่งมีโปรเซสเซอร์จำนวน 8 ตัว เป็นชนิด MIPS R10000 (250MHz) และ R12000 (300MHz) อย่างละ 4 ตัว มีหน่วยความจำร่วมกัน 2 GB ใช้ระบบปฏิบัติการ IRIX64 6.5
  • เครื่อง Cappuccino: เครื่องคลัสเตอร์คอมพิวเตอร์นี้มีวัตถุประสงค์เฉพาะสำหรับการจำลองทางวัสดุศาสตร์และนาโนเทคโนโลยี ซึ่งพัฒนาขึ้นและให้บริการภายใต้โครงการ Computational Nanoscience Consortium (CNC) ประกอบด้วยโปรเซสเซอร์ intel Xeon 5140 จำนวน 26 คอร์ และมีหน่วยความจำรวม 52GB เชื่อมต่อโดย infiniband ความเร็ว 10Gbps.
  • ระบบจัดเก็บข้อมูลภูมิศาสตร์: เป็นระบบจัดเก็บข้อมูลที่พัฒนาขึ้นเพื่อเก็บข้อมูลเชิงภูมิศาสตร์ เช่น ภาพถ่ายดาวเทียม โดยเฉพาะ มีความจุ 10TB
  • ระบบ CFD Databank: เป็นระบบและบริการจัดเก็บข้อมูลที่ได้จากการจำลองพลศาสตร์ของไหลเชิงคำนวณ เพื่อให้ประชาคมนักวิจัยในสาขานี้ ทั้งในและต่างประเทศสามารถแบ่งปัน และ แลกเปลี่ยนข้อมูลกันได้อย่างสะดวก เพื่อประโยชน์ในการพัฒนาแบบจำลอง การทดสอบประสิทธิภาพ และ การทดสอบความถูกต้องของโปรแกรม

กริดสารสนเทศ

เราได้พัฒนากรอบการทำงานสำหรับการบูรณาการสารสนเทศ ซึ่งมีขึดความสามารถดังต่อไปนี้

  • การบูรณาการสารสนเทศตามแนวราบ ข้ามแหล่งข้อมูล (ฐานข้อมูลเชิงสัมพันธ์) ที่กระจายตัวอยู่ในองค์กรต่างๆ และมีโครงสร้างข้อมูลที่แตกต่างกัน โดยแหล่งข้อมูลที่จะเข้ามาเผยแพร่ข้อมูลในระบบกริดสารสนเทศนั้นจะต้องให้บริการข้อมูลตามมาตรฐานโครงสร้างข้อมูล และอยู่ในรูปของเว็บเซอร์วิส
  • การพัฒนา GiSTool (Generic Information Service Tool) เพื่อสนับสนุนการพัฒนาเว็บเซอร์วิสที่ใช้ในการให้บริการข้อมูลมาตรฐานสำหรับแหล่งข้อมูลหนึ่งๆ โดย GiSTool จะอำนวยความสะดวกให้เจ้าของแหล่งข้อมูลสร้างความสัมพันธ์ระหว่างโครงสร้างข้อมูลและมาตรฐานฯในระดับฟิลด์ข้อมูลแบบ 1:1 เพื่อจัดการความต่างของโครงสร้างข้อมูลทั้งสอง และสร้างเว็บเซอร์วิสในการให้บริการข้อมูลมาตรฐานอย่างอัตโนมัติ
  • การพัฒนา Information Grid API เพื่ออำนวยความสะดวกให้ผู้พัฒนาแอพลิเคชั่นสามารถเรียกใช้ข้อมูลจากแหล่งข้อมูลต่างๆได้อย่างคล่องตัวมากขึ้น โดยแอพลิเคชั่นนี้จะทำการ (1) ต่อเชื่อมกับเครือข่ายกริดสารสนเทศ (2) จัดส่ง query ที่สร้างขึ้นมาบนพื้นฐานของมาตรฐานโครงสร้างข้อมูล และอยู่ในรูปแบบที่ใกล้เคียงกับ SQL ไปยังกริดสารสนเทศ เพื่อให้กริดสารสนเทศทำการค้นหาข้อมูลจากแหล่งข้อมูลที่มาเชื่อมต่อด้วย ซึ่งงมีความแตกต่างกัน และ กระจายตัวอยู่ในองค์กรต่างๆ (3) รอผลการ query ข้อมูลจากกริดสารสนเทศ และ (4) ประมวลผลข้อมูลตามความต้องการ

ความร่วมมือและพันธมิตร

Grid

PRAGMA APGrid PMA
AIST EUAsiaGrid Project
CSEA NANOTEC
MTEC Thai National Grid Project

Environment Informatorium

AIST KU (NAIST) HAII
MD RID START

Coastal Change

KU CU
MI KMUTT

อื่นๆ

DTI

เว็บไซต์

http://www.lsr.nectec.or.th/

รวมภาพ

LSR Profile Gallery 2010