นักวิจัย : ผศ.ดร.นัทที นิภานันท์ จุฬาลงกรณ์มหาวิทยาลัย

โครงการเมืองอัจฉริยะ (Smart City) ได้ตอบสนองต่อยุทธศาสตร์ชาติในระยะ 20 ปี ในด้านการสร้างงานวิจัยและพัฒนาระบบเทคโนโลยีสารสนเทศ และ Internet of Things รวมไปถึงเทคโนโลยีวิเคราะห์ข้อมูล (Data Analytics) เพื่อสร้างความเข้มแข็งและความสามารถในการแข่งขันในระดับเมือง เพื่อสร้างความก้าวหน้าทางเทคโนโลยีในระดับเมืองอีกด้วย และเพื่อประโยชน์ต่อการบริหารจัดการเมืองและประชาชนที่อาศัยอยู่ภายในเมืองอัจฉริยะ โดยแนวทางการพัฒนาเมืองอัจฉริยะจะสร้างนวัตกรรมที่สามารถนำไปใช้ประโยชน์ในด้านสังคม ชุมชน และต่อยอดในเชิงพาณิชย์ ซิ่งเป็นหนึ่งในแนวทางการพัฒนาตามนโยบายประเทศไทย 4.0

ภายใต้แนวคิดความร่วมมือของ ทปอ. ในการจัดทำศูนย์นวัตกรรมประจำภูมิภาคสำหรับเมืองอัจฉริยะหรือ Smart City Innovation Hub เพื่อให้มีการบูรณาการอย่างครบวงจรในแง่มุมต่างๆ ของการบริหารจัดการเมือง ซึ่งทางกลุ่มมหาวิทยาลัยใน ทปอ. ได้ผนึกกำลังร่วมกันนำเสนอและพัฒนาคลาวด์แพลตฟอร์มเพื่อการบูรณาการเมืองอัจฉริยะของไทย (Integrated Smart City Cloud Platform) โดยพัฒนาด้วยโปรแกรม Augmented Reality (AR) ซึ่งเป็นโปรแกรมที่ใช้ในการพัฒนาความจริงเสมือนหรือความจริงเติมแต่ง โดยจะส่งผลให้สามารถมองเห็นภาพรวมของการบูรณาการเมืองอัจฉริยะได้ง่ายมากยิ่งขึ้นไป ในบทความนี้เราจะไปพูดคุยกับนักวิจัยถึงรายละเอียดโครงการดังกล่าวกับผศ.ดร.นัทที นิภานันท์ แห่งจุฬาลงกรณ์มหาวิทยาลัย

รายละเอียดโครงการ

ผศ.ดร.นัทที  : โครงการนี้เป็นการพัฒนาต้นแบบส่วนแสดงผลในรูปแบบ Augmented Reality ของข้อมูลต่างๆ ที่ได้มาจากการบูรณาการข้อมูลของเมืองอัจฉริยะ การแสดงผลในรูปแบบดังกล่าวจะทำให้เห็นถึงประโยชน์และความเป็นไปได้ในการใช้งานข้อมูลดังกล่าวในรูปแบบที่เข้าใจได้ง่าย โดยโครงการประกอบด้วยระบบแสดงผล 2 ระบบ

  • ระบบแรกใช้ Microsoft HoloLens เพื่อแสดง Mixed Reality
  • ระบบที่สองใช้ iPad เพื่อแสดง Augmented Reality

โดยทั้งสองระบบจะนำเอาข้อมูลจากระบบ Smart City อื่น ๆ ตามสถานที่ต่าง ๆ ในขอบเขตของโครงการคือบริเวณย่านสยามสแควร์ โดยข้อมูลประกอบด้วย ข้อมูลจำนวนประชากร, sentiment ของกลุ่มประชากร, social media และข้อมูลอื่น ๆ มาแสดงผ่านระบบ Mixed Reality และ Augmented Reality บนแบบจำลองของสถานที่ดังกล่าวที่สร้างมาด้วยวิธีการ 3D Print

ระบบจะพิจารณาว่าอุปกรณ์ที่ใช้แสดงผลนั้นกำลังมองไปในทิศทางใด โดยถ้าเป็นระบบ Microsoft HoloLens จะใช้ระบบ Localization ของตัว Microsoft HoloLens เอง สำหรับ iPad จะใช้ขั้นตอนวิธี Extrinsic Camera Calibration โดยใช้ Marker แบบ AruCO เพื่อหาตำแหน่งของ iPad หลังจากนั้นจะทำการวาดข้อมูลที่ได้จากระบบอื่น ๆ ลงไปบนอุปกรณ์ทั้งสองโดยเทียบตามตำแหน่งที่ควรจะเป็นของอุปกรณ์

รีวิวส่วน HoloLens เพื่อแสดง Mixed Reality

ผศ.ดร.นัทที  : มาดูส่วนแรกกันก่อนกับ HoloLens โดยผู้ใช้ต้องติดตั้ง  Unity3D และ Visual Studio 2017 ผ่านทาง https://unity3d.com

หลังจากโหลดโปรแกรมมาแล้ว จะโหลดโมเดลขึ้นมา พร้อมกับโหลดข้อมูล JSON จาก server หากไม่สามารถรับข้อมูลจาก server ได้ ก็จะดึงข้อมูลล่าสุดที่เคยโหลดเก็บไว้ ขึ้นมาแสดงผล

การทดสอบครั้งนี้เรานำโปสเตอร์ Smart City มาทดสอบ

  • โปสเตอร์ ขนาด 170 x 90 cm

หากต้องการระบุตำแหน่งโดยใช้โปสเตอร์ ต้องเลื่อนกล้องของ Hololens ไปยังตำแหน่ง 3 จุด ดังรูปข้างล่างนี้ โดยระบุที่ตำแหน่งใดก่อนก็ได้

หากต้องการจัดตำแหน่งใหม่ กรุณาปิดโปรแกรมแล้วเปิดใหม่อีกครั้ง

บริเวณรอบโมเดล จะมีปุ่มให้ผู้ใช้สามารถเลือกดูข้อมูลต่าง ๆ บนแผนที่ได้ หากต้องการเลือกดู ให้เลื่อนกล้องโดยให้จุดกึ่งกลาง  ชี้ไปยังปุ่ม จากนั้นทำมือ “คลิก” เลือกโดยให้มืออยู่ในตำแหน่งที่เซ็นเซอร์มองเห็น

ทั้งนี้กรุณาอย่าเลื่อนหรือขยับกล้องเร็วเกินไป เพราะอาจจะทำให้ตำแหน่งโมเดลผิดเพี้ยนไปจากตำแหน่งเดิมบนโลกจริงได้

รีวิวโปรแกรม ARSmartCity เพื่อแสดง Augmented Reality

ผศ.ดร.นัทที  : ส่วนถัดไปเรามารีวิวโปรแกรม ARSmartCity เป็นโปรแกรมสำหรับแสดงข้อมูลประกอบโมเดลจำลองของเมืองแบบ Augmented Reality

เพื่อให้สามารถ render วัตถุเสมือนให้สอดคล้องกับโลกจริง การทำงานของโปรแกรม ARSmartCity จะประกอบด้วยสามส่วนคือ

1. การรับภาพจากกล้อง video (กล้องของ iPad)

2. การระบุตำแหน่งของกล้องเทียบกับตำแหน่งในโลกจริง

3. การ render object เสมือนให้สอดคล้องกับมุมมองของกล้องที่เปลี่ยนไป ซ้อนทับลงไปในภาพจากกล้อง

สำหรับส่วนการระบุตำแหน่งของกล้อง ถือเป็นหัวใจสำคัญของ AR Application โปรแกรม ARSmartCity จะใช้ ArUco Markers เป็นจุดอ้างอิงในโลกจริง ขั้นตอนการทำงานของการระบุตำแหน่งจะเริ่มจาก การตรวจวัดหา ArUco Markers ในภาพที่ได้จากกล้อง จากนั้นจึงติดตามการเคลื่อนที่ของ ArUco Markers จากภาพก่อนหน้า สุดท้ายจะเป็นการนำเอาตำแหน่งของ ArUco Markers ในภาพสองมิติมาคำนวนหาตำแหน่งของกล้องในสามมิติ

ตัวอย่างการติด ArUco Markers โดยจะติดแบบกระจายทั่วบริเวณที่ต้องการใช้งาน

ถัดไปคือขั้นตอนการ Calibrate โปรแกรม โดยโปรแกรม ARSmartCity สามารถตรวจหาตำแหน่งของ iPad เทียบกับโมเดลจำลองได้โดยการใช้ Aruco Markers (ลักษณะคล้าย QR) ที่ติดตั้งกระจายโดยรอบโมเดลจำลอง โปรแกรมจะตรวจหาตำแหน่งของ Markers โดยอาศัยภาพจากกล้องจากนั้นจึงคำนวนเป็นตำแหน่งการวางตัวของ iPad ในสามมิติได้ หลังจากนั้นจึงสามารถซ้อนข้อมูลเสมือนลงไปยังโมเดลจำลอง ได้อย่างถูกต้อง

ในขั้นตอนการติดตั้ง Aruco Markers นั้นผู้ใช้สามารถวางตำแหน่งของ Markers บนโมเดลจำลอง ได้อย่างอิสระโดยโปรแกรมจะต้องทำการ Calibrate การวางตัวของ Markers ทั้งหลาย ก่อนใช้งานเพื่อให้สามารถคำนวนเป็นตำแหน่งการวางตัวของ iPad ได้อย่างถูกต้อง ในขั้นตอนการติดตั้ง Aruco Markers จะมีเงื่อนใขเล็กน้อยโดยจะต้องวาง Marker แผ่นที่ 0 ลงบนระนาบพื้นเสมอ

การ calibrate ตำแหน่งของ Markers จะทำเพียงครั้งเดียวหลังการติดตั้ง Markers จากนั้นโปรแกรมจะใช้งานได้ตลอดไปหรือจนกว่า Markers จะถูกเคลื่อนย้ายตำแหน่ง

การเข้าถึง menu calibrate จากโปรแกรม ARSmartCity สามารถเข้าถึงได้โดยกดบริเวณมุมซ้ายบนของโปรแกรมค้างไว้มากกว่า 5 วินาทีแล้วปลอยจะปรากฏ Menu สำหรับการ calibrate ดังรูป

วิธีการ calibrate จะต้องส่อง iPad ไปยังโมเดลจำลองโดยต้องประมาณให้เห็นภาพ Markers สัก 4 – 5 อันในภาพเดียวกัน รอจนจุดสีแดงรอบ  ๆ Markers ปรากฏหมายความว่าสามารถ detect marker ได้ จากนั้นกดปุ่ม Add (ภาพแรกที่กดปุ่ม Add จะต้องมองเห็น Marker แผ่นที่ 0 ในภาพ) จากนั้นจึงเลื่อนตำแหน่ง iPad ไปโดยรอบโมเดล และ Add ภาพ Markers อื่น ๆ จนครบทุก Markers โดยเน้นให้มีการทับซ้อนของ Markers ในแต่ละภาพบ้าง

เมื่อ Add ภาพครบแล้วจึงกดปุ่ม Recon เป็นการคำนวนการวางตัวของ Markers ทั้งหมดจากภาพที่ Add เข้ามา ตัวโปรแกรมจะใช้เวลาในการทำงานสักพัก สังเกตุจากตัวเลขสีแดงบริเวณมุมซ้ายข้างล่าง menu เลขตัวแรกแสดงจำนวนภาพที่ Add เข้ามา เลขตัวหลังแสดงค่า error ในการ reconstruct ถ้าเลขเป็น -1 แสดงว่าการทำงานสำเร็จ ถ้าเป็นค่าอื่นแสดงว่าล้มเหลวให้เริ่มกระบวนการ calibrate ใหม่ ถ้าเลขยังไม่หยุดวิ่งแสดงว่าโปรแกรมยังทำงานอยู่

– ปุ่ม Clear ใช้สำหรับล้างภาพที่ Add เข้ามาทั้งหมด

– ปุ่ม Reset ใช้ Clear ภาพและล้างค่าผลลัพธ์การ calibrate ด้วย

– ปุ่ม Close ใช้ออกจาก mode calibrate

หลังจากการ calibrate เสร็จสิ้นผลลัพธ์ที่ได้ ตำแหน่ง marker จะต้องมีสีเหลี่ยมสีแดงวางทับอยู่อย่างถูกต้อง ดังรูป

หลังจากนี้จะเป็นขั้นตอนการเลื่อนแผนที่ virtual ให้ซ้อนทับกับโลกจริงโดยจากในรูปแสดงให้เห็นแผนที่ virtual จาง ๆ วาดซ้อนทับอยู่

ผู้ใช้จะต้องเลื่อนแผนที่ virtual ให้ซ้อนทับกับโลกจริง โดยใช้เครื่องมือการเลื่อนที่ปรากฏมุมขวาบนอันได้แก่ ปุ่มเลื่อนซ้าย, ปุ่มเลื่อนขวา, ปุ่มเลื่อนขึ้น, ปุ่มเลื่อนลง, ปุ่มหมุนตามเข็ม, ปุ่มหมุนทวนเข็ม, ปุ่ม zoom เข้า และ ปุ่ม zoom ออก ดังรูป

เมื่อเลื่อนแผนที่เสร็จแล้วจึงกดปุ่ม Close เป็นอันเสร็จสิ้นการ calibrate ค่าผลลัพธ์ที่ได้จากการ calibrate จะถูก save ไว้และโหลดมาใช้ทุกครั้งที่เปิดโปรแกรม

โดยโปรแกรมสามารถแสดงข้อมูลได้ 5 ประเภทได้แก่

1. weather จะแสดงข้อมูลพยากรณ์อากาศ (ไม่ได้เป็น Augmented Reality)

2. traffic จะแสดงตำแหน่งรถ taxi ในโมเดลจำลองของเมือง

3. density จะแสดงตำแหน่งของความหนาแน่นของคนในโมเดลจำลองของเมือง

4. emotional จะแสดงอารมณ์ของผู้คน ณ ตำแหน่งต่าง ๆ ในโมเดลจำลองของเมือง

5. social จะแสดงตำแหน่ง social post (facebook หรือ  twitter) ในโมเดลจำลองของเมือง

เมื่อเปิดโปรแกรม ARSmartCity บน iPad โปรแกรมจะขึ้นหน้าจอดังรูป

การเข้าถึง menu สำหรับแสดงข้อมูลแต่ละประเภทสามารถ click เลือกได้จากปุ่มสีแดงมุมล่างขวา

เมื่อเลือก menu weather ปรากฏข้อมูลพยากรณ์อากาศดังรูป

เมื่อเลือก menu traffic และส่อง iPad ไปยังโมเดลจำลองของเมือง จะปรากฏตำแหน่งรถ taxi

เมื่อเลือก menu density และส่อง iPad ไปยังโมเดลจำลองของเมือง จะปรากฏ icon แสดงความหนาแน่นของคน ณ ตำแหน่งต่าง ๆ (ยิ่งมีจำนวน icon คนเยอะยิ่งหนาแน่นมาก)

เมื่อเลือก menu emotional และส่อง iPad ไปยังโมเดลจำลองของเมือง จะปรากฏ icon แสดงอารมณ์ของผู้คน ณ ตำแหน่งต่าง ๆ โดย ใน menu จะมี menu ย่อยให้เลือก filter แสดงเฉพาะอารมณ์แต่ละแบบได้

เมื่อเลือก menu social และส่อง iPad ไปยังโมเดลจำลองของเมือง post ข้อความจาก social ผู้คน ณ ตำแหน่งต่าง ๆ โดยสามารถเลือกแสดง post จาก facebook หรือ  twitter ได้ใน menu ย่อย

ประโยชน์ของโครงการ

ผศ.ดร.นัทที: การแสดงผลโดยนำเอา Mixed Reality และ Augmented Reality มาใช้ ทำให้การถ่ายทอดเนื้อหาด้าน Smart City แก่บุคคลทั่วไป น่าดึงดูดและน่าสนใจมากขึ้น อีกทั้งยังทำให้คนเข้าใจคอนเทนต์ดังกล่าวได้ง่ายขึ้นด้วยเช่นกัน

แผนการต่อยอดในอนาคต

ผศ.ดร.นัทที : สิ่งที่แรกที่จะทำเพิ่มคือขยายบริเวณของข้อมูลที่มีในระบบ Smart City ให้เพิ่มมากขึ้น และจะเพิ่มวิธีการแสดงผลอื่น ๆ เช่น Headset ตัวอื่นๆ เช่น HTC Vive เป็นต้น