Author: admin

HoloToolkitのサンプルSharingTestの中身を見る

Vuforiaを使ってSharingの接続成功率をあげる

お手軽にSharingの接続成功率と精度をあげる

 

 

 

จะทำ ถ่ายวีดีโอ(stream realtimeได้ก็ดี) จาก hololens อีกตัวนึง

 

ที่ไม่ใช้ hololens ตัวที่ userใช้งานอยู่ อัดวีดีโอ first person view

เพราะว่า พอเอากล้องไปอัดวีดีโอแล้ว จะทำ realtime registration ของ vuforia ไม่ได้

พอ user ขยับนิดๆหน่อยๆ hologram มันก็อยู่ไม่ตรงจุดที่จะให้อยู่ละ

 

ถ้าใช้ hololens อีกตัว อัดวีดีโอ third person view ได้ ก็จะดี

แต่ว่าถ้าอัดผ่าน hololens จะอัดวีดีโอได้แค่ 5 นาที (ต้องเขียนโค๊ดเองเพื่อไม่ให้มันจำกัดเวลา…แต่ก็ยังไม่เคยลองอัดเกิน5นาที)

แล้วก็ stream realtime จาก hololens มาที่คอม มัน ช้าๆอยู่นะ

อัดวีดีโอเสร็จไฟล์ก็อยู่ใน hololens ต้องมาลากลงคอมอีก

 

ก็เลยว่าจะใช้ spectator view hololens อัดวีดีโอ/stream hologram

ซึ่ง จาก https://docs.microsoft.com/en-us/windows/mixed-reality/spectator-view

มันมี2วิธี 1.ใช้ iphone/ipad ถ่ายวีดีโอ  2.ใช้กล้องDSLR+hololensอีกตัว ถ่ายวีดีโอ

วิธี Iphone ต้องเป็นรุ่น 6s ขึ้นไป เพราะว่ามันอัด 4K video ได้, ไหนจะต้องใช้เครื่อง mac เขียนโปรแกรม ไปสมัคร apple developer มีแบบฟรีอยู่ ดูยุ่งยาก เลยข้าม

 

วิธีกล้อง DSLR ก็ดูยุ่งยาก พอดีว่า concept ของเค้าคือถ่ายวีดีโอ hidef + hologram ก็เลยต้องใช้กล้อง ที่อัดวีดีโอ 2k, 4k ได้ (จะ gopro ก็ได้)

คราวนี้ พอจะ stream สด ก็ต้องต่อสายวีดีโอเข้าคอม แต่ปกติแล้ว port hdmi ที่คอมเป็น output อย่างเดียว

ก็เลยต้องมี capture card ราคา 25,000yenได้ เพื่อ รับ input hdmi เข้าคอม (แล้วก็ต้องลงโปรแกรมของ capture card อีก)

แล้ววีธีนี้คือ เอากล้องตั้งไว้ เอา hololens วางไว้บนกล้องเพื่อ  calibrate ระบุตำแหน่ง

แต่พอเริ่มอัดวีดีโอแล้ว ห้ามขยับกล้อง เดี่ยว hologram เคลื่อน…

 

คือว่าถ้าใช้กล้องทั่วไปที่มันมีสาย usb ต่อคอมจะสะดวกกว่ารึป่าวนะ..

ก็มีคนลองใช้ กล้อง webcam ธรรมดา เห็นว่าก็ใช้ได้อยู่ แต่ไม่ ok เพราะว่า fov กล้องwebcam มันแคบ เค้าบอกว่าต้องติดเลนส์เพิ่ม…แล้วก็ ลำดับสี rbg มันเรียงสลับกันอะไรสักอย่าง แต่ไม่ได้เป็นปัญหาตอน calibrate

คุ้นๆว่าจะต้องแก้โค๊ดนิดหน่อย ตอนเปิดกล้อง ให้เปิดกล้องก่อนเซ็ต resolutionกล้อง ไม่งั้นมันจะ error

 

แล้วก็มีคนใช้ zed (depth camera) ทำ อันนี้น่าสนใจ เห็นบอกว่า พอ calibrate เสร็จ ก็ถอด hololens ออกได้

ตอนถ่ายวีดีโอจะแพนกล้องนิดๆหน่อยๆก็ไม่มีปัญหา เพราะ zed มันเป็น 6DOF trackตำแหน่งได้

 

ส่วนของตัวเอง ตอนนี้มี kinectv2 อยู่ ว่าจะลองต่อดู…

แล้วก็ต้องเขียน app ให้มัน share hologram ได้…

Using Markers with World Anchors in Mixed Reality Scene Sharing

Using Markers with World Anchors in Mixed Reality Scene Sharing

 

https://docs.unity3d.com/Manual/windowsholographic-photocapture.html

พอดีว่า ใช้ Hololens RS4 อยู่(อันใหม่) จะเจอ

[ERROR] Failed to get spatial interaction controller – touchpad, thumbstick, and vendor data will be unavailable to the application for InteractionController! Error code: ‘0x00000000’.

ตอนที่กล้องจับภาพเห็นมือเรา

วิธีแก้ คือใช้ unity2017.4.1f1++ ที่เค้า patch error เอาไว้แล้ว

ซึ่งตามมาด้วย vuforia เวอร์ชั่นใหม่ ซึ่งต่างกับเวอร์ชั่นเก่าตรงที่ ARCamera ของ vuforiaไม่มีช่องให้ลิงค์กับ HololensCamera

วิธี setup อันใหม่ ก็จะประมาณนี้ (ไม่ใช้ ARCamera ละ)

1.Build Setting > Switch to UWP Platform

2.Player setting >

– XR Setting > Check Virtual Reality Support, Vuforia AR

– Publishing Setting > Capabilities > Check InternetClient, Webcam, Microphone

– Other Setting > Scripting Backend = .NET

3. Build Setting > check debugging Unity c# project

4.Import HoloToolkit-Unity-v1.2017.2.0

delete Main Camera

Drag drop HololensCamera > Add component =Vuforia Behavior

-Clipping planes near=0.01

-World Center Mode = CAMERA

– Open Vuforia configuration > Add License key from

https://developer.vuforia.com/targetmanager/licenseManager/licenseListing

-Max simultaneous tracked Image = 4 (แล้วแต่จำนวนว่ามีกี่อัน)

-Device type = Digital Eyewear

-Device Config = Hololens

-Check Load Museum Database, Activate

(รอซักพักให้มัน connect license key แล้ว จะมีชื่อ database ของเราโผล่ขึ้นมา)

5. Add image file (max 2 mb) to track at

https://developer.vuforia.com/targetmanager/project/deviceTargetListing

6. Select image to use > Click “Download Database” Button

-get (image database) unity package file > ลากเข้า unity

7. GameObject > Vuforia > Image

จะได้ Gameobject ชื่อ ImageTarget

-Transform scale = 1

-Database = museum

-Image Target = ชื่อภาพที่จะใช้ track

-Advance > Check Extended Tracking

 

Optional

1. Add notice of display area : Canvas_debugarea.prefab, Render Camera = HololensCamera
2. Add Cursor.prefab
3. Add InputManager.prefab
4. Add spawncube : Spawncube.cs
5. Add debug broadcast : DebugLogBroadcaster.cs

 

กลับมาแตะ hololensอีกรอบ แบบหลงๆลืมๆ

1. new project on Unity5.6.5f1

2. import holotoolkit

https://github.com/Microsoft/MixedRealityToolkit-Unity/blob/master/External/Unitypackages/HoloToolkit-Unity-v1.5.6.0.unitypackage

3. Drag-drop HololensCamera,InputManager,Cursor

4.Code for spawn cube when airtap

ตรง inherit IInputClickHander, กับ เรียก PushFallbackInputHandler นี่สำคัญ ถ้าไม่ใส่  จะ airtab ไม่ติด

5. Create UI Image เพื่อสร้างขอบกำหนดระยะที่ hololensจะแสดงผล
ถ้าลองRemote Hololens แล้ว Run ดู จะเห็นว่า Display=1280*720

ตรง Canvas > Render mode = Screen space – camera แล้ว canvas จะ lock ติดจอ

ลองกำหนด ขนาด image หลายๆค่า สรุปว่า ขอบที่ width = 50 ตอน remote ดูแล้วจะมองไม่เห็น หรือเห็นเป็นเส้นลางๆ
(ถ้าcaptureมา มันจะเห็นครึ่งนึง แต่จริงๆแล้วมองด้วยตาไม่เห็นเยอะขนาดนั้น)

เลยใช้ width=55 เพื่อตอนเล่นจะได้เห็นระยะว่า กล้องมันจับภาพ/แสดงผล ช่วงระยะไหน

** พอลอง deploy ดู เห็นขอบเต็มๆเลยอ่า..เลยใช้ค่าที่ 25

6. Create UI Text อันนี้เอาไว้ แสดงผล ตอนเราใช้ Debug.Log();

7. Code for show DebugLog

อย่าลืมลาก textbox UI มาใส่ที่โค๊ดนี้ใน hierarchy

8. ก็จะได้ output ประมาณนี้

โค๊ดนี้ พอเรายกนิ้วขึ้น cursor จะไม่ขึ้น, cursor จะโชว์ตอนที่ gazeเราไปชนกับ cube เท่านั้น
คิดว่าเป็นเพราะไม่ได้ใส่ SpatialMapping prefab ไปใน hierarchy ก็เลย ไม่รู้ตำแหน่งที่gazeไปชนกับ object(mesh) ก็เลยแสดง cursor กลางอากาศไม่ได่