স্মার্ট চশমায় AI 'সোনার' দৃষ্টি এবং মুখের অভিব্যক্তি ট্র্যাক করে

কর্নেল বিশ্ববিদ্যালয়ের গবেষকরা সোনার-সদৃশ সেন্সিং প্রযুক্তির মাধ্যমে মানুষের দৃষ্টি এবং মুখের অভিব্যক্তি ট্র্যাক করার জন্য দুটি কৌশল তৈরি করেছেন। প্রযুক্তিটি বাণিজ্যিক স্মার্ট চশমা বা ভার্চুয়াল রিয়েলিটি বা অগমেন্টেড রিয়েলিটি হেডসেটগুলিতে ফিট করার জন্য যথেষ্ট ছোট, তবে ক্যামেরা ব্যবহার করে এমন অনুরূপ সরঞ্জামগুলির তুলনায় অনেক কম শক্তি খরচ করে৷

উভয়ই চশমার ফ্রেমে মাউন্ট করা স্পিকার এবং মাইক্রোফোন ব্যবহার করে মুখ থেকে অশ্রাব্য শব্দ তরঙ্গগুলিকে বাউন্স করতে এবং মুখের এবং চোখের নড়াচড়ার কারণে সৃষ্ট প্রতিফলিত সংকেতগুলি তুলে নিতে। GazeTrak হল প্রথম আই-ট্র্যাকিং সিস্টেম যা অ্যাকোস্টিক সিগন্যালের উপর নির্ভর করে।দ্বিতীয়টি হল EyeEcho, প্রথম চশমা-ভিত্তিক সিস্টেম যা ক্রমাগত এবং সঠিকভাবে সনাক্ত করতে পারে চেহারার অভিব্যক্তি এবং অবতারের মাধ্যমে রিয়েল টাইমে তাদের পুনরায় তৈরি করুন।

এই ডিভাইসগুলি স্মার্ট চশমা ব্যাটারি সহ কয়েক ঘন্টা এবং VR হেডসেটগুলির সাথে এক দিনেরও বেশি সময় ধরে চলতে পারে৷

“এটি ছোট, এটি সস্তা, এবং এটি অতি-নিম্ন শক্তি খরচ করে, তাই আপনি প্রতিদিন আপনার স্মার্ট চশমায় এটি পরতে পারেন — এটি আপনার ব্যাটারি নিষ্কাশন করবে না,” বলেছেন চেং ঝাং, তথ্য বিজ্ঞানের একজন সহকারী অধ্যাপক৷ ঝাং ফিউচার ইন্টারেক্টিভ ইন্টেলিজেন্ট কম্পিউটার ইন্টারফেস (এসএফ) ল্যাবরেটরির নেতৃত্ব দেয়, যা নতুন ডিভাইস তৈরি করেছে।

“একটি VR পরিবেশে, আপনি অন্য ব্যবহারকারীদের সাথে আরও ভালভাবে যোগাযোগ করার জন্য বিশদ মুখের অভিব্যক্তি এবং দৃষ্টি নড়াচড়া পুনরায় তৈরি করতে চান,” কে লি বলেছেন, একজন পিএইচডি ছাত্র যিনি GazeTrak এবং EyeEcho এর বিকাশের নেতৃত্ব দিয়েছেন৷

GazeTrak-এর জন্য, গবেষকরা চোখের বল এবং চোখের চারপাশের জায়গা থেকে শব্দ তরঙ্গ প্রতিফলিত করতে এবং তোলার জন্য চশমার প্রতিটি চোখের ফ্রেমের ভিতরে একটি স্পিকার এবং চারটি মাইক্রোফোন রেখেছেন।উৎপন্ন শব্দ সংকেত একটি কাস্টম ডিপ লার্নিং পাইপলাইনে খাওয়ানো হয় যা ব্যবহার করে এআই ক্রমাগত মানুষের দৃষ্টির দিক অনুমান করুন।

EyeEcho-এর জন্য, একটি স্পিকার এবং মাইক্রোফোন চশমার কব্জের পাশে বসে, মুখের অভিব্যক্তি পরিবর্তনের সাথে সাথে ত্বকের গতিবিধি ক্যাপচার করতে নিচের দিকে নির্দেশ করে। প্রতিফলিত সংকেত কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে ব্যাখ্যা করা যেতে পারে।

এই প্রযুক্তির সাহায্যে, ব্যবহারকারীরা তাদের অবতারের মাধ্যমে হ্যান্ডস-ফ্রি ভিডিও কল করতে পারে, এমনকি কোলাহলপূর্ণ ক্যাফেতে বা রাস্তায়। যদিও কিছু স্মার্ট চশমা মুখ চিনতে পারে বা নির্দিষ্ট অভিব্যক্তিকে আলাদা করতে পারে, বর্তমানে এমন কোনও স্মার্ট চশমা নেই যা ক্রমাগত EyeEcho-এর মতো অভিব্যক্তি ট্র্যাক করতে পারে।

এই দুটি অগ্রগতির ব্যক্তিগত ভিআর অভিজ্ঞতা বাড়ানোর বাইরেও অ্যাপ্লিকেশন রয়েছে। কম দৃষ্টিসম্পন্ন ব্যক্তিদের জন্য একটি ওয়েবসাইট ব্রাউজ করার সময় পাঠ্যের অংশগুলি পড়ার জন্য স্ক্রিন রিডারের সাথে GazeTrak ব্যবহার করা যেতে পারে।

GazeTrak এবং EyeEcho রোগ নির্ণয় বা পর্যবেক্ষণে সহায়ক হতে পারে নিউরোডিজেনারেটিভ রোগ, যেমন আলঝাইমার রোগ এবং পারকিনসন রোগ।এই ক্ষেত্রে, রোগীরা প্রায়ই অস্বাভাবিকতা অনুভব করে চোখের আন্দোলন কম অভিব্যক্তিপূর্ণ মুখের পাশাপাশি, এই প্রযুক্তি রোগীর বাড়িতে আরামে রোগের অগ্রগতি ট্র্যাক করতে পারে।

লি উপস্থিত থাকবেন দৃষ্টি ট্র্যাকিং মোবাইল কম্পিউটিং এবং নেটওয়ার্কিং বার্ষিক আন্তর্জাতিক সম্মেলনে, পতন চোখের প্রতিধ্বনি মে মাসে অ্যাসোসিয়েশন ফর কম্পিউটিং মেশিনারি-এর সিএইচআই সম্মেলনে কম্পিউটিং সিস্টেমে মানবিক বিষয় নিয়ে আলোচনা করা।

গবেষণার ফলাফল হল প্রকাশ এ arXiv প্রিপ্রিন্ট সার্ভার।