দৃষ্টিপ্রতিবন্ধীদের সাহায্য করার জন্য মাইক্রোকন্ট্রোলারগুলিতে সোনার, লিডার এবং কম্পিউটার ভিশন ব্যবহার করা: 16 টি পদক্ষেপ

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 08:01

আমি একটি বুদ্ধিমান 'বেত' তৈরি করতে চাই যা দৃষ্টিশক্তিহীন ব্যক্তিদের বিদ্যমান সমাধানের চেয়ে অনেক বেশি সাহায্য করতে পারে। বেত চারপাশের সাউন্ড টাইপ হেডফোনে আওয়াজ করে সামনের বা পাশে ব্যবহারকারীদের অবহিত করতে সক্ষম হবে। বেতের একটি ছোট ক্যামেরা এবং LIDAR (লাইট ডিটেকশন অ্যান্ড রেঞ্জিং) থাকবে যাতে এটি রুমে থাকা বস্তু এবং মানুষকে চিনতে পারে এবং হেডফোন ব্যবহার করে ব্যবহারকারীকে অবহিত করতে পারে। নিরাপত্তার কারণে, হেডফোনগুলি সমস্ত আওয়াজ বন্ধ করবে না কারণ সেখানে একটি মাইক্রোফোন থাকবে যা অপ্রয়োজনীয় শব্দগুলিকে ফিল্টার করতে পারে এবং গাড়ির হর্ন এবং লোকদের কথা বলতে পারে। অবশেষে সিস্টেমে একটি জিপিএস থাকবে যাতে এটি নির্দেশনা দিতে পারে এবং ব্যবহারকারীকে কোথায় যেতে হবে তা দেখাতে পারে।

অনুগ্রহ করে মাইক্রোকন্ট্রোলার এবং আউটডোর ফিটনেস প্রতিযোগিতায় আমার জন্য ভোট দিন!

ধাপ 1: প্রকল্পের ওভারভিউ

ওয়ার্ল্ড অ্যাক্সেস ফর দ্য ব্লাইন্ডের মতে, শারীরিক আন্দোলন হল অন্ধদের জন্য সবচেয়ে বড় চ্যালেঞ্জ। ভীড় করা রাস্তায় ভ্রমণ করা বা কেবল হাঁটা খুব কঠিন হতে পারে। Traতিহ্যগতভাবে একমাত্র সমাধান ছিল সাধারণভাবে পরিচিত "সাদা বেত" ব্যবহার করা যা প্রাথমিকভাবে ব্যবহারকারীর সান্নিধ্যে প্রতিবন্ধকতা কাটিয়ে আশেপাশের স্ক্যান করতে ব্যবহৃত হয়। একটি ভাল সমাধান হ'ল এমন একটি ডিভাইস যা দৃষ্টিশক্তির সহায়ককে প্রতিবন্ধকতার অবস্থান সম্পর্কে তথ্য সরবরাহ করে প্রতিস্থাপন করতে পারে যাতে অন্ধ ব্যক্তি অজানা পরিবেশে বাইরে যেতে পারে এবং নিরাপদ বোধ করতে পারে। এই প্রকল্পের সময়, একটি ছোট ব্যাটারি চালিত ডিভাইস যা এই মানদণ্ডগুলি পূরণ করে তৈরি করা হয়েছিল। ডিভাইসটি সেন্সরগুলির মাধ্যমে বস্তুর আকার এবং অবস্থান সনাক্ত করতে পারে যা ব্যবহারকারীর সাথে সম্পর্কিত বস্তুর অবস্থান পরিমাপ করে, সেই তথ্যকে একটি মাইক্রোকন্ট্রোলারে রিলে করে এবং তারপর ব্যবহারকারীকে তথ্য প্রদানের জন্য এটিকে অডিওতে রূপান্তর করে। ডিভাইসটি উপলব্ধ বাণিজ্যিক লিডার (লাইট ডিটেকশন অ্যান্ড রেঞ্জিং), সোনার (সাউন্ড ন্যাভিগেশন এবং রেঞ্জিং), এবং মাইক্রোকন্ট্রোলারের সাথে যুক্ত কম্পিউটার ভিশন প্রযুক্তি ব্যবহার করে তৈরি করা হয়েছিল এবং ইয়ারবাড বা হেডফোন ব্যবহার করে প্রয়োজনীয় শ্রবণযোগ্য তথ্য আউটপুট প্রদানের জন্য প্রোগ্রাম করা হয়েছিল। সনাক্তকরণ প্রযুক্তি ব্যবহারকারীর অবস্থা অন্যদের নির্দেশ করতে এবং অতিরিক্ত নিরাপত্তা প্রদানের জন্য একটি "সাদা বেত" এর মধ্যে এমবেড করা হয়েছিল।

ধাপ 2: পটভূমি গবেষণা

2017 সালে, বিশ্ব স্বাস্থ্য সংস্থা জানিয়েছে যে বিশ্বব্যাপী 285 মিলিয়ন দৃষ্টিপ্রতিবন্ধী মানুষ রয়েছে যার মধ্যে 39 মিলিয়ন সম্পূর্ণ অন্ধ। দৃষ্টিশক্তিহীন ব্যক্তিরা প্রতিদিন যে সমস্যার মুখোমুখি হন সে সম্পর্কে বেশিরভাগ মানুষ ভাবেন না। ওয়ার্ল্ড অ্যাক্সেস ফর দ্য ব্লাইন্ডের মতে, শারীরিক আন্দোলন হল অন্ধদের জন্য সবচেয়ে বড় চ্যালেঞ্জ। ভীড় করা রাস্তায় ভ্রমণ করা বা কেবল হাঁটা খুব কঠিন হতে পারে। এই কারণে, অনেক লোক যারা দৃষ্টি প্রতিবন্ধী তারা নতুন পরিবেশে নেভিগেট করতে সাহায্য করার জন্য একজন দৃষ্টিশক্তি বন্ধু বা পরিবারের সদস্যকে নিয়ে আসতে পছন্দ করে। Traতিহ্যগতভাবে একমাত্র সমাধান ছিল সাধারণভাবে পরিচিত "সাদা বেত" ব্যবহার করা যা প্রাথমিকভাবে ব্যবহারকারীর সান্নিধ্যে প্রতিবন্ধকতা কাটিয়ে আশেপাশের স্ক্যান করতে ব্যবহৃত হয়। একটি ভাল সমাধান হ'ল এমন একটি ডিভাইস যা দৃষ্টিশক্তির সহায়ককে প্রতিবন্ধকতার অবস্থান সম্পর্কে তথ্য সরবরাহ করে প্রতিস্থাপন করতে পারে যাতে অন্ধ ব্যক্তি অজানা পরিবেশে বাইরে যেতে পারে এবং নিরাপদ বোধ করতে পারে। আইবিএম এবং কার্নেগি মেলন ইউনিভার্সিটির মধ্যে সহযোগিতা নেভকগ গাইডকে সাহায্য করার জন্য ব্লুটুথ বীকন এবং স্মার্টফোন ব্যবহার করে একটি সিস্টেম তৈরি করে সমস্যা সমাধানের চেষ্টা করেছে। যাইহোক, সমাধানটি কষ্টকর ছিল এবং বড় আকারের বাস্তবায়নের জন্য এটি খুব ব্যয়বহুল বলে প্রমাণিত হয়েছিল। আমার সমাধান এটি বহিরাগত ডিভাইসের জন্য কোন প্রয়োজন দূর করে এবং ব্যবহারকারীকে সারা দিন গাইড করার জন্য একটি ভয়েস ব্যবহার করে সমাধান করে (চিত্র 3)। একটি "সাদা বেত" এর মধ্যে প্রযুক্তিটি এম্বেড করা থাকার সুবিধা হল যে এটি ব্যবহারকারীর অবস্থার বাকি বিশ্বে সংকেত দেয় যা আশেপাশের মানুষের আচরণে পরিবর্তন আনে।

ধাপ 3: নকশা প্রয়োজনীয়তা

উপলভ্য প্রযুক্তিগুলি নিয়ে গবেষণা করার পর, আমি দৃষ্টিপ্রতিবন্ধীদের তাদের পরিবেশে নেভিগেট করতে সাহায্য করার সর্বোত্তম পদ্ধতির উপর দৃষ্টি পেশাদারদের সাথে সম্ভাব্য সমাধান নিয়ে আলোচনা করেছি। নিচের টেবিলে আমার ডিভাইসে স্থানান্তরের জন্য প্রয়োজনীয় সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্যগুলি তালিকাভুক্ত করা হয়েছে।

বৈশিষ্ট্য - বর্ণনা:

• গণনা - ব্যবহারকারী এবং সেন্সরের মধ্যে বিনিময়কৃত তথ্যের জন্য সিস্টেমকে দ্রুত প্রক্রিয়াকরণ সরবরাহ করতে হবে। উদাহরণস্বরূপ, সিস্টেমটি কমপক্ষে 2 মিটার দূরে থাকা ব্যবহারকারীদের সামনে বাধা সম্পর্কে জানাতে সক্ষম হতে হবে।
• কভারেজ - দৃষ্টিপ্রতিবন্ধী মানুষের জীবনের মান উন্নয়নে সিস্টেমকে ঘরের ভিতরে এবং বাইরে তার সেবা প্রদান করতে হবে।
• সময় - সিস্টেমটি দিনের বেলায় যেমন ভালভাবে সম্পাদন করা উচিত রাতের বেলায়।
• ব্যাপ্তি - ব্যাপ্তি হল ব্যবহারকারী এবং সিস্টেমের দ্বারা সনাক্ত করা বস্তুর মধ্যে দূরত্ব। আদর্শ ন্যূনতম পরিসীমা 0.5 মিটার, যেখানে সর্বোচ্চ পরিসীমা 5 মিটারের বেশি হওয়া উচিত। আরও দূরত্ব আরও ভাল হবে কিন্তু গণনা করা আরও চ্যালেঞ্জিং।
• অবজেক্ট টাইপ - সিস্টেমের উচিত অবজেক্টের আকস্মিক চেহারা সনাক্ত করা। সিস্টেমটি চলমান বস্তু এবং স্থির বস্তুর মধ্যে পার্থক্য বলতে সক্ষম হওয়া উচিত।

ধাপ 4: ইঞ্জিনিয়ারিং ডিজাইন এবং সরঞ্জাম নির্বাচন

অনেকগুলি বিভিন্ন উপাদান দেখার পরে, আমি নীচের বিভিন্ন বিভাগ থেকে নির্বাচিত অংশগুলির বিষয়ে সিদ্ধান্ত নিয়েছি।

নির্বাচিত যন্ত্রাংশের মূল্য:

• জঙ্গল প্যান্থার: $ 149.99
• লিডার লাইট ভি 3: $ 149.99
• LV-MaxSonar-EZ1: $ 29.95
• অতিস্বনক সেন্সর - HC -SR04: $ 3.95
• রাস্পবেরি পাই 3: $ 39.95
• Arduino: $ 24.95
• Kinect: $ 32.44
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: $ 9.64

ধাপ 5: সরঞ্জাম নির্বাচন: মিথস্ক্রিয়া পদ্ধতি

আমি ডিভাইসের সাথে কথোপকথনের পদ্ধতি হিসেবে ভয়েস কন্ট্রোল ব্যবহার করার সিদ্ধান্ত নিয়েছি কারণ একটি বেতের উপর একাধিক বোতাম থাকা একজন দৃষ্টিপ্রতিবন্ধীর জন্য চ্যালেঞ্জিং হতে পারে, বিশেষ করে যদি কিছু ফাংশনের জন্য বোতামের সমন্বয় প্রয়োজন হয়। ভয়েস কন্ট্রোলের সাহায্যে ব্যবহারকারী বেতের সাথে যোগাযোগের জন্য প্রিসেট কমান্ড ব্যবহার করতে পারে যা সম্ভাব্য ত্রুটি কমায়।

ডিভাইস: পেশাদার --- কনস:

• বোতাম: ডান বোতাম চাপলে কমান্ডের কোন ত্রুটি --- সঠিক বোতামগুলি চাপা দেওয়া নিশ্চিত করা চ্যালেঞ্জিং হতে পারে
• ভয়েস কন্ট্রোল: সহজ কারণ ব্যবহারকারী প্রিসেট কমান্ড ব্যবহার করতে পারে --- ভুল উচ্চারণ ত্রুটি সৃষ্টি করতে পারে

ধাপ 6: সরঞ্জাম নির্বাচন: মাইক্রোকন্ট্রোলার

ডিভাইসটি রাস্পবেরি পাই ব্যবহার করেছে কারণ এর কম খরচে এবং গভীরতা মানচিত্র গণনা করার জন্য পর্যাপ্ত প্রক্রিয়াকরণ শক্তি। ইন্টেল জৌল পছন্দসই বিকল্প হতে পারত কিন্তু এর দাম সিস্টেমের খরচ দ্বিগুণ হত যা এই ডিভাইসটি আদর্শ হবে না যা ব্যবহারকারীদের জন্য কম খরচের বিকল্প সরবরাহ করার জন্য তৈরি করা হয়েছে। Arduino সিস্টেমে ব্যবহার করা হয়েছিল কারণ এটি সহজেই সেন্সর থেকে তথ্য পেতে পারে। দ্য বিগলবোন এবং ইন্টেল এডিসন ব্যবহার করা হয়নি কারণ কম দাম থেকে পারফরম্যান্স অনুপাত যা এই কম খরচের সিস্টেমের জন্য খারাপ।

মাইক্রোকন্ট্রোলার: পেশাদার --- কনস:

• রাস্পবেরি পাই: বাধাগুলি খুঁজে পাওয়ার জন্য যথেষ্ট প্রক্রিয়াকরণ ক্ষমতা রয়েছে এবং ওয়াইফাই/ব্লুটুথকে সংহত করেছে --- সেন্সর থেকে ডেটা পাওয়ার জন্য অনেকগুলি বিকল্প নেই
• Arduino: ছোট সেন্সর থেকে সহজেই ডেটা গ্রহণ করুন। যেমন। LIDAR, অতিস্বনক, SONAR, ইত্যাদি --- বাধা খুঁজে পাওয়ার জন্য পর্যাপ্ত প্রক্রিয়াকরণ শক্তি নেই
• ইন্টেল এডিসন: দ্রুত প্রসেসর দিয়ে দ্রুত বাধা প্রক্রিয়া করতে পারে --- সিস্টেমের জন্য কাজ করার জন্য অতিরিক্ত ডেভেলপার টুকরা প্রয়োজন
• ইন্টেল জৌল: ভোক্তা বাজারে এখন পর্যন্ত যেকোনো মাইক্রোকন্ট্রোলারের প্রসেসিং স্পিড দ্বিগুণ হয়েছে --- এই সিস্টেমের জন্য খুব বেশি খরচ এবং সেন্সর ইন্টারঅ্যাকশনের জন্য জিপিআইওর সাথে যোগাযোগ করা কঠিন
• বিগলবোন ব্ল্যাক: সাধারণ উদ্দেশ্য ইনপুট আউটপুট (জিপিআইও) ব্যবহার করে প্রকল্পে ব্যবহৃত সেন্সরের সাথে কম্প্যাক্ট এবং সামঞ্জস্যপূর্ণ --- বস্তুগুলি কার্যকরভাবে খুঁজে পাওয়ার জন্য পর্যাপ্ত প্রসেসিং পাওয়ার নেই

ধাপ 7: সরঞ্জাম নির্বাচন: সেন্সর

উচ্চ অবস্থানের নির্ভুলতা পেতে বেশ কয়েকটি সেন্সরের সংমিশ্রণ ব্যবহার করা হয়। Kinect হল প্রধান সেন্সর কারণ এটি এক সময় যে পরিমাণ এলাকা বাধাগুলির জন্য স্ক্যান করতে পারে। LIDAR যার অর্থ LIght Detection and Raning, একটি দূরবর্তী সেন্সিং পদ্ধতি যা একটি স্পন্দিত লেজারের আকারে আলো ব্যবহার করে যেখানে সেন্সরটি দ্রুত বস্তু থেকে দূরত্ব পরিমাপ করে; সেই সেন্সরটি ব্যবহার করা হয় কারণ এটি 40 মিটার (m) দূরে একটি এলাকা ট্র্যাক করতে পারে এবং যেহেতু এটি বিভিন্ন কোণে স্ক্যান করতে পারে, তাই এটি কোন পদক্ষেপ উপরে বা নিচে যাচ্ছে কিনা তা সনাক্ত করতে পারে। SOND ন্যাভিগেশন এবং রেঞ্জিং (SONAR) এবং অতিস্বনক সেন্সর ব্যাকআপ ট্র্যাকিং হিসাবে ব্যবহার করা হয় যদি Kinect একটি মেরু বা মাটিতে আঘাত করে যা ব্যবহারকারীর জন্য বিপদ ডেকে আনে। 9 ডিগ্রী অফ ফ্রিডম সেন্সর ব্যবহারকারী কোন দিকের মুখোমুখি হচ্ছে তা ট্র্যাক করার জন্য ব্যবহার করা হয় যাতে পরের বার যখন ব্যক্তি একই স্থানে হাঁটবে তখন ডিভাইসটি উচ্চ নির্ভুলতার জন্য তথ্য সংরক্ষণ করতে পারে।

সেন্সর: পেশাদার --- কনস:

• Kinect V1: 3D বস্তু ট্র্যাক করতে পারে --- শুধুমাত্র একটি ক্যামেরা দিয়ে পারিপার্শ্বিকতা সনাক্ত করা যায়
• Kinect V2: 3 টি ইনফ্রারেড ক্যামেরা এবং একটি লাল, সবুজ, নীল, গভীরতা (RGB-D) ক্যামেরা উচ্চ নির্ভুলতা 3D বস্তু সনাক্তকরণের জন্য --- গরম করতে পারে এবং একটি কুলিং ফ্যানের প্রয়োজন হতে পারে, এবং অন্যান্য সেন্সরের চেয়ে বড়
• লিডার: মরীচি যা 40 মিটার দূরে অবস্থানগুলি ট্র্যাক করতে পারে --- বস্তুর দিকে অবস্থান করা প্রয়োজন এবং কেবল সেই দিকেই তাকাতে পারে
• সোনার: বিম যা 5 মিটার দূরে ট্র্যাক করতে পারে কিন্তু অনেক দূর পর্যন্ত --- পালকের মতো ছোট বস্তু সেন্সরকে ট্রিগার করতে পারে
• অতিস্বনক: 3 মিটার পর্যন্ত পরিসীমা এবং খুব সস্তা --- দূরত্ব মাঝে মাঝে ভুল হতে পারে
• স্বাধীনতা সেন্সরের 9 ডিগ্রি: ব্যবহারকারীর গতিশীলতা এবং গতি সেন্সিংয়ের জন্য ভাল --- যদি কিছু সেন্সরের সাথে হস্তক্ষেপ করে তবে দূরত্বের গণনা ভুলভাবে গণনা করা যেতে পারে

ধাপ 8: সরঞ্জাম নির্বাচন: সফটওয়্যার

Kinect V1 সেন্সর দিয়ে নির্মিত প্রথম কয়েকটি প্রোটোটাইপের জন্য নির্বাচিত সফটওয়্যারটি ছিল Freenect কিন্তু এটি খুব সঠিক ছিল না। Kinect V2 এবং Freenect2 তে স্যুইচ করার সময়, উন্নত ট্র্যাকিংয়ের কারণে ট্র্যাকিং ফলাফল উল্লেখযোগ্যভাবে উন্নত হয়েছিল কারণ V2 তে একটি HD ক্যামেরা এবং 3 ইনফ্রারেড ক্যামেরা Kinect V1 এ একক ক্যামেরার বিপরীতে রয়েছে। যখন আমি Kinect V1 এর সাথে OpenNi2 ব্যবহার করছিলাম, ফাংশন সীমিত ছিল এবং আমি ডিভাইসের কিছু ফাংশন নিয়ন্ত্রণ করতে পারছিলাম না।

সফটওয়্যার: পেশাদার --- অসুবিধা:

• Freenect: সবকিছু নিয়ন্ত্রণ করার জন্য নিম্ন স্তরের নিয়ন্ত্রণ আছে --- শুধুমাত্র Kinect V1 সমর্থন করে
• OpenNi2: Kinect থেকে তথ্য প্রবাহ থেকে সহজেই পয়েন্ট ক্লাউড ডেটা তৈরি করতে পারে --- শুধুমাত্র Kinect V1 সমর্থন করে এবং নিম্ন স্তরের নিয়ন্ত্রণের জন্য সমর্থন নেই
• Freenect2: সেন্সর বারের জন্য নিম্ন স্তরের নিয়ন্ত্রণ আছে --- শুধুমাত্র Kinect V2 এর জন্য কাজ করে
• ROS: ক্যামেরা ফাংশন প্রোগ্রামিংয়ের জন্য অপারেটিং সিস্টেম আদর্শ --- একটি দ্রুত SD কার্ডে ইনস্টল করা প্রয়োজন যাতে সফটওয়্যারটি কাজ করে

ধাপ 9: সরঞ্জাম নির্বাচন: অন্যান্য যন্ত্রাংশ

লিথিয়াম আয়ন ব্যাটারিগুলি হালকা, উচ্চ ক্ষমতা ধারণক্ষমতা এবং রিচার্জেবল হওয়ার কারণে নির্বাচিত হয়েছিল। লিথিয়াম আয়ন ব্যাটারির 18650 বৈকল্পিক একটি নলাকার আকৃতি এবং বেতের প্রোটোটাইপে পুরোপুরি ফিট করে। ১ ম প্রোটোটাইপ বেত পিভিসি পাইপ দিয়ে তৈরি কারণ এটি ফাঁপা এবং বেতের ওজন কমায়।

ধাপ 10: সিস্টেম ডেভেলপমেন্ট: হার্ডওয়্যার তৈরি করা পার্ট 1

প্রথমে আমাদের Kinect কে হালকা করে তুলতে হবে এবং এটি বেতের ভিতরে ফিট হবে। আমি Kinect থেকে বাইরের সমস্ত আবরণ সরিয়ে দিয়ে শুরু করেছি কারণ ব্যবহৃত প্লাস্টিকের ওজন অনেক। তারপরে আমাকে কেবলটি কেটে ফেলতে হয়েছিল যাতে বেসটি সরানো যায়। আমি ছবিতে দেখানো সংযোগকারী থেকে তারগুলি নিয়েছি এবং সেগুলিকে একটি ইউএসবি তারের সাথে সংকেত তারের সাথে বিক্রি করেছি এবং অন্য দুটি সংযোগ 12V ইনপুট পাওয়ারের জন্য ছিল। যেহেতু আমি চেয়েছিলাম যে বেতের ভিতরের ফ্যানটি অন্যান্য সমস্ত উপাদানকে ঠান্ডা করার জন্য পুরো শক্তি দিয়ে চলুক, তাই আমি কাইনেক্ট থেকে ফ্যানের সংযোগকারীটি কেটে ফেললাম এবং রাস্পবেরি পাই থেকে 5V তারযুক্ত করলাম। আমি লিডার তারের জন্য একটি ছোট অ্যাডাপ্টারও তৈরি করেছি যাতে এটি সরাসরি রাস্পবেরি পাইতে অন্য কোন সিস্টেম ছাড়া সংযোগ করতে পারে।

আমি দুর্ঘটনাক্রমে সাদা তারটিকে কালো রঙে বিক্রি করেছি তাই তারের চিত্রের জন্য ছবিগুলি দেখবেন না।

ধাপ 11: সিস্টেম ডেভেলপমেন্ট: হার্ডওয়্যার তৈরি করা পার্ট 2

আমি রাস্পবেরি পাই এর মতো 5V এর প্রয়োজন এমন সমস্ত ডিভাইসে শক্তি প্রদানের জন্য একটি নিয়ন্ত্রক অংশ তৈরি করেছি। আমি আউটপুটে একটি মিটার লাগিয়ে এবং প্রতিরোধককে সামঞ্জস্য করে নিয়ন্ত্রককে সুরক্ষিত করেছি যাতে নিয়ন্ত্রক 5.05V প্রদান করে। আমি এটি 5V এর চেয়ে একটু বেশি রাখি কারণ সময়ের সাথে সাথে ব্যাটারির ভোল্টেজ কমে যায় এবং আউটপুট ভোল্টেজকে সামান্য প্রভাবিত করে। আমি একটি অ্যাডাপ্টারও তৈরি করেছি যা আমাকে 5 টি ডিভাইস পর্যন্ত পাওয়ার করতে দেয় যার জন্য ব্যাটারি থেকে 12V প্রয়োজন।

ধাপ 12: সিস্টেম ডেভেলপমেন্ট: প্রোগ্রামিং সিস্টেম পার্ট 1

এই সিস্টেমের অন্যতম চ্যালেঞ্জিং অংশ হল প্রোগ্রামিং। যখন আমি প্রথম Kinect এর সাথে খেলতে পেরেছিলাম, তখন আমি RTAB ম্যাপ নামে একটি প্রোগ্রাম ইনস্টল করেছিলাম যা Kinect থেকে ডেটা স্ট্রিম নেয় এবং এটি একটি পয়েন্ট ক্লাউডে রূপান্তরিত করে। বিন্দু মেঘের সাথে, এটি একটি 3D ইমেজ তৈরি করেছে যা ঘোরানো যায় তাই সমস্ত বস্তু কোথায় আছে তার গভীরতা দেখুন। কিছুক্ষণের জন্য এটির সাথে খেলার পরে এবং সমস্ত সেটিংস সামঞ্জস্য করার পরে, আমি রাস্পবেরি পাইতে কিছু সফ্টওয়্যার ইনস্টল করার সিদ্ধান্ত নিয়েছি যাতে আমাকে কিনেক্ট থেকে ডেটা স্ট্রিম দেখতে দেওয়া যায়। উপরের শেষ দুটি ছবি দেখায় যে রাস্পবেরি পাই প্রতি সেকেন্ডে প্রায় 15-20 ফ্রেমে কী উত্পাদন করতে পারে।