পার্ট ২. গুগল অটোএমএল এর সাথে থিংকবায়োটি মডেল:। টি ধাপ

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 08:00

ThinkBioT কে ডিজাইন করা হয়েছে "প্লাগ অ্যান্ড প্লে", এজ TPU সামঞ্জস্যপূর্ণ TensorFlow Lite মডেলের সাথে।

এই ডকুমেন্টেশনে আমরা বর্ণালী তৈরি করা, আপনার ডেটা ফরম্যাট করা এবং গুগল অটোএমএল ব্যবহার করব।

এই টিউটোরিয়ালের কোডটি ব্যাশে লেখা হবে তাই মাল্টি-প্ল্যাটফর্ম সামঞ্জস্যপূর্ণ হবে।

নির্ভরতা

• তবে শুরু করার আগে আপনাকে উইন্ডোজ, ম্যাক এবং লিনাক্স ডিভাইসের সাথে সামঞ্জস্যপূর্ণ একটি কমান্ড লাইন অডিও প্রোগ্রাম Sox ইনস্টল করতে হবে।
• যদি আপনি একটি উইন্ডোজ ডিভাইসে থাকেন তবে ব্যাশ স্ক্রিপ্টগুলি চালানোর সবচেয়ে সহজ উপায় হল গিটের মাধ্যমে তাই আমি সুপারিশ করব এবং ডাউনলোড এবং ইনস্টল করব এটি অনেক উপায়ে এটি উপকারী হিসাবে,
• কোড সম্পাদনার জন্য হয় আপনার প্রিয় সম্পাদক ব্যবহার করুন অথবা উইন্ডোজের জন্য নোটপ্যাড ++ ইনস্টল করুন অথবা অন্যান্য অপারেটিং সিস্টেমের জন্য এটম।

** যদি আপনার একটি বিদ্যমান TensorFlow মডেল থাকে অথবা একটি বিদ্যমান মডেলের সাথে ট্রান্সফার লার্নিং চেষ্টা করতে চান, তাহলে দয়া করে Google কোরাল ডকুমেন্টেশন দেখুন।

ধাপ 1: একটি গুগল ক্লাউড স্টোরেজ বালতি সেট আপ করুন

1. আপনার জিমেইল অ্যাকাউন্টে লগইন করুন (অথবা আপনার যদি গুগল অ্যাকাউন্ট না থাকে তবে একটি তৈরি করুন)

2. প্রকল্প নির্বাচক পৃষ্ঠায় যান এবং আপনার জন্য একটি নতুন প্রকল্প তৈরি করুন মডেল এবং বর্ণালী ফাইল। আরও অগ্রগতির জন্য আপনাকে বিলিং সক্ষম করতে হবে।

3. https://cloud.google.com/storage/ এ যান এবং পৃষ্ঠার শীর্ষে ক্রিয়েট বাকেট বোতাম টিপুন।

4. আপনার পছন্দসই বালতির নাম লিখুন এবং ডিফল্ট সেটিংস গ্রহণ করে বালতি তৈরি করুন।

ধাপ 2: আপনার ডেটা ফরম্যাট করুন এবং ডেটাসেট সিএসভি তৈরি করুন

আপনার মডেল তৈরির জন্য প্রয়োজনীয় আপনার dataset.csv ফাইল তৈরির জন্য আমি একটি সহায়ক স্ক্রিপ্ট ডিজাইন করেছি। ডেটাসেট ফাইলটি আপনার বালতিতে থাকা ছবিগুলিকে ডেটাসেটের লেবেলে লিঙ্ক করে..

1. GitHub থেকে ThinkBioT সংগ্রহস্থল ডাউনলোড করুন এবং

2. আপনার ডেস্কটপে একটি নতুন ফোল্ডারে টুলস ডিরেক্টরি থেকে tbt_spect_example.sh ফাইলটি অনুলিপি করুন।

3. আপনি আপনার মডেলে যেসব অডিও ফাইল ব্যবহার করতে চান, সেগুলি তাদের লেবেলযুক্ত ফোল্ডারে রাখুন (যেমন আপনি সেগুলো সাজাতে চান। উদাহরণস্বরূপ, যদি আপনি কুকুর বা বিড়াল সনাক্ত করতে চান, তাহলে আপনার একটি ফোল্ডার থাকতে পারে) কুকুর, ছাল শব্দ সহ বা বিড়াল নামক ফোল্ডার বিড়াল শব্দ সহ ইত্যাদি।

4. নোটপ্যাড ++ দিয়ে tbt_spect_example.sh খুলুন এবং 54 নম্বরে "yourbucknamename" প্রতিস্থাপন করুন আপনার গুগল স্টোরেজ বালতি নামের সাথে। উদাহরণস্বরূপ, যদি আপনার বালতিকে myModelBucket বলা হয় তাহলে লাইনটি পরিবর্তন করা হবে

বালতি = "gs: // myModelBucket/spectro-data/"

5. আপনার ব্যাশ টার্মিনালে নিম্নলিখিতটি লিখে কোডটি চালান, কোডটি আপনার লেবেল csv ফাইল এবং আপনার ডেস্কের উপরে স্পেকট্রো-ডেটা নামে একটি ডিরেক্টরি তৈরি করবে ফলে স্পেকট্রোগ্রাম।

t tbt_spect_example.sh

ধাপ 3: আপনার বালতিতে আপনার বর্ণালী আপলোড করুন

গুগল স্টোরেজে আপলোড করার কয়েকটি উপায় রয়েছে, সহজ ফোল্ডার আপ লোড করা সবচেয়ে সহজ;

1. আপনার গুগল স্টোরেজ পৃষ্ঠায় আপনার বালতি নামের উপর ক্লিক করুন।

2. "আপলোড ফোল্ডার" বোতামটি নির্বাচন করুন এবং শেষ ধাপে তৈরি আপনার "বর্ণালী-ডেটা/" ডিরেক্টরিটি নির্বাচন করুন।

অথবা

2. যদি আপনার কাছে প্রচুর পরিমাণে ফাইল থাকে তাহলে আপনি "CREATE FOLDER" নির্বাচন করে ম্যানুয়ালি "spectro-data/" ডিরেক্টরি তৈরি করুন, তারপর ফোল্ডারে নেভিগেট করুন এবং "UPLOAD FILES" নির্বাচন করুন। এটি বড় ডেটা সেটের জন্য একটি দুর্দান্ত বিকল্প হতে পারে কারণ আপনি বিভাগগুলিতে বর্ণালী আপলোড করতে পারেন, এমনকি আপলোডের গতি বাড়ানোর জন্য একাধিক কম্পিউটার ব্যবহার করে।

অথবা

2. আপনি যদি একজন উন্নত ব্যবহারকারী হন তাহলে আপনি গুগল ক্লাউড শেলের মাধ্যমেও আপলোড করতে পারেন;

gsutil cp spectro-data/* gs: // your-bucket-name/spectro-data/

আপনার এখন বেশ সুন্দর বর্ণালী ভরা বালতি থাকা উচিত!

ধাপ 4: আপনার ডেটাসেট সিএসভি আপলোড করুন

এখন আমাদের গুগল স্টোরেজে আপনার "spectro-data/" ডিরেক্টরিতে model-labels.csv ফাইলটি আপলোড করতে হবে, এটি মূলত শেষ ধাপের মতো, আপনি অনেকের পরিবর্তে একটি মাত্র ফাইল আপলোড করছেন।

1. আপনার গুগল স্টোরেজ পৃষ্ঠায় আপনার বালতি নামের উপর ক্লিক করুন।

2. "UPLOAD FILE" বাটন নির্বাচন করুন এবং আপনার আগে তৈরি করা model-labels.csv ফাইলটি বেছে নিন।

ধাপ 5: ডেটাসেট তৈরি করুন

1. প্রথমে আপনাকে AutoML VIsion API খুঁজে বের করতে হবে, এটি একটু কঠিন হতে পারে! সবচেয়ে সহজ উপায় হল আপনার গুগল ক্লাউড স্টোরেজের সার্চ বারে "অটোমল ভিশন" অনুসন্ধান করা (ছবিতে)।

2. একবার আপনি API লিংকে ক্লিক করলে আপনাকে API সক্ষম করতে হবে।

3. এখন আপনি অটোএমএল ভিশন ড্যাশবোর্ডে থাকবেন (ছবিতে) নতুন ডেটাসেট বাটনে ক্লিক করুন এবং একক লেবেল এবং 'সিএসভি ফাইল নির্বাচন করুন' বিকল্পটি নির্বাচন করুন। তারপরে আপনি আপনার স্টোরেজ বালতিতে আপনার মডেল- labels.csv ফাইলের লিঙ্কটি অন্তর্ভুক্ত করবেন। আপনি যদি এই টিউটোরিয়ালটি অনুসরণ করেন তবে এটি নীচের অনুসারে হবে

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. তারপর আপনার ডেটাসেট তৈরি করতে অবিরত চাপুন। এটি তৈরি করতে কিছু সময় লাগতে পারে।

ধাপ 6: আপনার অটোএমএল মডেল তৈরি করুন

একবার আপনি আপনার ইমেল পেয়ে গেলে আপনাকে জানিয়ে দেবে আপনার ডেটাসেট তৈরি হয়ে গেছে আপনি আপনার নতুন মডেল তৈরি করতে প্রস্তুত।

1. ট্রেন বোতাম টিপুন
2. মডেল টাইপ নির্বাচন করুন: এজ এবং মডেল লেটেন্সি অনুমান: এজ টিপিইউ এবং অন্যান্য অপশনগুলিকে ডিফল্ট হিসেবে প্রথমে ছেড়ে দিন, কঠিন আপনি পরে পরীক্ষা করতে পছন্দ করতে পারেন।
3. এখন আপনার মডেল প্রশিক্ষণ দেবে, এতে কিছু সময় লাগবে এবং ডাউনলোডের জন্য প্রস্তুত হলে আপনি একটি ইমেল পাবেন।

দ্রষ্টব্য: যদি আপনি ট্রেন বাটন অনুপলব্ধ থাকেন তাহলে আপনার ডেটাসেটে সমস্যা হতে পারে। যদি আপনার প্রতিটি ক্লাসের 10 টির কম থাকে (লেবেল) সিস্টেম আপনাকে একটি মডেলকে প্রশিক্ষণ দিতে দেবে না যাতে আপনাকে অতিরিক্ত ছবি যোগ করতে হতে পারে। আপনার যদি স্পষ্টীকরণের প্রয়োজন হয় তবে গুগল অটোএমএল ভিডিওটি দেখে নেওয়া মূল্যবান।

ধাপ 7: আপনার মডেল পরীক্ষা করুন

একবার আপনি আপনার মডেল সমাপ্তি ইমেইল পেয়ে গেলে অটোএমএল ভিশন এপিআই -এ ফিরে যেতে লিঙ্কে ক্লিক করুন।

1. এখন আপনি আপনার ফলাফল এবং আপনার মডেলের বিভ্রান্তি ম্যাট্রিক্স দেখতে সক্ষম হবেন।

2. পরবর্তী ধাপ হল আপনার মডেলটি পরীক্ষা করা, 'টেস্ট অ্যান্ড ইউএসই' বা 'প্রিডিক্ট' এ যাওয়া অদ্ভুতভাবে 2 ইউজার জিইউআই বলে মনে হচ্ছে, দুটোই আমি ছবি করেছি, কিন্তু অপশন দুটিরই একই কার্যকারিতা রয়েছে।

3. এখন আপনি একটি পরীক্ষা বর্ণালী আপলোড করতে পারেন। একটি একক বর্ণালী তৈরি করতে আপনি ThinkBioT Github থেকে tbt_make_one_spect.sh প্রোগ্রামটি ব্যবহার করতে পারেন। কেবল একটি ফোল্ডারে এটিকে একটি wav দিয়ে ফেলে দিন যা আপনি বর্ণালীতে রূপান্তর করতে চান একটি গিট ব্যাশ উইন্ডো (বা টার্মিনাল) খুলুন এবং আপনার ফাইলের নাম প্রতিস্থাপন করে নীচের কোডটি ব্যবহার করুন।

t tbt_make_one_spect.sh yourWavName.wav

4. এখন শুধু বর্ণালী আপলোড করুন এবং আপনার ফলাফল চেক করুন!

ধাপ 8: ThinkBioT- এ আপনার মডেল ইনস্টল করুন

আপনার নতুন চকচকে মডেলটি ব্যবহার করতে কেবল মডেল এবং txt ফাইলটি CModel ফোল্ডারে ফেলে দিন;

pi> ThinkBioT> ClassProcess> CModel

এখন আপনি ThinkBioT ব্যবহার করার জন্য প্রস্তুত:)

** NB ** যদি আপনি ThinkBioT ফ্রেমওয়ার্কের বাইরে আপনার মডেল ব্যবহার করেন তাহলে আপনাকে আপনার লেবেল ডকুমেন্ট এডিট করতে হবে প্রতিটি লাইনের শুরুতে অ্যাম্বার যুক্ত করতে হবে কারণ সর্বশেষ tflite দোভাষী অন্তর্নির্মিত "readlabels" ফাংশন ধরে নেয় যে তারা সেখানে আছে। আমি ThinkBioT ফ্রেমওয়ার্ক classify_spect.py এ একটি কাস্টম ফাংশন লিখেছি যার চারপাশে আপনি আপনার নিজের কোড ব্যবহার করতে স্বাগত জানাই:)

def ReadLabelFile (file_path):

কাউন্টার = 0 খোলা (file_path, 'r', encoding = 'utf-8') হিসাবে f: lines = f.readlines () ret = {} লাইনের লাইনের জন্য: ret [int (counter)] = line.strip () কাউন্টার = কাউন্টার + 1 রিটার্ন ret