ইউয়ান গত সপ্তাহে প্রকাশ এখন পর্যন্ত সবচেয়ে বড় স্কেল ভাষার মডেল, Llama 3.1 405B, কোম্পানির দাবি ওপেন সোর্স সফ্টওয়্যারের প্রথম “কাটিং-এজ মডেল”, যার মানে মডেলটি ক্লোজড সোর্স থেকে পাওয়া সেরা মডেলগুলির সাথে প্রতিযোগিতা করতে পারে, যেমন OpenAI এর GPT- 4 এবং Google এর Gemini 1.5.
দেখা যাচ্ছে যে Llama 3.1 হ্যাক করা যেতে পারে সেই মডেলগুলির মতোই সহজে, যদি না হয়। আমি কিভাবে মিথুন 1.5 ভেঙেছি তার অনুরূপ ভাষা অনুবাদ সম্পর্কে অনুসন্ধান যখন এটি প্রথম উপলব্ধ হয়, Llama 3.1 এর সাথে আমার প্রথম সমস্যাটি ছিল যে এটি গিবেরিশের অবলম্বন করেছিল।
Google Gemini-এর ব্যর্থতা একটি সাধারণ সমস্যার একটি নিখুঁত উদাহরণ যা এখন বড় ভাষা মডেল পরীক্ষা করার জন্য আমার প্রথম সমস্যা হয়ে উঠেছে। নিশ্চিতভাবেই, আমি আমার প্রথম চেষ্টায় মেটার লামা 3.1 405B ক্র্যাক করতে এটি ব্যবহার করেছি।
আপনি বলতে পারেন যে এটি একটি চরম ঘটনা এবং জর্জিয়ান ক্রিয়া “ყოგნა” সম্পর্কে একটি প্রশ্ন যার অর্থ “হওয়া”। এটি ছাড়াও, ককেশাস, কৃষ্ণ সাগর এবং কাস্পিয়ান সাগরের মধ্যে অবস্থিত দেশটি জর্জিয়া প্রায় চার মিলিয়ন জর্জিয়ান ভাষাভাষী আছে।
চল্লিশ লাখ লোকের দ্বারা কথ্য ভাষায় সবচেয়ে গুরুত্বপূর্ণ ক্রিয়াপদের প্রতিফলনগুলিকে এলোমেলো করা একটি চরম ক্ষেত্রের চেয়ে বেশি মনে হয়।
যাইহোক, আমি আমার প্রশ্ন Llama 3.1 405B এর মাধ্যমে জমা দিয়েছি:
জর্জিয়ান ক্রিয়াপদ ყოფნა এর সংযোজন কি?
এছাড়াও: আমার প্রথম টিপ Google Gemini 1.5 Pro ব্যর্থ হয়েছে
আমি মেটা প্রশ্ন জমা মেটা কৃত্রিম বুদ্ধিমত্তা ওয়েবসাইটআপনি বিনামূল্যে বা HuggingFace-এ Llama 3.1 405B ব্যবহার করতে পারেন৷ আলিঙ্গন চ্যাটযেখানে আপনি পাবলিক কোড রিপোজিটরি ব্যবহার করে যেকোনো ওপেন সোর্স এআই মডেল থেকে চ্যাটবট তৈরি করতে পারেন।
আমি তৃতীয় পক্ষের বাণিজ্যিকভাবে হোস্ট করা চ্যাটবট সম্পর্কে অনুসন্ধান করার চেষ্টা করেছি, গ্রঙ্ক. সব ক্ষেত্রে প্রতিক্রিয়া ছিল অবাস্তব.
প্রথম, এখানে সঠিক উত্তর, থেকে OpenAI এর GPT-4o মিনি:
(গুগলের জেমিনি সহ বেশিরভাগ অন্যান্য এলএলএম এবং চ্যাটবট এখন এই প্রশ্নের সঠিক উত্তর দেয়।)
প্রথমে, মেটা এআই ওয়েবসাইট প্রতিবাদ করেছিল, বলেছিল যে খুব জটিল ছিল। আমার অধ্যবসায়ের পরে, এটি হাস্যকর শব্দের একটি সেট সংকলন করেছে। এটি Llama 3.1 405B এর উত্তর:
আপনি লক্ষ্য করবেন যে Llama 3.1 এর উত্তর উপরের সঠিক উত্তরের কাছাকাছিও নয়।
HuggingFace এবং Groq সংস্করণ এমনকি প্রতিবাদ করেনি তারা একই হাস্যকর উত্তর দিয়েছে। HuggingFace-এর প্রতিক্রিয়াতে, এটি মেটা এআই ওয়েবসাইট দ্বারা দেওয়া একটির চেয়ে ভিন্ন ধরনের অশ্লীলতা দিয়েছে:
বিদেশী ভাষার ইস্যুতে লামা 3.1 এর সম্পূর্ণ ব্যর্থতা বিশেষত বিব্রতকর যা মেটার গবেষকরা দৈর্ঘ্যে আলোচনা করেছেন তাদের প্রযুক্তিগত কাগজে Llama 3.1 কীভাবে পূর্ববর্তী সংস্করণগুলিতে উন্নতি করে সেই পরিপ্রেক্ষিতে যাকে তারা “বহুভাষাবাদ” বলে, যার অর্থ ইংরেজি ছাড়াও অন্যান্য অনেক ভাষার জন্য সমর্থন।
লেখকরা ভাষার উত্তরগুলিতে প্রচুর অতিরিক্ত মানুষের প্রতিক্রিয়া চেয়েছিলেন। “আমরা ভাষাবিদ এবং স্থানীয় ভাষাভাষীদের কাছ থেকে উচ্চ-মানের ম্যানুয়ালি টীকা করা ডেটা সংগ্রহ করি,” তারা লিখে। “এই টীকাগুলি মূলত ওপেন-এন্ডেড প্রম্পট নিয়ে গঠিত যা বাস্তব-বিশ্ব ব্যবহারের ক্ষেত্রে প্রতিনিধিত্ব করে।”
এছাড়াও: 3 উপায় Meta’s Llama 3.1 হল Gen AI-এর জন্য এক ধাপ এগিয়ে৷
কিছু আকর্ষণীয় দিক দেখা যায়, ব্যর্থতার ক্ষেত্রে Llama 3.1 405B-এর কী হয়েছিল তার ইঙ্গিত দেয়। জাল প্রথম ব্যক্তির উত্তর “ვაყოფ” এর বানানটি আমার অ-নেটিভ কানেও একটি বৈধ জর্জিয়ান শব্দের মতো শোনাচ্ছে৷ উপসর্গ “ვ-” হল প্রথম ব্যক্তির প্রতিফলনের জন্য একটি সাধারণ উপসর্গ, এবং প্রত্যয়টি “-ოფ” একটি বৈধ জর্জিয়ান প্রত্যয়।
এইভাবে, মডেলগুলি অতিরিক্ত সাধারণীকরণ করতে পারে, একটি বিস্তৃত উত্তর প্রস্তাব করে একটি প্রশ্নের দ্রুত উত্তর দেওয়ার একটি উপায় খুঁজে বের করতে পারে যা, আপনি যদি চান, একটি প্রদত্ত ভাষার অনেক অংশে একটি প্যাটার্ন হিসাবে প্রয়োগ করতে পারেন, কিন্তু অতিরিক্ত প্রয়োগ করা হলে অসামঞ্জস্যতাগুলি পর্যবেক্ষণ না করে।
মজার বিষয় হল, Llama 3.1 405B এর উত্তর চেষ্টা করার চেষ্টা থেকে পরিবর্তিত হতে পারে। উদাহরণস্বরূপ, এই সমস্যাটি আবার চেষ্টা করার সময়, মডেলটি একটি বৈধ বর্তমান কাল ক্রিয়া সংযোজন টেবিল আউটপুট করে:
যাইহোক, যখন ভবিষ্যতের জন্য অনুরোধ করা হয়, মডেলটি প্রায়, কিন্তু পুরোপুরি সঠিক নয়। প্রথম ব্যক্তি উপসর্গ যোগ করতে ব্যর্থতা ვ- টেবিলের প্রথম প্রতিফলনে:
এটি লক্ষ্য করাও আকর্ষণীয় যে Llama 3.1 405B এর ছোট কাজিন, 70B, প্রকৃতপক্ষে প্রথম চেষ্টাতেই বর্তমান সময়ে সঠিক উত্তর পেয়েছে। এটি পরামর্শ দেয় যে এটি সম্ভব (সম্ভবত ছোট ক্ষেত্রে) যে বৃহত্তর 405B সংস্করণে সমস্ত অতিরিক্ত প্রশিক্ষণ এবং কম্পিউটিং শক্তি আসলে ফলাফলগুলিকে হ্রাস করে।
আমি মনে করি মেটার ইঞ্জিনিয়ারদের তাদের সফ্টওয়্যার অতিরিক্ত সাধারণীকরণ হচ্ছে কিনা তা দেখতে তাদের কর্নার কেস এবং ব্যর্থতার উদাহরণগুলি ঘনিষ্ঠভাবে দেখতে হবে।
উল্লেখ্য যে গবেষকরা ব্যাপকভাবে ব্যবহার করেন মডেলটিকে “ফাইন-টিউন” করতে ডেটা সংশ্লেষণ করুন এবং তারা সংগ্রহ করা মানুষের প্রতিক্রিয়া পরিপূরক। এটি একটি উন্মুক্ত প্রশ্ন যে সিন্থেটিক ডেটার বড় আকারের ব্যবহার অতিরিক্ত-নিয়ন্ত্রিতকরণের দিকে পরিচালিত করে কিনা গত সপ্তাহের নেচার ম্যাগাজিনে একটি নিবন্ধ.
