Laporan LLM Arena baru-baru ini mengungkap bahwa Model AI terbaru dari Meta, Llama-4 Maverick, belum mampu menunjukkan kinerja yang kompetitif jika dibandingkan dengan model-model unggulan dari para pesaingnya. Menurut informasi yang diperoleh dari TechCrunch, Llama-4 Maverick dalam versi standar tidak berhasil meraih skor yang diharapkan dalam pengujian yang menggunakan tolok ukur crowdsourced yang dikenal luas, yaitu LM Arena.
Hasil evaluasi ini menjadi sorotan tajam setelah terangkatnya kontroversi awal pekan ini, dimana Meta secara tidak langsung mengakui bahwa mereka menggunakan versi eksperimental Llama-4-Maverick-03-26-Experimental untuk mencapai skor lebih tinggi di LM Arena. Versi eksperimental tersebut belum dirilis untuk publik dan dianggap menimbulkan pertanyaan serius mengenai transparansi dan validitas dari proses benchmarking yang dilakukan.
Kontroversi ini memicu reaksi keras dari komunitas, mendorong pengelola LM Arena untuk merevisi kebijakan mereka dan melakukan penilaian ulang terhadap Llama-4 Maverick menggunakan versi standar, yaitu Llama-4-Maverick-17B-128E-Instruct. Pembaruan ini mengungkapkan bahwa model standar Meta justru tertinggal di belakang, tidak hanya dari OpenAI yang mengeluarkan GPT-4o, tetapi juga dari Claude 3.5 Sonnet milik Anthropic, dan Gemini 1.5 Pro dari Google. Hasil ini menunjukkan tantangan yang dihadapi Meta dalam mempertahankan posisi kompetitif di pasar yang semakin sengit ini.
Pihak Meta mengklaim bahwa versi eksperimental Llama-4-Maverick telah dioptimalkan untuk skenario percakapan, yang memungkinkan model tersebut tampil lebih baik di LM Arena yang memang mengedepankan sistem penilaian berbasis preferensi manusia. Namun, pendekatan ini berpotensi menyesatkan, karena performa dalam konteks реnасhоn model tidak selalu mencerminkan hasil di dunia nyata, di mana variasi dan kompleksitas skenario jauh lebih beragam.
Juru bicara Meta mengungkapkan dalam pernyataan kepada TechCrunch bahwa perusahaan tersebut tengah aktif dalam pengujian berbagai varian model, termasuk yang dirancang khusus untuk mencapai performa optimal dalam skenario tertentu. Mereka juga menekankan bahwa Llama-4-Maverick-03-26-Experimental merupakan versi yang telah dioptimalkan untuk kebutuhan percakapan dan memang menunjukkan kinerja baik dalam pengujian LM Arena.
Dengan dirilisnya model-model baru seperti Llama Behemoth dan Llama Scout dalam rangkaian Llama 4, Meta berharap untuk meningkatkan daya saingnya di sektor teknologi AI. Sejak debutnya, Meta mengklaim bahwa model-model ini jauh lebih tangguh dibandingkan dengan yang ada saat ini, termasuk Gemini dari Google. Dalam publikasi resmi mereka, Meta menekankan upaya untuk menyediakan pengalaman multimodal yang lebih personal bagi pengguna, dengan harapan bahwa penggunaan model open-source akan memungkinkan para pengembang menyesuaikan Llama 4 sesuai dengan kebutuhan spesifik mereka.
Data dari LM Arena menunjukkan bahwa meskipun Meta berupaya keras untuk membangun inovasi dalam AI, fakta bahwa Llama-4 Maverick tidak dapat bersaing seperti harapan menunjukkan adanya celah yang perlu diisi. Persaingan antara perusahaan-perusahaan teknologi di bidang AI kian hari semakin ketat, sehingga kualitas serta kemampuan model menjadi sangat menentukan dalam menarik minat pengguna.
Dengan situasi ini, perhatian publik dan analis teknologi kini tertuju pada perkembangan berikutnya dari Meta. Banyak yang berharap agar perusahaan ini dapat menemukan cara untuk meningkatkan performa Llama-4 Maverick dan model-model lainnya agar lebih sesuai dengan kebutuhan serta harapan pasar yang terus berkembang.
