ChatGPT vs Claude AI: kas Claude AI on parem vestlusbot?

Alates 2022. aasta novembris avaldamisest on ChatGPT jäänud AI vestlusrobotite ruumi domineerivaks jõuks. Hoolimata mitmete tehisintellektifirmade kaugeleulatuvatest jõupingutustest ei ole keegi tegelikult suutnud luua vestlusrobotit, mis esitaks ChatGPT-le tõelise väljakutse üldise reageerimise kvaliteedi osas. Google'i Bard? Microsofti Bing AI? Ei ole tegelikult.

Kuid Claude AI, AI idufirma Anthropicu loodud vestlusbot, näitab vestlusroti omadusi, mis võivad ChatGPT troonilt kukutada. Märkimisväärne hulk kasutajaid on juba öelnud, et Claude on parem valik. Aga kas see on nii? Võtame mõlemad vestlusrobotid ringi.

ChatGPT vs. Claude AI: terve mõistus ja loogiline arutluskäik

Tehisintellekti vestlusrobotidega töötades on intrigeeriv kontrast. Ühest küljest suudavad nad keerulisi ülesandeid, mille lahendamiseks inimesed võivad päevi vaeva näha. Teisest küljest maadlevad nad mõnikord elementaarsete probleemidega, mis nõuavad vaid natuke tervet mõistust või loogilist arutluskäiku. Seega testisime nii ChatGPT-d kui ka Claude AI-d, et näha, milline AI-vestlusbot on terve mõistuse ja loogilise mõtlemise ülesannetes parem.

ChatGPT jagas probleemi osadeks ja lahendas selle esimesel katsel. Ka Claude AI sai sellega hakkama ja lahendas ka probleemi, kuid teistsuguse lähenemisega.

Esimese ülesande puhul suutsid mõlemad vestlusrobotid probleemi lahendada. Niisiis, liikusime edasi teist tüüpi probleemi juurde. Andsime mõlemale vestlusrobotile ülesandeks vastata trikiga küsimusele.

ChatGPT suutis trikki kohe märgata – ellujäänuid ei saa matta, sest nad pole surnud. Claude AI seevastu näis mõistvat, et see oli trikiga küsimus, kuid ei suutnud märgata kõige tavalisemat probleemi, et ellujäänuid ei maeta.

Selle asemel analüüsis see küsimust üle ja jõudis järeldusele, et "pole ellujääjaid, keda matta", sest Marsilt Maale kukkumine oleks saatuslik. See ei ole vastus, mida me ootasime, kuid kui te vaatate asju teise nurga alt, on selles teatud tõde.

Selle ülesande puhul anname selle ChatGPT-le, kuid me ei saa täielikult välistada Claude AI lähenemisviisi. Selle mõõdiku viimase ülesande jaoks küsisime mõlemalt vestlusrobotilt, mitu õuna jääb pärast seda õunapuule vastavalt viis ja 10 päeva, kui alustasime 10 õunaga ja viis neist viilutati veel puu otsas. ChatGPT ütles, et 10 õuna on veel alles.

Claude AI seevastu andis terve mõistuse vastuse, tõdedes, et viis viilutatud õuna lähevad tõenäoliselt mädanema.

Claude AI sai selle selgelt aru. Proovisime veel mõnda keerulist probleemi ja mõlemal vestlusrobotil oli nende lahendamisel omajagu õnnestumisi ja ebaõnnestumisi. Võttes arvesse meie vaadeldud tulemust, võib olla õiglane öelda, et kuigi ChatGPT-l on eelis, ei ole mõlemad vestlusrobotid terve mõistuse ja loogilise arutlusvõime poolest liiga kaugel.

ChatGPT vs. Claude AI: matemaatikaoskused

Isegi kui te ei kavatse kunagi oma Algebra kodutöö lahendamiseks kasutada ChatGPT-d või Claude AI-d, on nende matemaatilistel võimetel kaugeleulatuvad tagajärjed. AI vestlusrobotite jaoks on matemaatika võti reaalse maailma loogika mõistmiseks, vigase mõtlemise tuvastamiseks ja vigade tunnistamiseks.

Põhimõtteliselt on matemaatikaoskus tehisintellekti põhinäitaja. Niisiis, milline vestlusbot on ChatGPT ja Claude AI vahel matemaatika vallas suurem? Andsime mõlemale vestlusrobotile ülesandeks lahendada keeruline matemaatika tootlikkuse probleem. Alustasime Claude AI-ga ja vestlusbot lahendas probleemi.

ChatGPT lahendas ka probleemi.

Edasi liikudes palusime mõlemal vestlusrobotil lahendada 8/a-1 = 20/3a-1, üsna lihtne matemaatikaülesanne, mille ebaõnnestumiste määr tehisintellekti vestlusrobotite seas on üllatavalt kõrge. ChatGPT suutis selle lahendada, andes õige vastuse -3 esimesel katsel.

Claude AI ebaõnnestus esimesel katsel, kuid kui palusime tal probleemi samm-sammult lahendada (mis sunnib teda oma loogika iga sammu läbi mõtlema), suutis ta selle murda.

Proovisime veel paar matemaatikaülesannet. Kuigi mõnel juhul said mõlemad vestlusrobotid esimese katsega õigesti hakkama, vajas Claude AI õige vastuse andmiseks teist või kolmandat katset. Matemaatikaoskuste osas anname krooni ChatGPT-le.

ChatGPT vs. Claude AI: loovus

Üks Claude AI suurimaid hüppeid on tema loomingulised võimed. Kuid kas see sobib ChatGPT loovusega? Või kas see võib ületada ChatGPT? Et mõlemad vestlusrobotid proovile panna, tegime neile ülesandeks kirjutada sõnad räpplaulule, mis riimub.

Valisime riimiräpi testi, kuna see on midagi, millega paljud keelemudelid hädas on. Enamik mudeleid ei saa tavaliselt riimi õigesti, samas kui laulusõnadel endal pole mõtet. Et asja huvitavamaks teha, tuleb räpilugu kurkide kasvatamisest.

Niisiis palusime nii ChatGPT-l kui ka Claude AI-l "kirjutada riimiline räpp kurkide kasvatamisest põllumehena ja sellest miljonäriks saamine." ChatGPT läks esimeseks ja ootuspäraselt tekitas see põnevat laulusõnad.

Seejärel andsime sama viipa Claude AI-le ja see andis talle samuti õiglase võimaluse.

Mõlemad laulusõnad on head, kuid ChatGPT-l näis siin olevat eelis. Sellel oli parem riim ja meil oli esimesel katsel vajalik tulemus. Pidime kolm korda proovima, enne kui Claude AI suutis toota riimuvaid sõnu. Anname selle ChatGPT-le.

Pärast mõne loomingulisema ülesande proovimist paistis Claude AI olevat kirjutamisega seotud ülesannete alal hiilgav ja suutis kirjutada loomulikuma kõlaga sisu nagu inimkirjanik. Kuigi ChatGPT sai paremini hakkama keerulisemate loominguliste ülesannetega, ei suutnud see mõnikord loodud tekstis maha raputada seda AI vestlusroti tunnet. Meie otsus? Nii ChatGPT kui ka Claude AI on omaette loomingulised.

ChatGPT vs. Claude AI: kodeerimisoskused

Nii nagu matemaatikaoskused, on kodeerimisoskused veel üks väga oluline mõõdik AI-vestlusroboti võimete hindamisel. Kuigi enamik kasutajaid ei tee seda tõenäoliselt kunagi kasutage kodeerimiseks vestlusrobotit, on oluline tagajärjed vestlusroboti võimele kirjutada ja koodi oskuslikult mõista.

Kuigi vestlusrobotid on praegu keerukad, pole nad kaugel sellest, mis neist tegelikult võiks saada, kui ja millal nad oskavad koodi oskuslikult kirjutada. Selleks, et tehisintellekti vestlusrobotid saaksid tõeliselt areneda võimsateks AI-assistentideks, kes suudavad teksti genereerimisest enamat teha, peavad nad suutma kirjutada koodi, mis lahendab nõudmisel probleemid. Oleme varem arutanud, kui olulised on kodeerimisoskused meie tehisintellekti vestlusrobotite jaoks ChatGPT kooditõlgi selgitaja.

See tähendab, et panime mõlemad vestlusrobotid kahele kodeerimisülesandele. Palusime ChatGPT-l ja Claude AI-l kirjutada ülesannete loendi rakenduse jaoks funktsionaalne kood. Alates ChatGPT-st suutis AI vestlusbot esimesel katsel pakkuda funktsionaalset ülesannete loendi rakendust. Kopeerisime-kleepisime ja käivitasime selle brauseris ning see töötas suurepäraselt ilma vigadeta. Siin on väljund brauseris.

Claude AI juurde liikudes kirjutas vestlusbot selgelt arusaadava koodi. Struktuur ja loogika tundusid kõik korras. Kahjuks, vaatamata korduvatele katsetele, jäi Claude AI-l puudu kriitilisest loogikast, et kood tegelikult brauseris töötaks. See on läbikukkumine.

Pärast seda, kui Claude AI viimases testis läbi kukkus, proovisime teist tüüpi kodeerimisülesannet, mis oli rohkem koodi analüüsimine ja vähem uue koodi kirjutamine. Laadisime üles viis PHP-faili, mis esindavad veebisaidi täielikku taustaprogrammi, ja küsisime nii Claude AI-lt kui ka ChatGPT-lt kus peaksime redigeerima kõiki üleslaaditud faile, et tagada meile, kui uus kasutaja registreerub saidile.

Üllataval kombel ebaõnnestus ChatGPT, hoolimata näiliselt parematest kodeerimisoskustest, hoolimata korduvatest katsetest. Claude AI seevastu suutis koodi asjatundlikult analüüsida, tuvastades samal ajal õiged kohad, mida oli soovitud tulemuste saavutamiseks vaja redigeerida.

Loomulikult ei olnud see üksikjuhtum, kordasime seda mitme teise koodifailiga, kuid ChatGPT komistas ja takerdus enamikul juhtudel, samal ajal kui Claude AI andis muljetavaldavaid tulemusi. Kodeerimisoskuste osas pole võitja päris sirgjooneline.

ChatGPT on uue koodi kirjutamisel selgelt oluliselt parem ja suudab hallata keerulist koodi muljetavaldava oskusega. Claude AI on aga märkimisväärselt parem suurte koodibaaside analüüsimisel. Seega, kui soovite kirjutada koodi mõne uue idee jaoks, on ChatGPT tööriist, mille poole pöörduda. Kui soovite analüüsida või mõtestada tuhandete ridadega koodibaasi mitme faili vahel, siis soovitame kindlasti Claude AI-d.

Claude AI on blokis võimas konkurent

Claude AI esindab tugevat konkurentsi ChatGPT jaoks – see, mis suudab kunagi ChatGPT-ga konkureerida ja potentsiaalselt ületada. Arvestades, et Claude on suhteliselt uus tehisintellekti mudel, on kadestamisväärne, et see suudab ChatGPT-d kasutada nii, nagu ta praegu teeb. Claude’i tehisintellekti esilekerkimine ja selle pakutav kvaliteet tõendavad, et konkurents kuumeneb.