I was curious as to how new kid on the
block ChatGPT compared against Google Translate. I gave each system
12 lists of 10 thematically linked Thai words and compared the
translations against my expected translation and scored them 0, ½ or
1 according to how close they came. (This is, of course, pretty
subjective.) ChatGPT scored 96/120 (80%) and Google 97.5/120 (81%).
Neither is particularly impressive, and I wouldn't suggest using
either as a dictionary.
Interestingly ChatGPT recognised that the
blocks of words were thematically linked. When I accidentally
included แว่นตา in a list of medical conditions ChatGPT responded:
แว่นตา is a word for "glasses" or
"eyeglasses" in Thai. As for the other words, they refer to various
medical conditions
Rather irritatingly, ChatGPT used different
formats for the translations: sometimes it included the original Thai
in the responses, sometimes not; sometimes the Thai was first,
sometimes second; occasionally it included transliteration.
Anyway, for what it's worth, here are my
results:
Thai
Expected Translation
ChatGPT
Google Translate
Chat Score
Google Score
School Subjects
ชีววิทยา
biology
Biology
biology
1
1
วิชาเคมี
chemistry
Chemistry
Chemistry
1
1
ภูมิศาสตร์
geography
Geography
geography
1
1
ประวัติศาสตร์
history
History
history
1
1
คณิตศาสตร์
mathematics
Mathematics
mathematics
1
1
เพลง
music
Music
song
1
0
พลศึกษา
physical education
Physical Education
gymnastics
1
0
ศิลป์การละคร
drama
Theater Arts
Theater Arts
½
½
เศรษฐศาสตร์
economics
Economics
economics
1
1
ภาษาฝอังกฤษ
English
English Language
English
1
1
Politics
กระทรวง
ministry
Ministry
ministry
1
1
การเมือง
politics
Politics
politics
1
1
รัฐบาล
government
Government
government
1
1
นโยบาย
policy
Policy
policy
1
1
นายกรัฐมนตรี
prime minister
Prime Minister
Prime Minister
1
1
รัฐมนตรี
ministers
Minister
minister
1
1
ประชาธิปไตย
democracy
Democracy
democracy
1
1
คณะรัฐมนตรี
cabinet
Cabinet
cabinet
1
1
นักการเมือง
politicians
Politician
politician
1
1
พรรคการเมือง
political party
Political party
political party
1
1
Buildings
สนามบิน
airport
Airport
airport
1
1
ธนาคาร
bank
Bank
bank
1
1
สถานีรถเมล์
bus terminal
Bus station
bus station
1
1
ร้านกาแฟ
cafe
Coffee shop
coffee shop
1
1
โบสถ์
church
Church
church
1
1
ปั๊มน้ำมัน
gas station
Gas station
gas station
1
1
โรงพยาบาล
hospital
Hospital
hospital
1
1
ไปรษณีย์
post office
Post office
post office
1
1
ร้านอาหาร
restaurant
Restaurant
restaurant
1
1
โรงเรียน
school
School
school
The Military
กองพล
division
Troop
Corps
0
0
กองพัน
battalion
Platoon
battalion
0
1
เกณฑ์ทหาร
to recruit, draft
Military standards/criteria
conscription
0
½
กองร้อย
company
Company
company
1
1
กองหนุน
reserve
Support unit
reserve
0
1
ทหารพราน
ranger
Commando
scout
0
½
ศาลทหาร
court-martial
Military court
military court
1
1
สารวัตรทหาร
military police
Military police
military inspector
1
0
Topic
โรงเรียนเสนาธิการทหาร
Command and General Staff College
Armed Forces Academies Preparatory School
Command and Staff School
0
½
หมู่
squad
Squad
group
1
0
Plants
ธรรมชาติ
nature
Nature
nature
1
1
พืช
plant
Plant
plant
1
1
หญ้า
grass
Grass
grass
1
1
ต้นไม้
tree
Tree
tree
1
1
ดอกไม้
flower
Flower
flower
1
1
เด็ด
to pick (a flower)
Fruit
decidedly
0
0
กิ่ง
branch
Branch
limb
1
½
ใบไม้
leaf
Leaf
leaf
1
1
เมล็ด
seed
Seed
seed
1
1
เปลือก
bark
Bark/Peel
shell
1
0
Meat
เบคอน
bacon
Bacon
bacon
1
1
ฮอทดอก
hot dog
Hotdog
hot dog
1
1
หมู
pork
Pork
pig
1
½
ไก่
chicken
Chicken
chicken
1
1
เนื้อ
beef
Beef
meat
1
0
แฮม
ham
Ham
ham
1
1
ตับ
liver
Liver
liver
1
1
เนื้อสัตว์
meat
Meat
meat
1
1
ลูกชิ้น
meatball
Meatball
meatball
1
1
ซี่โครง
rib
Rib
rib
1
1
Grains
ข้าวเหนียว
sticky rice
sticky rice
sticky rice
1
1
ข้าวสาร
uncooked rice
uncooked rice
rice
1
0
ข้าวโพด
corn
corn
sweetcorn
1
1
โจ๊ก
rice gruel
rice gruel
rice porridge
1
1
ข้าวหอมมะลิ
jasmine rice
jasmine rice
jasmine rice
1
1
ข้าวต้ม
rice porridge
rice porridge
boiled rice
1
0
ข้าวขาว
white rice
white rice
white rice
1
1
ข้าวสุก
cooked rice
cooked rice
cooked rice
1
1
ข้าวสาลี
wheat
wheat
wheat
1
1
ข้าวโอ๊ต
oats
oats
oatmeal
1
1
Money
หนี้
debt
debt
debt
1
1
งบประมาณ
budget
budget
budget
1
1
ค่าใช้จ่าย
costs
expenses
expenses
1
1
กำไร
profit
profit
profit
1
1
หุ้น
share, stock
stock
share
1
1
มูลค่า
(retail) value
value
value
1
1
ดอกเบี้ย
interest
interest rate
interest
½
1
ต้นทุน
capital
cost
cost
0
0
ความเสี่ยง
risk
risk
risk
1
1
ใบสั่ง
invoice
invoice
order
1
0
Accessories
เข็มขัด
belt
buckle
belt
0
1
แว่นตา
glasses
glasses
glasses
1
1
ถุงมือ
gloves
gloves
glove
1
1
ผ้าพันคอ
scarf
scarf
scarf
1
1
แว่นตากันแดด
sunglasses
sunglasses
sunglasses
1
1
ร่ม
umbrella
umbrella
umbrella
1
1
นาฬิกาข้อมือ
wristwatch
wristwatch
watch
1
½
หมวก
hat
hat
hat
1
1
แว่นตา
glasses
glasses/eyeglasses
glasses
1
1
สร้อยคอ
necklace
necklace
necklace
1
1
Medical Conditions
สมองพิการ
cerebral palsy
cerebral palsy
cerebral palsy
1
1
โรคเอ๋อ
Down's syndrome
epilepsy
ER disease
0
0
โรคเลือดออกไม่หยุด
haemophilia
hemophilia
hemorrhagic disease does not stop
1
0
โรคลมเหตุร้อน
heat stroke
heat stroke
heat stroke
1
1
เริม
herpes simplex
scabies
herpes
0
1
งูสวัด
herpes zoster
snakebite
shingles
0
0
โรคฉี่หนู
leptospirosis
rabies
leptospirosis
0
1
โรคคางทูม
mumps
goiter
mumps
0
1
โรคกระดูกพรุน
osteoporosis
osteoporosis
osteoporosis
1
1
ไข้ทรพิษ
smallpox
toxic fever
smallpox
0
1
Kitchen Equipment
ไมโครเวฟ
microwave
Microwave
microwave
1
1
เตาแก๊ซ
gas stove
Gas stove
gas stove
1
1
เครื่องชงกาแฟ
coffee maker
Coffee maker
coffee machine
1
1
หม้อตุ๋น
pressure cooker
Slow cooker
casserole
0
0
ที่บดเนื้อ
mincer
Meat grinder
mincer
1
1
เตาอบ
oven
Oven
oven
1
1
เครื่องปั่น
blender
Blender
mixer
1
0
เตาไฟ
stove
Electric stove
fireplace
0
0
ก๊อกน้ำ
tap
Kettle
tap
0
1
อ่างล้างจาน
(kitchen) sink
Dishwasher
sink
0
1
Professional Disciplines
สังคมศาสตร์
social science
Sociology
social science
0
1
ศัลยกรรม
surgery
Surgery
surgery
1
1
สังคมวิทยา
sociology
Social science
sociology
0
1
จิตเวชศาสตร์
psychiatry
Psychiatry
psychiatry
1
1
สัตวศาสตร์
zoology
Veterinary science
animal science
0
0
สูติศาสตร์
obstetrics
Obstetrics
obstetrics
1
1
ทันตกรรมจัดฟัน
orthodontics
Orthodontics
Orthodontics
1
1
สมุทรศาสตร์
oceanography
Oceanography
oceanography
1
1
การสังคมสงเคราะห์
social work
Socialism
social work
0
1
ศัลยกรรมออร์โทพีดิกส์
orthopedics
Orthopedic surgery
Orthopedic surgery
1
1
Total
96
96½
Notes
Some people have said they disagreed with some of my "expected
translations", and said, for example, that เพลง
should be "song", not "music", and เนื้อ
should be "meat", not "beef". However, the "expected translations"
are in the context of the theme of each of the groups of ten words.
So, in the context of the groups, I stand by my expected
translations.
When asked for the translations of these individual words it
gave the following responses:
The word เพลง in English means "song".
เนื้อ can mean different things depending on the context. Here are
some possible translations:
Meat (as in the flesh of an
animal used as food): ชิ้นเนื้อ
Body (as in the physical
structure of a human or animal): ร่างกาย, ลำตัว
Substance
(as in the essence or core of something): สาร, สาระ, แก่นของ
Text (as in the content of a written or spoken work): เนื้อเรื่อง
ChatGPT appears to understand that the words are thematically
linked when providing translations, so I wondered what ChatGPT
considered the themes to be. Using the same groups of words, I
asked "What do these words have in common?" and provided a list of
words. The responses were very accurate:
- they represent different academic fields or subjects
- they relate to government and politics
- they represent different types of buildings or
establishments that provide various services to people
- they relate to the military
- they relate to nature, specifically to plants
- they are all types of meat or meat products
- they all refer to different types of rice
- they are all related to finance or business
- they are all accessories or clothing items that people can
wear
- they all refer to different types of medical conditions or
diseases
- they are all types of kitchen appliances or tools that are
commonly used in cooking or food preparation
- they all refer to different fields of study or areas of
expertise
I would only quibble with #7 - oats and sweetcorn are not
types of rice.
ChatGPT can be found at https://chat.openai.com/chat (registration
required).
Google Translate is at https://translate.google.co.uk/