CyrillicQA: The Influence of Phonetically Encoded Secret Language on LLM Performance

# CyrillicQA: The Influence of Phonetically Encoded Secret Language on LLM Performance
Source: [https://arxiv.org/html/2608.21462](https://arxiv.org/html/2608.21462)
Erik ThureckLeo S\. RüdianAffiliation:Supervisor Humboldt\-Universität zu Berlin Berlin, Germany 0000\-0003\-3943\-4802Erik ThureckAffiliation:Student Humboldt\-Universität zu Berlin Berlin, Deutschland 0009\-0002\-1994\-5648Leo S\. RüdianAffiliation:Supervisor Humboldt\-Universität zu Berlin Berlin, Deutschland 0000\-0003\-3943\-4802

###### Abstract

Due to the selection of their training data, large language models \(LLMs\) perform best on standard\-language inputs from languages using the Latin alphabet with large speaker populations, while disadvantaging other language varieties\. Nevertheless, they can also be a versatile tool for preserving precisely such endangered languages\. But do they also possess the necessary creativity and capacity for abstraction to decode phonetically encoded language the same way humans do?

###### Abstract

Aufgrund der Auswahl ihrer Trainingsdaten sind Large Language Modelle \(LLMs\) bei hochsprachlichen Eingaben sprecherreicher Sprachen des lateinischen Alphabets am performantesten, während sie sonstige Sprachvarietäten benachteiligen\. Dennoch bieten sie auch vielseitige Möglichkeiten, eben solche gefährdeten Sprachen zu erhalten\. Doch verfügen sie auch über die nötige Kreativität und das Abstraktionsvermögen, phonetisch kodierte Sprache zu entschlüsseln, wie es Menschen tun?

###### Index Terms:

LLM, Phonetics, Phonetic Encoding, Latin, IPA, Cyrillic, Cyrillization

###### Index Terms:

LLM, Phonetik, Lateinisch, IPA, Kyrillisch

## IIntroduction

An estimated 50% of all websites on the Internet are in English\[[18](https://arxiv.org/html/2608.21462#biba.bib16)\]\. This language dominance is also reflected in the training datasets of LLMs, not only because they are predominantly developed by US\-based companies, but also because they now incorporate large portions of the open Internet\. Furthermore, more than 85% of the Internet is written in Latin characters\[[18](https://arxiv.org/html/2608.21462#biba.bib16)\], further increasing the West’s influence on common LLMs\.

Based on their acquired knowledge, humans can solve new, previously\-unseen tasks\[[2](https://arxiv.org/html/2608.21462#biba.bib19)\]\. For example, someone who can read the Cyrillic alphabet and understand German could also understand German words written using Cyrillic characters\. But are LLMs likewise capable of such phonetic abstraction, even though they have never been trained to do so?

## IIRelated Work

Previous research has shown that LLMs provide different answers to the same questions—even purely factual ones—in different languages: A study by Ifergan et al\. found that different alphabets in particular lead to a separation of the knowledge bases of different languages within LLMs\. For example, while approximately half of the knowledge from languages using the Cyrillic script was also present in languages using the Latin script, the reverse was only true for 10–20%\[[8](https://arxiv.org/html/2608.21462#biba.bib1)\]\. LLMs are further sensitive to varieties of one and the same standard language\[[1](https://arxiv.org/html/2608.21462#biba.bib7)\], resulting in poorer processing even of English dialects\[[9](https://arxiv.org/html/2608.21462#biba.bib11),[17](https://arxiv.org/html/2608.21462#biba.bib9),[10](https://arxiv.org/html/2608.21462#biba.bib8),[7](https://arxiv.org/html/2608.21462#biba.bib10)\]and, in some cases, even discriminatory behavior\[[3](https://arxiv.org/html/2608.21462#biba.bib12)\]\.

Maksymenko and Turuta showed that processing Ukrainian prompts in Cyrillic requires significantly more tokens and time per word than processing English\-language prompts\[[13](https://arxiv.org/html/2608.21462#biba.bib2)\]\. Furthermore, according to Chen et al\., the Arabic and Cyrillic scripts are particularly susceptible to embedding inversion attacks\[[4](https://arxiv.org/html/2608.21462#biba.bib3)\]\.

Mapping words from one writing system to another can be done either letter by letter \(transliteration\) or word by word based on pronunciation \(transcription\)\. While transcribed texts are easier to handle due to largely avoiding the use of diacritics, especially for non\-experts, unlike transliteration, transcription cannot be reversed to restore the original text losslessly due to character\-level ambiguity\[[19](https://arxiv.org/html/2608.21462#biba.bib4)\]\.

A study by Ma et al\. published in 2024 found that LLMs performed up to 25% better on prompts transliterated into the Latin script compared to prompts in their original writing system\[[12](https://arxiv.org/html/2608.21462#biba.bib5)\]\. Nevertheless, in the same year, Partanen showed that LLMs are also capable of producing high\-quality transliterations for endangered languages, even though they were presumably underrepresented in their training datasets\[[14](https://arxiv.org/html/2608.21462#biba.bib6)\]\.

Their ‘‘understanding’’ of phonetics and their behavior when confronted with encoded or secret\-language111In an otherwise unrelated study by de Knock et al\., LLMs were trainedto decode the slang of extremist groups\[[5](https://arxiv.org/html/2608.21462#biba.bib13)\]\.queries, however, remain yet to be explored\.

Therefore, this paper investigates how LLMs respond to phonetic encoding of Western standard language into the Cyrillic script \(Cyrillization\): Can they abstract these cyrillized prompts from their syntactic form and solve their specified tasks even though they have presumably not been trained on such content?

## IIIMethodology

To investigate this with the highest possible real\-world applicability, ChatGPT\-5\.2222Versiongpt\-5\.2\-2025\-12\-11was used with the default settings\. A Python script queried its API with all 790 questions of the English\-languageTruthfulQAdataset\[[11](https://arxiv.org/html/2608.21462#biba.bib14)\]in three variants, which test the extent to which LLMs reproduce misconceptions: the questions in their original form, converted into theInternational Phonetic Alphabet\(IPA\) using theeng\_to\_ipalibrary\[[15](https://arxiv.org/html/2608.21462#biba.bib17)\], and, based on that, transcribed into the Cyrillic script\. All zero\-shot prompts consisted of the respective question, two multiple\-choice answer options in randomized order333According to the revised recommendations for the benchmark’s usage\[[6](https://arxiv.org/html/2608.21462#biba.bib18)\], and the required output format \(see Tables[II](https://arxiv.org/html/2608.21462#Sx6.T2)&[III](https://arxiv.org/html/2608.21462#Sx6.T3)\)\. For quantitative evaluation, in addition to answerAccuracy, the number of consumedTokensand the processingDurationrequired by the LLM were measured\.

Since not only theScriptof the dataset but also the respective question influences the result, mixed\-effects models were employed: for the continuous variableDuration, a linear mixed model \(LMM\), and for the binary variableAccuracy, a generalized LMM \(GLMM\)\. Since theDurationmeasurements were not normally distributed, they were log\-transformed before the analysis\. The significance of the effect variableScriptwas tested using likelihood\-ratio tests \(χ2\\chi^\{2\}\) between the full model and a model without the effect\. In the case of a significant result, pairwise post\-hoc contrasts with Holm correction were calculated\. As a measure for effect size, odds ratios \(OR\) with 95% confidence intervals are reported for theAccuracy\. The significance analysis was performed in R\[[16](https://arxiv.org/html/2608.21462#biba.bib15)\]\.

## IVResults

Table I:Overview of the three variants of theTruthfulQAdatasetAs shown in Table[I](https://arxiv.org/html/2608.21462#S4.T1a), the transcribed queries were substantially shorter than the original and the IPA queries\. However, the LLM required nearly twice as many inputTokensper character to process them and almost three and a half times as many for the IPA queries compared to the baseline\. Answering all 2370 queries required 4 outputTokenseach\.

The analysis showed a significant effect of theScripton the answerAccuracy\(χ2\\chi^\{2\}\(2\)≈\\approx96\.614896\.6148,p<0\.001p<$0\.001$\)\. Post\-hoc tests confirmed significantly higherAccuracyfor both the original \(OR≈\\approx14\.586 80014\.586\\,800, 95% CI \[6\.347 996 96\.347\\,996\\,9,33\.518 40333\.518\\,403\],p<0\.001p<$0\.001$\) and the IPA queries \(OR≈\\approx11\.448 65411\.448\\,654, 95% CI \[5\.070 475 55\.070\\,475\\,5,25\.849 97825\.849\\,978\],p<0\.001p<$0\.001$\) compared to the cyrillized ones\. Between the Latin and the IPA variants, however, no significant difference was found \(OR≈\\approx1\.274 1061\.274\\,106, 95% CI \[0\.604 436 80\.604\\,436\\,8,2\.685 7172\.685\\,717\],p≈0\.436 749 1p\\approx$0\.436\\,749\\,1$\)\.

Regarding the processingDuration, no significant differences were found between the threeScriptvariants \(χ2\\chi^\{2\}\(2\)≈\\approx1\.470 4731\.470\\,473,p≈0\.479 392p\\approx$0\.479\\,392$\), although slightly lower variability was observed for the IPA queries \(see Table[I](https://arxiv.org/html/2608.21462#S4.T1a)\)\.

## VDiscussion

ChatGPT\-5\.2 achieved the highestAccuracyon standard\-language inputs, which is consistent with its presumed training data\. It is noteworthy, however, that the cyrillized queries and those in the International Phonetic Alphabet, too, achieved very highAccuracyvalues of over 80%, with the latter not performing statistically significantly worse than the original queries\. This suggests that the LLM had a good understanding of the tasks and the real\-world context necessary for answering them correctly in all cases—particularly also since the observed accuracies approach the original human baseline of 94% reported for theTruthfulQAdataset \(cf\.\[[11](https://arxiv.org/html/2608.21462#biba.bib14)\]\)\.

Furthermore, the observation that the cyrillized, but not the IPA queries performed worse could be attributable to the divergent knowledge bases between writing systems described in the literature \(cf\.\[[8](https://arxiv.org/html/2608.21462#biba.bib1)\]\)\.

Another argument for this hypothesis could be the measured differences in the input token efficiencies, which appear to correlate with the prevalence of their respective scripts in the training datasets\. Thus, the nearly 1\-to\-1 relationship between IPA characters andTokenscould be explained by the fact that IPA is used only in linguistic niche contexts, whereas the Cyrillic script is at least used by some major languages and is therefore represented more frequently in the training data\. Alternatively or additionally, a higher\-bit tokenization may have been utilized\.

Although the processingDurationwas not significantly influenced by the choice ofScriptin this study, this could be due to the prompts—which averaged fewer than 300 characters—and the required output of only one character being comparatively short\.

## VILimitations & Future Work

It cannot be ruled out that the high accuracies achieved compared to the literature might also have originated from ChatGPT having been trained, directly or indirectly, on theTruthfulQAdataset by this point\. Furthermore, this study did not investigate how LLMs would respond to a bijective transliteration rather than a mere simplifying transcription\. Moreover, the results of similarly phonetically encoded but more complex and textually more extensive problem statements—also in regard to the required processing time—would be worth investigating\.

## VIIConclusion

As part of this research, a controlled study was conducted to investigate whether LLMs are capable of phonetic abstraction of their inputs\. To this end, the adversarial prompts of the English\-languageTruthfulQAdataset were converted both into the International Phonetic Alphabet and into the Cyrillic script\. The results show that ChatGPT\-5\.2 achieves high benchmark accuracy also on the phonetically encoded inputs, rather than predominantly reproducing misconceptions, without requiring more time to do so\. The observed difference in accuracy between the original and the IPA queries was even found to be non\-significant, which suggests that the LLM is robust to phonetic encoding of this kind\.

## Transparency & Reproducibility

## References

## References

- \[1\]M\. M\. I\. Alam and A\. Anastasopoulos\(2025\)Large Language Models as a Normalizer for Transliteration and Dialectal Translation\.InProceedings of the 12th Workshop on NLP for Similar Languages, Varieties and Dialects,Y\. Scherrer, T\. Jauhiainen, N\. Ljubešić, P\. Nakov, J\. Tiedemann, and M\. Zampieri \(Eds\.\),Abu Dhabi, UAE,pp\. 39–67\.External Links:[Link](https://aclanthology.org/2025.vardial-1.5/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[2\]J\. D\. Bransford and D\. L\. Schwartz\(1999\)Chapter 3: Rethinking Transfer: A Simple Proposal With Multiple Implications\.Review of Research in Education24\(1\),pp\. 61–100\.External Links:[Document](https://dx.doi.org/10.3102/0091732X024001061),[Link](https://doi.org/10.3102/0091732X024001061),https://doi\.org/10\.3102/0091732X024001061Cited by:[§I](https://arxiv.org/html/2608.21462#S1.p2.1),[§I](https://arxiv.org/html/2608.21462#S1a.p2.1)\.
- \[3\]M\. D\. Bui, C\. Holtermann, V\. Hofmann, A\. Lauscher, and K\. von der Wense\(2025\)Large Language Models Discriminate Against Speakers of German Dialects\.InProceedings of the 2025 Conference on Empirical Methods in Natural Language Processing,C\. Christodoulopoulos, T\. Chakraborty, C\. Rose, and V\. Peng \(Eds\.\),Suzhou, China,pp\. 8223–8251\.External Links:[Link](https://aclanthology.org/2025.emnlp-main.415/),[Document](https://dx.doi.org/10.18653/v1/2025.emnlp-main.415),ISBN 979\-8\-89176\-332\-6Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[4\]Y\. Chen, R\. Biswas, H\. Lent, and J\. Bjerva\(2024\)Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks\.External Links:2408\.11749,[Link](https://arxiv.org/abs/2408.11749)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p2.1),[§II](https://arxiv.org/html/2608.21462#S2a.p2.1)\.
- \[5\]C\. de Kock, A\. Riabi, Z\. Talat, M\. S\. Schlichtkrull, P\. Madhyastha, and E\. Hovy\(2025\)IYKYK: Using language models to decode extremist cryptolects\.External Links:2506\.05635,[Link](https://arxiv.org/abs/2506.05635)Cited by:[footnote 1](https://arxiv.org/html/2608.21462#footnote1),[footnote 1](https://arxiv.org/html/2608.21462#footnote1a)\.
- \[6\]O\. Evans, J\. Chua, and S\. Lin\(2025\)New, improved multiple\-choice TruthfulQA\.Note:last accessed on 27 Nov 2025External Links:[Link](https://www.alignmentforum.org/posts/Bunfwz6JsNd44kgLT/new-improved-multiple-choice-truthfulqa)Cited by:[footnote 3](https://arxiv.org/html/2608.21462#footnote3),[footnote 3](https://arxiv.org/html/2608.21462#footnote3a)\.
- \[7\]F\. Faisal and A\. Anastasopoulos\(2025\)Testing the Boundaries of LLMs: Dialectal and Language\-Variety Tasks\.InProceedings of the 12th Workshop on NLP for Similar Languages, Varieties and Dialects,Y\. Scherrer, T\. Jauhiainen, N\. Ljubešić, P\. Nakov, J\. Tiedemann, and M\. Zampieri \(Eds\.\),Abu Dhabi, UAE,pp\. 68–92\.External Links:[Link](https://aclanthology.org/2025.vardial-1.6/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[8\]M\. Ifergan, L\. Choshen, R\. Aharoni, I\. Szpektor, and O\. Abend\(2024\)Beneath the Surface of Consistency: Exploring Cross\-lingual Knowledge Representation Sharing in LLMs\.External Links:2408\.10646,[Link](https://arxiv.org/abs/2408.10646)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1),[§V](https://arxiv.org/html/2608.21462#S5.p2.1),[§V](https://arxiv.org/html/2608.21462#S5a.p2.1)\.
- \[9\]A\. Kantharuban, I\. Vulić, and A\. Korhonen\(2023\)Quantifying the Dialect Gap and its Correlates Across Languages\.External Links:2310\.15135,[Link](https://arxiv.org/abs/2310.15135)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[10\]F\. Lin, S\. Mao, E\. L\. Malfa, V\. Hofmann, A\. de Wynter, X\. Wang, S\. Chen, M\. J\. Wooldridge, J\. B\. Pierrehumbert, and F\. Wei\(2025\)Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks\.InWorkshop on Reasoning and Planning for Large Language Models,External Links:[Link](https://openreview.net/forum?id=3YyyiyV4B6)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[11\]S\. Lin, J\. Hilton, and O\. Evans\(2022\)TruthfulQA: Measuring How Models Mimic Human Falsehoods\.InProceedings of the 60th Annual Meeting of the Association for Computational Linguistics \(Volume 1: Long Papers\),S\. Muresan, P\. Nakov, and A\. Villavicencio \(Eds\.\),Dublin, Ireland,pp\. 3214–3252\.External Links:[Link](https://aclanthology.org/2022.acl-long.229/),[Document](https://dx.doi.org/10.18653/v1/2022.acl-long.229)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p1.1),[§III](https://arxiv.org/html/2608.21462#S3a.p1.1),[§V](https://arxiv.org/html/2608.21462#S5.p1.1),[§V](https://arxiv.org/html/2608.21462#S5a.p1.1)\.
- \[12\]C\. Ma, Y\. Liu, H\. Ye, and H\. Schütze\(2024\)Exploring the Role of Transliteration in In\-Context Learning for Low\-resource Languages Written in Non\-Latin Scripts\.External Links:2407\.02320,[Link](https://arxiv.org/abs/2407.02320)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p4.1),[§II](https://arxiv.org/html/2608.21462#S2a.p4.1)\.
- \[13\]D\. Maksymenko and O\. Turuta\(2025\)Tokenization efficiency of current foundational large language models for the Ukrainian language\.Frontiers in Artificial IntelligenceVolume 8 \- 2025\.External Links:[Link](https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1538165),[Document](https://dx.doi.org/10.3389/frai.2025.1538165),ISSN 2624\-8212Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p2.1),[§II](https://arxiv.org/html/2608.21462#S2a.p2.1)\.
- \[14\]N\. Partanen\(2024\)Using Large Language Models to Transliterate Endangered Uralic Languages\.InProceedings of the 9th International Workshop on Computational Linguistics for Uralic Languages,M\. Hämäläinen, F\. Pirinen, M\. Macias, and M\. Crespo Avila \(Eds\.\),Helsinki, Finland,pp\. 81–88\.External Links:[Link](https://aclanthology.org/2024.iwclul-1.10/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p4.1),[§II](https://arxiv.org/html/2608.21462#S2a.p4.1)\.
- \[15\]M\. Phillips, M\. P\. Krawiec\-Thayer, T\. van Cann, and CanadianCommander\(2020\)English to IPA \(eng\_to\_ipa\)\.Note:version 0\.0\.2, last accessed on 27 Jan 2026External Links:[Link](https://pypi.org/project/eng-to-ipa/)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p1.1),[§III](https://arxiv.org/html/2608.21462#S3a.p1.1)\.
- \[16\]R Core Team\(2024\)R: A Language and Environment for Statistical Computing\.R Foundation for Statistical Computing,Vienna, Austria\.External Links:[Link](https://www.r-project.org/)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p2.1),[§III](https://arxiv.org/html/2608.21462#S3a.p2.1)\.
- \[17\]D\. Srirag, N\. R\. Sahoo, and A\. Joshi\(2024\)Evaluating Dialect Robustness of Language Models via Conversation Understanding\.External Links:2405\.05688,[Link](https://arxiv.org/abs/2405.05688)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[18\]\(2026\)Usage statistics of content languages for websites\.Note:Last accessed on 27 Jan 2026External Links:[Link](https://w3techs.com/technologies/overview/content_language)Cited by:[§I](https://arxiv.org/html/2608.21462#S1.p1.1),[§I](https://arxiv.org/html/2608.21462#S1a.p1.1)\.
- \[19\]M\. Vakulenko\(2024\)Transliteration of Non\-Latin Texts: From Everyday Practice to Linguistic Technologies\.InProceedings of the World Conference on Foreign Language Education,Vol\.1,pp\. 1–11\.Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p3.1),[§II](https://arxiv.org/html/2608.21462#S2a.p3.1)\.

## Appendix

Table II:Structure of an API request\(a\)English original

\(b\)International Phonetic Alphabet

\(c\)Cyrillization

Table III:Question \#23 of theTruthfulQAdataset\(a\)English original

\(b\)International Phonetic Alphabet

\(c\)Cyrillization

CyrillicQA: Der Einfluss phonetisch kodierter Geheimsprache auf LLM\-Performanz

## IEinführung

Schätzungsweise 50 % aller Webseiten im Internet sind auf Englisch\[[18](https://arxiv.org/html/2608.21462#biba.bib16)\]\. Diese Dominanz überträgt sich auch auf die Trainingsdatensätze von LLMs, nicht nur, weil diese mehrheitlich von US\-amerikanischen Unternehmen entwickelt werden, sondern auch, da sie mittlerweile große Teile des freien Internets beinhalten\. Darüber hinaus sind mehr als 85 % des Internets in lateinischen Buchstaben verfasst\[[18](https://arxiv.org/html/2608.21462#biba.bib16)\], was eine weitere West\-Prägung gängiger LLMs zur Folge hat\.

Ein Mensch kann basierend auf zuvor erworbenem Wissen ihm noch unbekannte Probleme lösen\[[2](https://arxiv.org/html/2608.21462#biba.bib19)\]\. So könnte jemand, der Kyrillisch lesen und Deutsch verstehen kann, auch im kyrillischen Alphabet verfasste deutsche Wörter verstehen\. Doch sind auch LLMs zu derartiger phonetischer Abstraktion in der Lage, obwohl sie nie dazu trainiert worden sind?

## IIStand der Forschung

Die Forschung hat gezeigt, dass LLMs auf dieselben – selbst rein faktenbasierten – Fragen in verschiedenen Sprachen unterschiedliche Antworten geben: Eine Untersuchung von Ifergan et al\. ergab, dass insbesondere unterschiedliche Alphabete zu einer Separierung der Wissensbasen unterschiedlicher Sprachen in LLMs führen\. Während beispielsweise Wissen aus Sprachen mit dem kyrillischen Schriftsystem etwa zur Hälfte auch in denen Lateinischer vorhanden war, waren es andersherum nur 10–20 %\[[8](https://arxiv.org/html/2608.21462#biba.bib1)\]\. Aber auch gegenüber Sprachvarietäten ein und derselben Standardsprache sind LLMs anfällig\[[1](https://arxiv.org/html/2608.21462#biba.bib7)\], was zu schlechterer Verarbeitung – selbst englischer – Dialekte\[[9](https://arxiv.org/html/2608.21462#biba.bib11),[17](https://arxiv.org/html/2608.21462#biba.bib9),[10](https://arxiv.org/html/2608.21462#biba.bib8),[7](https://arxiv.org/html/2608.21462#biba.bib10)\]oder gar Diskriminierung\[[3](https://arxiv.org/html/2608.21462#biba.bib12)\]führt\.

Maksymenko und Turuta zeigten, dass die Verarbeitung ukrainischer Prompts auf Kyrillisch pro Wort deutlich mehr Tokens und Zeit in Anspruch nimmt, als es bei englischsprachigen der Fall ist\[[13](https://arxiv.org/html/2608.21462#biba.bib2)\]\. Darüber hinaus sind das Arabische und das Kyrillische laut Chen et al\. besonders anfällig gegenüberEmbedding Inversion\-Angriffen\[[4](https://arxiv.org/html/2608.21462#biba.bib3)\]\.

Um Wörter eines Schriftsystems in die eines anderen zu überführen, kann man dies entweder buchstabenweise \(Transliteration\) oder wortweise, auf die Phonetik bedacht, \(Transkription\) tun\. Während die Transkription aufgrund der weitgehenden Einsparung von Diakritika einfachere Handhabung ermöglicht, ist sie – im Gegensatz zur Transliteration – allerdings nicht wieder verlustfrei umkehrbar\[[19](https://arxiv.org/html/2608.21462#biba.bib4)\]\.

Eine 2024 veröffentlichte Studie von Ma et al\. ergab, dass LLMs ins Lateinische transliterierte Prompts bis zu 25 % besser verarbeiteten, als sie es für die Ausgangsprompts konnten\[[12](https://arxiv.org/html/2608.21462#biba.bib5)\]\. Dennoch konnte Partanen im selben Jahr zeigen, dass LLMs fähig sind, auch für bedrohte – und dementsprechend in ihren Trainingsdatensätzen unterrepräsentierte – Sprachen hochwertige Transliterationen zu erzeugen\[[14](https://arxiv.org/html/2608.21462#biba.bib6)\]\. Ihr \>\>Verständnis<< von Phonetik sowie ihr Verhalten bei kodierten oder geheimsprachlichen111In einer sonst sachfremden Studie von de Knock et al\. wurden LLMsgeschult, den Slang von Extremistengruppen zu entschlüsseln\[[5](https://arxiv.org/html/2608.21462#biba.bib13)\]\.Anfragen bleiben bislang jedoch unerforscht\.

Daher wird im Folgenden untersucht, wie LLMs auf die phonetische Kodierung westlicher Standardsprache ins Kyrillische reagieren: Können sie diese Prompts von ihrer syntaktischen Gestalt abstrahieren und lösen, obwohl sie wohl nicht auf derartigen Inhalten trainiert worden sind?

## IIIMethode

Um dies mit höchstmöglicher realweltlicher Aussagekraft zu untersuchen, wurde ChatGPT\-5\.2222Versiongpt\-5\.2\-2025\-12\-11mit den Standardeinstellungen verwendet\. Diesem wurden von einem Python\-Skript per API alle 790 Fragen des englischsprachigenTruthfulQA\-Datensatzes\[[11](https://arxiv.org/html/2608.21462#biba.bib14)\]in drei Ausführungen gestellt, welche die Reproduktion von Irrglauben prüfen: im Original, mithilfe dereng\_to\_ipa\-Bibliothek\[[15](https://arxiv.org/html/2608.21462#biba.bib17)\]insInternationale Phonetische Alphabet\(IPA\) überführt und davon ausgehend ins Kyrillische transkribiert\. Alle Zero\-Shot\-Prompts bestanden aus der jeweiligen Fragestellung, zwei Multiple\-Choice\-Antwortmöglichkeiten in randomisierter Reihenfolge333Gemäß der überarbeiteten Empfehlungen zur Benchmark\-Nutzung\[[6](https://arxiv.org/html/2608.21462#biba.bib18)\]sowie dem geforderten Ausgabeformat \(siehe Tabellen[II](https://arxiv.org/html/2608.21462#Sx6.T2)&[III](https://arxiv.org/html/2608.21462#Sx6.T3)\)\. Zur quantitativen Auswertung wurden neben der Antwort\-Korrektheitdie vom LLM benötigtenTokensund die Verarbeitungs\-Dauergemessen\.

Da neben derSchriftdes Datensatzes auch die jeweilige Frage das Ergebnis beeinflusst, wurden gemischte Modelle verwendet: für die kontinuierliche VariableDauerein lineares gemischtes Modell \(LMM\) und für die binäre VariableKorrektheitein generalisiertes LMM \(GLMM\)\. Da dieDauer\-Messwerte nicht normalverteilt waren, wurden sie zuvor log\-transformiert\. Die Signifikanz der EffektvariableSchriftwurde jeweils mittels Likelihood\-Quotienten\-Tests \(χ2\\chi^\{2\}\) zwischen dem vollen und einem Modell ohne Effekt geprüft\. Im Falle eines signifikanten Ergebnisses wurden paarweise Post\-hoc\-Kontraste mit Holm\-Korrektur berechnet\. Als Effektmaß werden für dieKorrektheitOdds\-Ratios \(OR\) mit 95\-%\-Konfidenzintervallen angegeben\. Die Signifikanzanalyse erfolgte in R\[[16](https://arxiv.org/html/2608.21462#biba.bib15)\]\.

## IVErgebnisse

Tabelle I:Übersicht über die dreiTruthfulQA\-VariantenWie in Tabelle[I](https://arxiv.org/html/2608.21462#S4.T1a)ersichtlich, waren die transkribierten Anfragen deutlich kürzer als die Ausgangs\- und IPA\-Anfragen\. Allerdings benötigte das LLM für ihre Verarbeitung fast die doppelte und für die IPA\-Anfragen knapp die dreieinhalbfache Anzahl Eingabe\-Tokenspro Zeichen\. Die Beantwortung aller 2370 Anfragen benötigte je 4 Ausgabe\-Tokens\.

Die Analyse zeigte einen signifikanten Einfluss derSchriftauf die Antwort\-Korrektheit\(χ2\\chi^\{2\}\(2\)≈\\approx96,614896,6148,p<0,001p<$0,001$\)\. Die Post\-hoc\-Tests bestätigten eine signifikant höhereKorrektheitsowohl für die Ausgangs\- \(OR≈\\approx14,586 80014,586\\,800, 95\-%\-KI \[6,347 996 96,347\\,996\\,9;33,518 40333,518\\,403\],p<0,001p<$0,001$\) als auch die IPA\-Anfragen \(OR≈\\approx11,448 65411,448\\,654, 95\-%\-KI \[5,070 475 55,070\\,475\\,5;25,849 97825,849\\,978\],p<0,001p<$0,001$\) im Vergleich zu den ins Kyrillische transkribierten\. Zwischen den lateinischen und phonetischen hingegen wurde kein signifikanter Unterschied festgestellt \(OR≈\\approx1,274 1061,274\\,106, 95\-%\-KI \[0,604 436 80,604\\,436\\,8;2,685 7172,685\\,717\],p≈0,436 749 1p\\approx$0,436\\,749\\,1$\)\.

Für die Verarbeitungs\-Dauerzeigten sich keine signifikanten Unterschiede zwischen den dreiSchrift\-Varianten \(χ2\\chi^\{2\}\(2\)≈\\approx1,470 4731,470\\,473,p≈0,479 392p\\approx$0,479\\,392$\), auch wenn die Streuung für die IPA\-Anfragen etwas geringer ausfiel \(siehe Tabelle[I](https://arxiv.org/html/2608.21462#S4.T1a)\)\.

## VDiskussion

ChatGPT\-5\.2 erreichte die höchsteKorrektheitauf standardsprachlichen Eingaben, was seinen Trainingsdaten entsprechen dürfte\. Bemerkenswert ist jedoch, dass die ins Kyrillische transkribierten Anfragen und jene im Internationalen Phonetischen Alphabet ebenfalls sehr hoheKorrektheitswerte von über 80 % erzielten, wobei letztere statistisch nicht signifikant schlechter als die originären abschnitten\. Dies deutet darauf hin, dass das LLM in allen Fällen über ein gutes Verständnis der Aufgabenstellung und des für die korrekte Beantwortung nötigen realweltlichen Kontextes verfügte – insbesondere auch, da sich die erzielten Werte der ursprünglich angegebenen menschlichen Baseline desTruthfulQA\-Datensatzes von 94 % annähern \(vgl\.\[[11](https://arxiv.org/html/2608.21462#biba.bib14)\]\)\.

Darüber hinaus könnte die Beobachtung, dass die kyrillischen, nicht aber die IPA\-Anfragen schlechter abschnitten, auf die in der Literatur beschriebenen, zwischen Schriftsystemen divergierenden Wissensbasen zurückgehen \(vgl\.\[[8](https://arxiv.org/html/2608.21462#biba.bib1)\]\)\.

Ein weiteres Argument für diese These könnten die gemessenen differierenden Eingabetokeneffizienzen sein, welche mit der Schriftsystemprävalenz in den Trainingsdatensätzen zu korrelieren scheinen\. Dementsprechend bestünde die fast 1\-zu\-1\-Beziehung zwischen IPA\-Zeichen undTokensdeshalb, da diese nur in linguistischen Nischenkontexten Anwendung fänden, während das Kyrillische zumindest von einigen großen Sprachen genutzt würde und somit häufiger in den Trainingsdaten vertreten wäre\. Alternativ oder hinzukommend könnte allerdings auch eine bitreichere Tokenisierung erfolgt sein\.

Auch wenn die Verarbeitungs\-Dauerin dieser Studie nicht signifikant durch das Schriftsystem beeinflusst wurde, könnte dies daran gelegen haben, dass die Prompts mit durchschnittlich unter 300 Zeichen sowie auch die geforderte Ausgabe von einem Zeichen relativ kurz waren\.

## VILimitationen & Ausblick

Es ist nicht auszuschließen, dass die im Vergleich zur Literatur hohen erzielten Korrektheitswerte auch daher rühren, dass ChatGPT mittlerweile direkt oder indirekt auch auf demTruthfulQA\-Datensatz trainiert worden ist\. Darüber hinaus wurde in dieser Studie nicht untersucht, wie LLMs auf eine bijektive Transliteration statt nur einer vereinfachenden Transkription reagieren würden\. Ebenso wären die Ergebnisse komplexerer und textuell expansiverer Problemstellungen – auch im Hinblick auf die nötige Verarbeitungszeit – erforschenswert\.

## VIIZusammenfassung

Im Rahmen dieses Papers wurde eine kontrollierte Studie durchgeführt, um zu untersuchen, ob LLMs zur phonetischen Abstraktion ihrer Eingaben fähig sind\. Dazu wurden die adversarialen Prompts des englischsprachigenTruthfulQA\-Datensatzes sowohl ins Internationale Phonetische Alphabet als auch ins Kyrillische überführt\. Die Ergebnisse zeigen, dass ChatGPT\-5\.2 auch auf den phonetisch kodierten Eingaben hohe Korrektheitswerte im Benchmark erzielt, statt mehrheitlich Irrglauben zu reproduzieren, ohne dafür mehr Zeit zu benötigen\. Die Diskrepanz zwischen den Ausgangs\- und IPA\-Anfragen erwies sich gar als nicht signifikant, was auf eine Robustheit des LLMs gegenüber derartiger phonetischer Kodierung hindeutet\.

## Transparenz & Reproduzierbarkeit

## Literatur

## Literatur

- \[1\]M\. M\. I\. Alam and A\. Anastasopoulos\(2025\)Large Language Models as a Normalizer for Transliteration and Dialectal Translation\.InProceedings of the 12th Workshop on NLP for Similar Languages, Varieties and Dialects,Y\. Scherrer, T\. Jauhiainen, N\. Ljubešić, P\. Nakov, J\. Tiedemann, and M\. Zampieri \(Eds\.\),Abu Dhabi, UAE,pp\. 39–67\.External Links:[Link](https://aclanthology.org/2025.vardial-1.5/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[2\]J\. D\. Bransford and D\. L\. Schwartz\(1999\)Chapter 3: Rethinking Transfer: A Simple Proposal With Multiple Implications\.Review of Research in Education24\(1\),pp\. 61–100\.External Links:[Document](https://dx.doi.org/10.3102/0091732X024001061),[Link](https://doi.org/10.3102/0091732X024001061),https://doi\.org/10\.3102/0091732X024001061Cited by:[§I](https://arxiv.org/html/2608.21462#S1.p2.1),[§I](https://arxiv.org/html/2608.21462#S1a.p2.1)\.
- \[3\]M\. D\. Bui, C\. Holtermann, V\. Hofmann, A\. Lauscher, and K\. von der Wense\(2025\)Large Language Models Discriminate Against Speakers of German Dialects\.InProceedings of the 2025 Conference on Empirical Methods in Natural Language Processing,C\. Christodoulopoulos, T\. Chakraborty, C\. Rose, and V\. Peng \(Eds\.\),Suzhou, China,pp\. 8223–8251\.External Links:[Link](https://aclanthology.org/2025.emnlp-main.415/),[Document](https://dx.doi.org/10.18653/v1/2025.emnlp-main.415),ISBN 979\-8\-89176\-332\-6Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[4\]Y\. Chen, R\. Biswas, H\. Lent, and J\. Bjerva\(2024\)Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks\.External Links:2408\.11749,[Link](https://arxiv.org/abs/2408.11749)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p2.1),[§II](https://arxiv.org/html/2608.21462#S2a.p2.1)\.
- \[5\]C\. de Kock, A\. Riabi, Z\. Talat, M\. S\. Schlichtkrull, P\. Madhyastha, and E\. Hovy\(2025\)IYKYK: Using language models to decode extremist cryptolects\.External Links:2506\.05635,[Link](https://arxiv.org/abs/2506.05635)Cited by:[footnote 1](https://arxiv.org/html/2608.21462#footnote1),[footnote 1](https://arxiv.org/html/2608.21462#footnote1a)\.
- \[6\]O\. Evans, J\. Chua, and S\. Lin\(2025\)New, improved multiple\-choice TruthfulQA\.Note:last accessed on 27 Nov 2025External Links:[Link](https://www.alignmentforum.org/posts/Bunfwz6JsNd44kgLT/new-improved-multiple-choice-truthfulqa)Cited by:[footnote 3](https://arxiv.org/html/2608.21462#footnote3),[footnote 3](https://arxiv.org/html/2608.21462#footnote3a)\.
- \[7\]F\. Faisal and A\. Anastasopoulos\(2025\)Testing the Boundaries of LLMs: Dialectal and Language\-Variety Tasks\.InProceedings of the 12th Workshop on NLP for Similar Languages, Varieties and Dialects,Y\. Scherrer, T\. Jauhiainen, N\. Ljubešić, P\. Nakov, J\. Tiedemann, and M\. Zampieri \(Eds\.\),Abu Dhabi, UAE,pp\. 68–92\.External Links:[Link](https://aclanthology.org/2025.vardial-1.6/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[8\]M\. Ifergan, L\. Choshen, R\. Aharoni, I\. Szpektor, and O\. Abend\(2024\)Beneath the Surface of Consistency: Exploring Cross\-lingual Knowledge Representation Sharing in LLMs\.External Links:2408\.10646,[Link](https://arxiv.org/abs/2408.10646)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1),[§V](https://arxiv.org/html/2608.21462#S5.p2.1),[§V](https://arxiv.org/html/2608.21462#S5a.p2.1)\.
- \[9\]A\. Kantharuban, I\. Vulić, and A\. Korhonen\(2023\)Quantifying the Dialect Gap and its Correlates Across Languages\.External Links:2310\.15135,[Link](https://arxiv.org/abs/2310.15135)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[10\]F\. Lin, S\. Mao, E\. L\. Malfa, V\. Hofmann, A\. de Wynter, X\. Wang, S\. Chen, M\. J\. Wooldridge, J\. B\. Pierrehumbert, and F\. Wei\(2025\)Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks\.InWorkshop on Reasoning and Planning for Large Language Models,External Links:[Link](https://openreview.net/forum?id=3YyyiyV4B6)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[11\]S\. Lin, J\. Hilton, and O\. Evans\(2022\)TruthfulQA: Measuring How Models Mimic Human Falsehoods\.InProceedings of the 60th Annual Meeting of the Association for Computational Linguistics \(Volume 1: Long Papers\),S\. Muresan, P\. Nakov, and A\. Villavicencio \(Eds\.\),Dublin, Ireland,pp\. 3214–3252\.External Links:[Link](https://aclanthology.org/2022.acl-long.229/),[Document](https://dx.doi.org/10.18653/v1/2022.acl-long.229)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p1.1),[§III](https://arxiv.org/html/2608.21462#S3a.p1.1),[§V](https://arxiv.org/html/2608.21462#S5.p1.1),[§V](https://arxiv.org/html/2608.21462#S5a.p1.1)\.
- \[12\]C\. Ma, Y\. Liu, H\. Ye, and H\. Schütze\(2024\)Exploring the Role of Transliteration in In\-Context Learning for Low\-resource Languages Written in Non\-Latin Scripts\.External Links:2407\.02320,[Link](https://arxiv.org/abs/2407.02320)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p4.1),[§II](https://arxiv.org/html/2608.21462#S2a.p4.1)\.
- \[13\]D\. Maksymenko and O\. Turuta\(2025\)Tokenization efficiency of current foundational large language models for the Ukrainian language\.Frontiers in Artificial IntelligenceVolume 8 \- 2025\.External Links:[Link](https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1538165),[Document](https://dx.doi.org/10.3389/frai.2025.1538165),ISSN 2624\-8212Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p2.1),[§II](https://arxiv.org/html/2608.21462#S2a.p2.1)\.
- \[14\]N\. Partanen\(2024\)Using Large Language Models to Transliterate Endangered Uralic Languages\.InProceedings of the 9th International Workshop on Computational Linguistics for Uralic Languages,M\. Hämäläinen, F\. Pirinen, M\. Macias, and M\. Crespo Avila \(Eds\.\),Helsinki, Finland,pp\. 81–88\.External Links:[Link](https://aclanthology.org/2024.iwclul-1.10/)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p4.1),[§II](https://arxiv.org/html/2608.21462#S2a.p4.1)\.
- \[15\]M\. Phillips, M\. P\. Krawiec\-Thayer, T\. van Cann, and CanadianCommander\(2020\)English to IPA \(eng\_to\_ipa\)\.Note:version 0\.0\.2, last accessed on 27 Jan 2026External Links:[Link](https://pypi.org/project/eng-to-ipa/)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p1.1),[§III](https://arxiv.org/html/2608.21462#S3a.p1.1)\.
- \[16\]R Core Team\(2024\)R: A Language and Environment for Statistical Computing\.R Foundation for Statistical Computing,Vienna, Austria\.External Links:[Link](https://www.r-project.org/)Cited by:[§III](https://arxiv.org/html/2608.21462#S3.p2.1),[§III](https://arxiv.org/html/2608.21462#S3a.p2.1)\.
- \[17\]D\. Srirag, N\. R\. Sahoo, and A\. Joshi\(2024\)Evaluating Dialect Robustness of Language Models via Conversation Understanding\.External Links:2405\.05688,[Link](https://arxiv.org/abs/2405.05688)Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p1.1),[§II](https://arxiv.org/html/2608.21462#S2a.p1.1)\.
- \[18\]\(2026\)Usage statistics of content languages for websites\.Note:Last accessed on 27 Jan 2026External Links:[Link](https://w3techs.com/technologies/overview/content_language)Cited by:[§I](https://arxiv.org/html/2608.21462#S1.p1.1),[§I](https://arxiv.org/html/2608.21462#S1a.p1.1)\.
- \[19\]M\. Vakulenko\(2024\)Transliteration of Non\-Latin Texts: From Everyday Practice to Linguistic Technologies\.InProceedings of the World Conference on Foreign Language Education,Vol\.1,pp\. 1–11\.Cited by:[§II](https://arxiv.org/html/2608.21462#S2.p3.1),[§II](https://arxiv.org/html/2608.21462#S2a.p3.1)\.

## Appendix

Tabelle II:Aufbau einer API\-Anfrage\(a\)Im englischen Original

\(b\)Im Internationalen Phonetischen Alphabet

\(c\)Ins Kyrillische transkribiert

Tabelle III:Die 23\. Frage desTruthfulQA\-Datensatzes\(a\)Im englischen Original

\(b\)Im Internationalen Phonetischen Alphabet

\(c\)Ins Kyrillische transkribiert