Locale.cpp 4.9 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180
  1. /*
  2. * Copyright (c) 2021, Tim Flynn <trflynn89@pm.me>
  3. *
  4. * SPDX-License-Identifier: BSD-2-Clause
  5. */
  6. #include <AK/AllOf.h>
  7. #include <AK/CharacterTypes.h>
  8. #include <AK/GenericLexer.h>
  9. #include <AK/QuickSort.h>
  10. #include <AK/StringBuilder.h>
  11. #include <LibUnicode/Locale.h>
  12. #if ENABLE_UNICODE_DATA
  13. # include <LibUnicode/UnicodeLocale.h>
  14. #endif
  15. namespace Unicode {
  16. bool is_unicode_language_subtag(StringView subtag)
  17. {
  18. // unicode_language_subtag = alpha{2,3} | alpha{5,8}
  19. if ((subtag.length() < 2) || (subtag.length() == 4) || (subtag.length() > 8))
  20. return false;
  21. return all_of(subtag, is_ascii_alpha);
  22. }
  23. bool is_unicode_script_subtag(StringView subtag)
  24. {
  25. // unicode_script_subtag = alpha{4}
  26. if (subtag.length() != 4)
  27. return false;
  28. return all_of(subtag, is_ascii_alpha);
  29. }
  30. bool is_unicode_region_subtag(StringView subtag)
  31. {
  32. // unicode_region_subtag = (alpha{2} | digit{3})
  33. if (subtag.length() == 2)
  34. return all_of(subtag, is_ascii_alpha);
  35. if (subtag.length() == 3)
  36. return all_of(subtag, is_ascii_digit);
  37. return false;
  38. }
  39. bool is_unicode_variant_subtag(StringView subtag)
  40. {
  41. // unicode_variant_subtag = (alphanum{5,8} | digit alphanum{3})
  42. if ((subtag.length() >= 5) && (subtag.length() <= 8))
  43. return all_of(subtag, is_ascii_alphanumeric);
  44. if (subtag.length() == 4)
  45. return is_ascii_digit(subtag[0]) && all_of(subtag.substring_view(1), is_ascii_alphanumeric);
  46. return false;
  47. }
  48. Optional<LanguageID> parse_unicode_language_id(StringView language)
  49. {
  50. // https://unicode.org/reports/tr35/#Unicode_language_identifier
  51. //
  52. // unicode_language_id = "root"
  53. // OR
  54. // unicode_language_id = ((unicode_language_subtag (sep unicode_script_subtag)?) | unicode_script_subtag)
  55. // (sep unicode_region_subtag)?
  56. // (sep unicode_variant_subtag)*
  57. LanguageID language_id {};
  58. if (language == "root"sv) {
  59. language_id.is_root = true;
  60. return language_id;
  61. }
  62. auto segments = language.split_view_if(is_any_of("-_"sv), true); // keep_empty=true to ensure valid data follows a separator.
  63. size_t index = 0;
  64. if (segments.size() == index)
  65. return {};
  66. if (is_unicode_language_subtag(segments[index])) {
  67. language_id.language = segments[index];
  68. if (segments.size() == ++index)
  69. return language_id;
  70. }
  71. if (is_unicode_script_subtag(segments[index])) {
  72. language_id.script = segments[index];
  73. if (segments.size() == ++index)
  74. return language_id;
  75. } else if (!language_id.language.has_value()) {
  76. return {};
  77. }
  78. if (is_unicode_region_subtag(segments[index])) {
  79. language_id.region = segments[index];
  80. if (segments.size() == ++index)
  81. return language_id;
  82. }
  83. while (index < segments.size()) {
  84. if (!is_unicode_variant_subtag(segments[index]))
  85. return {};
  86. language_id.variants.append(segments[index++]);
  87. }
  88. return language_id;
  89. }
  90. Optional<LocaleID> parse_unicode_locale_id(StringView locale)
  91. {
  92. LocaleID locale_id {};
  93. // https://unicode.org/reports/tr35/#Unicode_locale_identifier
  94. //
  95. // unicode_locale_id = unicode_language_id
  96. // extensions*
  97. // pu_extensions?
  98. auto language_id = parse_unicode_language_id(locale);
  99. if (!language_id.has_value())
  100. return {};
  101. // FIXME: Handle extensions and pu_extensions.
  102. return LocaleID { language_id.release_value() };
  103. }
  104. Optional<String> canonicalize_unicode_locale_id(LocaleID& locale_id)
  105. {
  106. // https://unicode.org/reports/tr35/#Canonical_Unicode_Locale_Identifiers
  107. StringBuilder builder;
  108. if (!locale_id.language_id.language.has_value())
  109. return {};
  110. builder.append(locale_id.language_id.language->to_lowercase_string());
  111. if (locale_id.language_id.script.has_value()) {
  112. builder.append('-');
  113. builder.append(locale_id.language_id.script->to_titlecase_string());
  114. }
  115. if (locale_id.language_id.region.has_value()) {
  116. builder.append('-');
  117. builder.append(locale_id.language_id.region->to_uppercase_string());
  118. }
  119. quick_sort(locale_id.language_id.variants);
  120. for (auto const& variant : locale_id.language_id.variants) {
  121. builder.append('-');
  122. builder.append(variant.to_lowercase_string());
  123. }
  124. // FIXME: Handle extensions and pu_extensions.
  125. return builder.build();
  126. }
  127. String const& default_locale()
  128. {
  129. static String locale = "en"sv;
  130. return locale;
  131. }
  132. bool is_locale_available([[maybe_unused]] StringView locale)
  133. {
  134. #if ENABLE_UNICODE_DATA
  135. return Detail::locale_from_string(locale).has_value();
  136. #else
  137. return false;
  138. #endif
  139. }
  140. Optional<StringView> get_locale_territory_mapping([[maybe_unused]] StringView locale, [[maybe_unused]] StringView territory)
  141. {
  142. #if ENABLE_UNICODE_DATA
  143. return Detail::get_locale_territory_mapping(locale, territory);
  144. #else
  145. return {};
  146. #endif
  147. }
  148. }