মূল বিষয়বস্তুতে যান

নোট আপগ্রেড করুন

নোটগুলি আপগ্রেড করুন

নোট টেমপ্লেট

১. পরিবর্তন

বৈশিষ্ট্য:

বৈশিষ্ট্য বিবরণ

মান মুছে ফেলা হয়েছে - চার্টের নাম

নাম কারণে
হেলম.ভ্যালু হেলম মান অপসারণের কারণ

মান যোগ করা হয়েছে - চার্টের নাম

মান বিভাগের বিবরণ
নাম বর্ণনা মান
হেলম.ভ্যালু হেলম মান বিবরণ ডিফল্ট মান

নাম পরিবর্তন - চার্টের নাম

পুরাতন নাম নতুন নাম
পুরাতন নাম নতুন নাম

⚠️⚠️⚠️ Warnings

মান পরিবর্তিত হয়েছে - চার্টের নাম

নাম পুরাতন মূল্য নতুন মূল্য
হেলম.ভ্যালু পুরাতন মূল্য নতুন মূল্য

পরবর্তী মুক্তি

RELEASE 6.6.1

1. Ugraded JupyterHub experience

বৈশিষ্ট্য:

Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins পুরো নাম ওভাররাইড , and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.

Values added - helm_jupyterhub

নাম বর্ণনা মান
ssh.enabledEnables the bundled SSH operator, service, and shared key workflowসত্য
ssh.keysSecretSecret that provides the stable host and authorized keysilum-jupyter-ssh-keys
ssh.operatorImageImage that syncs per-user secrets and applies the rendered SSH config``
git.existingSecretCredentials that allow the Git init job to seed the notebooks repositoryilum-git-credentials
git.operatorImageOperator responsible for pushing files/examples into Gitea``
hub.gitInit.enabledRuns the job that ensures the ilum-jupyterhub organization/repo existসত্য

Values added - helm_aio

নাম বর্ণনা মান
jupyterhub.enabledEnables the curated Ilum JupyterHub dependencyসত্য
jupyterhub.fullnameOverridePrefixes all rendered resources with the stable ilum-jupyterনাম "ilum-jupyter"
jupyterhub.hub.image.nameHub image repository used when rendering the sub-chart``
jupyterhub.hub.image.tagHub image tag4.1.0
jupyterhub.hub.contentSecurityPolicy.enabledTurns the managed CSP header injection on/offসত্য
jupyterhub.hub.contentSecurityPolicy.frameAncestorsOrigins allowed to embed JupyterHub in an iframe["'self'","http://localhost:9777"]
jupyterhub.hub.contentSecurityPolicy.extraDirectivesExtra CSP directives appended verbatim to the header[]
jupyterhub.singleuser.image.nameSingleuser runtime image used in Ilum deployments``
jupyterhub.singleuser.image.tagSingleuser image tag32
Singleuser runtime defaults
নাম বর্ণনা মান
jupyterhub.singleuser.startupArgs.iopubDataRateLimitRaised output bandwidth ceiling for Ilum workloads1000000000
jupyterhub.singleuser.startupArgs.extraArgsAdditional CLI arguments forwarded to the user server[]
jupyterhub.singleuser.nodeSelectorArchitecture-agnostic placement (empty by default but can be filled later){}
jupyterhub.singleuser.tolerationsAllows scheduling on tainted nodes when needed[]
jupyterhub.singleuser.affinity.nodeAffinityRestricts pods to amd64/arm64 nodes for Ilum multi-arch cloudsSee values.yaml (amd64 + arm64)
SSH defaults
নাম বর্ণনা মান
jupyterhub.ssh.enabledControls whether the bundled SSH service is exposed directly from singleuser podsমিথ্যা
jupyterhub.ssh.keysSecretSecret that supplies Ilum’s shared host keys and master authorized_keysilum-jupyter-ssh-keys
jupyterhub.ssh.modeChooses between shared master authorized_keys or per-user secretsমাস্টার
jupyterhub.ssh.service.typeType of service fronting port 2222নোডপোর্ট
jupyterhub.ssh.service.portPort exposed for SSH traffic2222
jupyterhub.ssh.operatorImageOperator that wires per-user secrets and renders the SSH configurationdocker.io/ilum/jhub-ssh-operator:v30
Git bootstrap
নাম বর্ণনা মান
jupyterhub.git.urlGitea endpoint used to seed the Ilum ilum-jupyterhub orghttp://ilum-gitea-http:3000
jupyterhub.git.orgNameOrganization managed by the git-init jobilum-jupyterhub
jupyterhub.git.operatorImageOperator that mirrors files/examples into Gitea``
jupyterhub.git.secret.nameSecret containing credentials referenced by the operatorilum-git-credentials
jupyterhub.git.secret.usernameKeyKey for the username inside the secretব্যবহারকারীর নাম
jupyterhub.git.secret.passwordKeyKey for the password inside the secretপাসওয়ার্ড
Image pull credentials
নাম বর্ণনা মান
jupyterhub.imagePullSecret.*Configure a single pull secret (create inline or reference via নাম ) shared by every JupyterHub workloadSee মূল্যবোধ.ইয়ামল
jupyterhub.imagePullSecretsAdditional pull secrets injected into all hub-managed pods[]
LDAP defaults
নাম বর্ণনা মান
jupyterhub.ldap.enabledKeeps the LDAP authenticator wired into Ilum JupyterHubসত্য
jupyterhub.ldap.urlsLDAP server endpoints that front the Ilum directory["ldap://ilum-openldap:389"]
jupyterhub.ldap.baseSearch base for Ilum users and groups"dc=ilum,dc=cloud"
jupyterhub.ldap.usernameBind DN used for authentication"cn=admin,dc=ilum,dc=cloud"
jupyterhub.ldap.passwordPassword for the bind DNNot@SecurePassw0rd
jupyterhub.ldap.adminUsersLDAP accounts with admin privileges in JupyterHub["ilumadmin","admin"]
jupyterhub.ldap.userSearchBaseWhere user entries live"উ = মানুষ"
jupyterhub.ldap.userSearchFilterFilter for user lookups"UID={0}"
jupyterhub.ldap.groupSearchBaseWhere group entries live"ou=groups"
jupyterhub.ldap.groupSearchFilterFilter that matches members"(member={0})"
jupyterhub.ldap.allowedGroupsEmpty list allows all groups unless specified[]

Values changed - helm_jupyterhub

নাম পুরাতন মূল্য নতুন মূল্য
singleuser.networkPolicy.allowedIngressPorts[] [2222]

Instructions

  • Keep ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
  • Ensure ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
  • To refresh the curated notebooks, update helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.

⚠️⚠️⚠️ Warnings

  • Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.
  • Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.

2. Upgraded Livy compatible API to version 0.8.0

বৈশিষ্ট্য:

Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.

মান যোগ করা হয়েছে - ইলুম-কোর

Livy Compression Configuration
নাম বর্ণনা মান
livy.compression.enabledEnable response compression for Livy endpointsমিথ্যা
Livy Server Configuration
নাম বর্ণনা মান
livy.server.versionLivy server version identifier0.8.0
livy.server.sendServerVersionSend server version in response headersমিথ্যা
livy.server.allowCustomClasspathAllow custom classpath in session creationমিথ্যা
Livy TTL Session Cleanup Configuration
নাম বর্ণনা মান
livy.ttl.checkPeriodBackground sweep period in milliseconds for checking expired sessions300000
livy.ttl.checkInitialDelayInitial delay in milliseconds before first TTL background check60000

মান যোগ করা হয়েছে - ইলুম-এআইও

Same values as ইলুম-কোর but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).

⚠️⚠️⚠️ Important Notes

For most users:No action required. All new configuration options have safe defaults and are backward compatible.

Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.

Session Management: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.

3. Updated default Spark version and added autopause configuration

বৈশিষ্ট্য:

Updated default Spark version to 3.5.7-deltaমধ্যে kubernetes.defaultCluster.config . Added spark.ilum.autopause: "true"করতে kubernetes.defaultCluster.config to set the default behavior of the autopause feature.

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
kubernetes.defaultCluster.config.spark.kubernetes.container.imageilum/spark:3.5.6-deltailum/spark:3.5.7-delta

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
kubernetes.defaultCluster.config.spark.ilum.autopauseSets the default behavior of autopause feature"সত্যি"

বৈশিষ্ট্য:

Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).

What Changed?

  • External services are now open by default - no cookie requirements
  • All users can access services without any special configuration
  • System works out-of-the-box

What This Means for You

  • ✅ Your services will become more accessible
  • ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
  • ✅ No action required for most deployments

If you need to restrict access:

  • Use the built-in OAuth2/Hydra authentication (recommended for production)
  • Or manually enable cookie-based access control per service (see below)

This is an advanced feature for specific use cases:

  • ✅ Temporary access restrictions for specific users/sessions
  • ✅ Custom access control integrated with your frontend application

To enable for a specific service:

nginx: 
কনফিগার :
http_cookie:
সক্ষম : সত্য
ilum-jupyter:
সক্ষম : সত্য

Values changed - ilum-ui

নাম পুরাতন মূল্য নতুন মূল্য
nginx.config.http_cookie.enabledসত্য মিথ্যা

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
ilum-ui.nginx.config.http_cookie.enabledসত্য মিথ্যা

⚠️⚠️⚠️ Important Notes

For most users:No action required. This change makes services more accessible.

If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.

RELEASE 6.6.0

1. Upgraded Apache Airflow to 3.1.1

বৈশিষ্ট্য:

Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
airflow.airflowVersion3.0.53.1.1
airflow.images.airflow.tag3.0.53.1.1
airflow.apiServer.extraInitContainers[0].imageilum/airflow:3.0.5ilum/airflow:3.1.1

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
airflow.migrateDatabaseJob.useHelmHooksDisable Helm hooks for database migration jobমিথ্যা
airflow.apiServer.extraInitContainers[0]Modified create admin user init containerSee below
airflow.apiServer.apiServerConfigConfigMapNameCustom webserver_config.py configmapilum-api-server-config
Init Container Volume Mount Configuration
-  নাম :  create- অ্যাডমিন - ব্যবহারকারী 
প্রতিচ্ছবি : ilum/airflow: 3.1.1
command: [ "/bin/bash", "/scripts/init.sh"]
ভলিউম মাউন্ট :
- নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
মাউন্ট পাথ : /scripts
- নাম : কনফিগার
মাউন্ট পাথ : /opt/airflow/airflow.cfg
সাবপাথ : airflow.cfg
- নাম : আউথ - রহস্য - volume
মাউন্ট পাথ : /opt/airflow/client- রহস্য
readOnly: সত্য
- নাম : webserver- কনফিগার - volume
মাউন্ট পাথ : /opt/airflow/webserver_config.py
সাবপাথ : webserver_config.py
readOnly: সত্য

⚠️⚠️⚠️ Warnings

Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config. But the name of this configMap must follow pattern <release-name>-api-server-config to be properly mounted as it is Airflow's chart requirement. So if your release name is different from ইলুম , please change this value accordingly. For example use:

airflow: 
apiServer:
apiServerConfigConfigMapName: <আপনার - release- নাম > - এপিআই - সার্ভার - কনফিগার
extraVolumes:
- নাম : আউথ - রহস্য - volume
রহস্য :
গোপন নাম : ইলুম - হাইড্রা - ক্লায়েন্ট - রহস্য
- নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
রহস্য :
গোপন নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
- নাম : webserver- কনফিগার - volume
configMap :
নাম : <আপনার - release- নাম > - এপিআই - সার্ভার - কনফিগার

2. Enhanced Jupyter startup configuration

বৈশিষ্ট্য:

Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.

মান যোগ করা হয়েছে - ইলুম-জুপিটার

Startup and environment configuration
নাম বর্ণনা মান
tokenJupyter notebook authentication token""
startupArgs.baseUrlJupyter base URL path for reverse proxy configurations/external/jupyter/
startupArgs.iopubDataRateLimitIOPub data rate limit in bytes/sec (controls output bandwidth)1000000000
startupArgs.extraArgsAdditional command-line arguments to pass to Jupyter server[]
extraEnvAdditional environment variables for Jupyter container as string template""

⚠️⚠️⚠️ Warnings

  • All startup arguments configured via startupArgs.* can be completely overridden by setting the আর্গস parameter in values.yaml. When আর্গস is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
  • extraEnv parameter accepts a string template (multiline YAML using | ). Example usage:
    extraEnv:  | 
    - name: MY_VAR
    value: value

3. Added Apache NiFi module

বৈশিষ্ট্য:

Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
nifi.enabledFlag to enable NiFi deployment in ilum-aioমিথ্যা
nifi.fullnameOverrideFull name override for NiFiilum-nifi
nifi.image.tagTag of the source NiFi image2.5.0
nifi.properties.safetyValveAdditional properties passed to nifi.propertiesSee মূল্যবোধ.ইয়ামল
nifi.persistence.enabledEnables PVC for the data directoryসত্য
nifi.persistence.subpath.enabledEnabled one PVC instead of manyসত্য
nifi.persistence.subpath.sizeSize of the data directory10Gi
nifi.zookeeper.enabledEnables bundled Zookeeper deploymentমিথ্যা
nifi.registry.enabledEnables bundled NiFi registry deploymentমিথ্যা
nifi.ca.enabledEnables bundled CA deploymentমিথ্যা
nifi.openldap.enabledEnables bundled openLDAP deploymentমিথ্যা

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
runtimeVars.nifiUrlURL of the NiFi instancehttp://ilum-nifi:8443/nifi/
runtimeVars.nifiPathProxy path of NiFi/external/nifi/
nginx.config.nifi.enabledEnable proxy for NiFiমিথ্যা
nginx.config.http_cookie.nifi.enabledEnables cookie mapping for NiFiসত্য

4. Added integration with Project Nessie metastore

বৈশিষ্ট্য:

Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
metastore.typeIndicates the default metastoreমৌচাক
metastore.nessie.addressThe address of the default Nessie metastorehttp://ilum-nessie:19120/api/v2
metastore.nessie.warehouseDirThe location of the warehouse of the default Nessie metastores3a://ilum-data/nessie_catalog
metastore.nessie.s3EndpointThe S3 API endpoint to use for the default Nessie metastorehttp://ilum-minio:9000
metastore.nessie.s3PathStyleAccessWhether to use path style access for the S3 Nessie connectionসত্য
metastore.nessie.authTypeAuth type of the default Nessie metastoreNONE
metastore.nessie.refThe branch to use for the default Nessie metastoreমূল
metastore.nessie.cacheEnabledEnables caching in the default Nessie metastoreমিথ্যা
metastore.nessie.catalog_nameThe name of the catalog for the default Nessie metastorenessie_catalog
metastore.nessie.configAdditional config to add for the Spark jobSee মূল্যবোধ.ইয়ামল
metastore.nessie.statusProbeStatus probe for the Nessie metastore, so Ilum-core does not launch too quicklySee মূল্যবোধ.ইয়ামল

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
nessie.enabledEnables or disables bundled Nessie deploymentমিথ্যা
nessie.fullnameOverrideFull name override for Nessieilum-nessie
nessie.versionStoreTypeType of persistent metadata storageJDBC2
nessie.extraInitContainersAdds init containers to Nessie (waiting for database)See মূল্যবোধ.ইয়ামল
nessie.jdbc.jdbcUrlUrl for DB connectionjdbc:postgresql://ilum-postgresql-hl:5432/nessie
nessie.jdbc.secret.nameSecret containing DB credentialsilum-postgres-credentals
nessie.jdbc.secret.usernameKey of username in the secretব্যবহারকারীর নাম
nessie.jdbc.secret.passwordKey of password in the secretপাসওয়ার্ড

নাম পরিবর্তন - ইলুম-কোর

পুরাতন নাম নতুন নাম
হাইভমেটাস্টোর.সক্ষম metastore.enabled
hiveMetastore.*metastore.hive.*

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
kubernetes.defaultCluster.config See মূল্যবোধ.ইয়ামল See মূল্যবোধ.ইয়ামল

⚠️⚠️⚠️ Warnings

This is an important change that will need to be addressed if any custom changes to the default configuration were made. Please carefully review the changes and make sure they will not break your deployment.

5. Livy API now fully served by ilum-core (embedded)

বৈশিষ্ট্য:

Livy API is implemented and served directly by ইলুম-কোর (embedded). The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
ilum-core.livy.enabledEnables embedded Livy integration in AIO via ইলুম-কোর সত্য
ilum-core.livy.ilumUI.publicEndpointPublic endpoint of ilum-ui used for Livy links/integrationhttp://localhost:9777
ilum-livy-proxy.legacy.enabledTurns on the legacy Livy proxy resources (ConfigMap/Deployment/etc.)মিথ্যা

⚠️⚠️⚠️ Warnings

  • compat Service( ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
  • legacy proxy is also deprecated and will be removed after the transition period.
  • Mode matrix (AIO):
    • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call ইলুম-কোর directly.
    • ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new ইলুম-কোর Livy API.
    • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
  • When legacy is enabled, update client endpoints to use the legacy Service:
    • ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
    • ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
    • Airflow connection: AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
  • Some resources (e.g., ConfigMap/Ingress) are rendered based on ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled ).

6. Added cronjob cleaning after uninstalling

বৈশিষ্ট্য:

A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
cronjob.cleanup.enabledEnable cronjob cleanup after uninstalling the chartসত্য
cronjob.cleanup.imageImage used for the cleanup jobalpine/kubectl:1.34.1

RELEASE 6.5.2

1. SSH mode implementation for helm_jupyter

বৈশিষ্ট্য:

SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.

Values added - helm_jupyter

SSH access configuration
নাম বর্ণনা মান
ssh.enabledEnable SSH access in the Jupyter containerসত্য
ssh.keysSecretName of the secret containing SSH keysilum-jupyter-ssh-keys
ssh.service.typeSSH service typeনোডপোর্ট
ssh.service.portSSH service port2222
ssh.service.nodePortSSH service node port (when service type is NodePort)""
ssh.service.clusterIPSSH service cluster IP""
ssh.service.loadBalancerIPSSH service load balancer IP""
ssh.service.annotationsSSH service annotations{}
ssh.sshdConfig.customConfigCustom SSH server configuration[]

⚠️⚠️⚠️ Warnings

  • SSH server runs directly in the main Jupyter container on port 2222 internally
  • SSH keys must be provided via a Kubernetes Secret referenced by ssh.keysSecret parameter
  • The secret should contain both SSH host keys and authorized_keys for authentication
  • SSH access provides direct access to the /home/jovyan/work directory (same as web interface)
  • Custom SSH server configuration can be provided via ssh.sshdConfig.customConfig array

2. Address Bitnami’s move to bitnamilegacy+ bitnamisecure

বৈশিষ্ট্য:

Bitnami has moved to bitnamilegacy+ bitnamisecure for their images after the 18th of August 2025. This change moves used images to the new repositories.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
global.security.allowInsecureImagesAllows images from outside of bitnami repository in Bitnami's chartsসত্য
kafka.image.repositoryRepository for Kafka's imagebitnamilegacy/kafka
minio.image.repositoryRepository for Minio's imagebitnamilegacy/minio
mlflow.image.repositoryRepository for MlFlow's imagebitnamilegacy/mlflow
postgresql.image.repositoryRepository for Postgresql's imagebitnamilegacy/postgresql

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
airflowExtensions.git.imageবিটনামি/গিট:2.48.1 bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546
postgresExtensions.image বিটনামি / পোস্টগ্রেএসকিউএল: 16 bitnamilegacy/postgresql:16

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
kafka.statusProbe.image বিটনামি/কাফকা:৩.৪.১ bitnamilegacy/kafka:3.4.1

Values changed - ilum-hive-metastore

নাম পুরাতন মূল্য নতুন মূল্য
postgresql.imageবিটনামি / পোস্টগ্রেএসকিউএল: 16 bitnamilegacy/postgresql:16

Values changed - ilum-jupyter

নাম পুরাতন মূল্য নতুন মূল্য
git.init.imageবিটনামি/গিট:2.48.1 bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546

Values changed - ilum-marquez

নাম পুরাতন মূল্য নতুন মূল্য
marquez.db.imageবিটনামি / পোস্টগ্রেএসকিউএল: 16 bitnamilegacy/postgresql:16

1. Updated Airflow defaults in ilum-aio

বৈশিষ্ট্য:

Bumped Airflow to 3.0.5 and streamlined default connection/env configuration. Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
airflow.enableBuiltInSecretEnvVars.AIRFLOW__CORE__FERNET_KEYEnable default fernet key generationমিথ্যা

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
airflow.extraEnvSee মূল্যবোধ.ইয়ামল See মূল্যবোধ.ইয়ামল
airflow.airflowVersion3.0.33.0.5
airflow.images.airflow.tag3.0.33.0.5
airflow.apiServer.extraInitContainers[0].imageilum/airflow:3.0.3ilum/airflow:3.0.5

Values deleted - ilum-aio

নাম কারণে
airflow.scheduler.argsRevert to chart default scheduler command as we manage connections via env variables now
airflow.cleanup.enabledUse executor's instant cleanup
airflow.config.kubernetes_executor.delete_worker_podsUse chart defaults
airflow.config.kubernetes_executor.delete_worker_pods_on_failureUse chart defaults

⚠️⚠️⚠️ Warnings

As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default. To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.

বৈশিষ্ট্য:

Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
nginx.config.http_cookie.enabledGlobal flag to enable HTTP cookie mappingsসত্য
nginx.config.http_cookie.historyServer.enabledEnable cookie mapping for history server accessসত্য
nginx.config.http_cookie.mlflow.enabledEnable cookie mapping for MLflow accessসত্য
nginx.config.http_cookie.ilum-jupyter.enabledEnable cookie mapping for Jupyter notebook accessসত্য
nginx.config.http_cookie.gitea.enabledEnable cookie mapping for Gitea accessসত্য
nginx.config.http_cookie.n8n.enabledEnable cookie mapping for n8n accessসত্য
nginx.config.http_cookie.minio.enabledEnable cookie mapping for MinIO accessসত্য
nginx.config.http_cookie.airflow.enabledEnable cookie mapping for Airflow accessসত্য
nginx.config.http_cookie.superset.enabledEnable cookie mapping for Superset accessসত্য
nginx.config.http_cookie.grafana.enabledEnable cookie mapping for Grafana accessসত্য
nginx.config.http_cookie.kestra.enabledEnable cookie mapping for Kestra accessসত্য
nginx.config.http_cookie.mageai.enabledEnable cookie mapping for Mage AI accessসত্য

4. PostgreSQL Max Connections Configuration

বৈশিষ্ট্য:

Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.

মান যোগ করা হয়েছে - ইলুম-এআইও

PostgreSQL configuration
নাম বর্ণনা মান
postgresql.primary.extendedConfigurationExtended PostgreSQL configuration to set max_connections parametermax_connections = 1000

RELEASE 6.4.3

1. Added Mage to ilum-aio

বৈশিষ্ট্য:

Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
mageai.enabledFlag to enable Mage OSS deployment in ilum-aioমিথ্যা
mageai.fullnameOverrideOverrides the full name of the Mage deploymentilum-mageai
mageai.image.repositoryRepository of the source Mage imageilum/mageai
mageai.image.tagTag of the source Mage image0.9.76
mageai.rootPathThe root path for the Mage web serverexternal/mageai
mageai.service.typeType of Mage's kubernetes serviceক্লাস্টারআইপি
mageai.redis.enabledEnables Redis for the Mage deploymentমিথ্যা
mageai.postgresql.enabledEnables external Postgres for Mageসত্য
mageai.postgresql.deployDeploys external Postgres for Mageমিথ্যা
mageai.postgresql.fullnameOverrideThe name of the Postgres serviceilum-postgresql-hl
mageai.postgresql.auth.usernameUsername of the Postgres userইলুম
mageai.postgresql.auth.passwordPassword of the Postgres userদয়া করে আমাকে পরিবর্তন করুন
mageai.postgresql.auth.databaseThe database Mage should usemageai
mageai.persistence.enabledEnables PVC for the main data directoryসত্য

2. Updated Airflow’s chart and values to support Airflow 3.0

বৈশিষ্ট্য:

Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
airflow.airflowVersionSets chart compatibility for given Airflow version3.0.3
airflow.apiServer.*apiServer replaces webserver settingsSee মূল্যবোধ.ইয়ামল
airflow.config.core.auth_managerClass of auth manager used in Airflowairflow.providers.fab.auth_manager.fab_auth_manager.FabAuthManager
airflow.config.api.base_urlThe base path of the Airflow web apphttp://localhost:9777/external/airflow
airflow.config.api.enable_xcom_deserialize_supportEnables XCom deserialization in Airflow APIসত্য
airflow.config.logging.colored_console_logEnables colored console log in Airflowসত্য
airflow.config.kubernetes_executor.delete_worker_podsEnables instant deletion of worker podsFalse
airflow.config.kubernetes_executor.delete_worker_pods_on_failureEnables instant deletion of failed worker podsFalse
airflow.cleanup.enabledEnables periodic deletion of worker podsসত্য

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
airflow.images.airflow.tag2.9.33.0.3
airflow.executorLocalKubernetesExecutorKubernetesExecutor
airflow.extraEnvSee মূল্যবোধ.ইয়ামল See মূল্যবোধ.ইয়ামল
airflow.webserver.extraInitContainersSee মূল্যবোধ.ইয়ামল See মূল্যবোধ.ইয়ামল

Values deleted - ilum-aio

নাম কারণে
airflow.migrateDatabaseJob.useHelmHooksRevert to chart default

Values changed - ilum-ui

নাম পুরাতন মূল্য নতুন মূল্য
runtimeVars.airflowUrl http://ilum-airflow-webserver:8080http://ilum-airflow-api-server:8080

⚠️⚠️⚠️ Warnings

Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment. Please review the new values and adjust your configuration accordingly.

If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration, as Helm is likely to not be able to automatically migrate the values.

3. Added securityContext configuration for ilum charts

বৈশিষ্ট্য:

Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
securityContext.pod.runAsNonRootRun container as non-root userসত্য
securityContext.pod.runAsUserUser ID to run the container1001
securityContext.pod.runAsGroupGroup ID to run the container1001
securityContext.pod.fsGroupFile system group ID1001
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationমিথ্যা
securityContext.container.readOnlyRootFilesystemRead-only root filesystemমিথ্যা
securityContext.container.runAsNonRootRun container as non-root userসত্য
securityContext.container.runAsUserUser ID to run the container1001
securityContext.container.runAsGroupGroup ID to run the container1001
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
securityContext.pod.runAsNonRootRun pod as non-root userসত্য
securityContext.pod.runAsUserUser ID to run the pod101
securityContext.pod.runAsGroupGroup ID to run the pod101
securityContext.pod.fsGroupFile system group ID101
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationমিথ্যা
securityContext.container.readOnlyRootFilesystemRead-only root filesystemমিথ্যা
securityContext.container.runAsNonRootRun container as non-root userসত্য
securityContext.container.runAsUserUser ID to run the container101
securityContext.container.runAsGroupGroup ID to run the container101
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

মান যোগ করা হয়েছে - ইলুম-জুপিটার

নাম বর্ণনা মান
securityContext.container.allowPrivilegeEscalationAllow privilege escalationমিথ্যা
securityContext.container.readOnlyRootFilesystemRead-only root filesystemমিথ্যা
securityContext.container.runAsNonRootRun container as non-root userসত্য
securityContext.container.runAsUserUser ID to run the container1000
securityContext.container.runAsGroupGroup ID to run the container100
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.initContainer.allowPrivilegeEscalationAllow privilege escalation for init containerমিথ্যা
securityContext.initContainer.readOnlyRootFilesystemRead-only root filesystem for init containerমিথ্যা
securityContext.initContainer.runAsNonRootRun init container as non-root userমিথ্যা
securityContext.initContainer.runAsUserUser ID to run the init container0
securityContext.initContainer.runAsGroupGroup ID to run the init container0
securityContext.initContainer.capabilities.dropCapabilities to drop for init container["ALL"]
securityContext.initContainer.seccompProfile.typeSeccomp profile type for init containerUnconfined

মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি

নাম বর্ণনা মান
securityContext.pod.runAsNonRootRun pod as non-root userসত্য
securityContext.pod.runAsUserUser ID to run the pod1001
securityContext.pod.runAsGroupGroup ID to run the pod1001
securityContext.pod.fsGroupFile system group ID1001
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationমিথ্যা
securityContext.container.readOnlyRootFilesystemRead-only root filesystemমিথ্যা
securityContext.container.runAsNonRootRun container as non-root userসত্য
securityContext.container.runAsUserUser ID to run the container1001
securityContext.container.runAsGroupGroup ID to run the container1001
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

মান যোগ করা হয়েছে - ইলুম-এআইও

Added securityContext configuration for postgresExtensions
নাম বর্ণনা মান
postgresExtensions.securityContext.pod.runAsNonRootRun pod as non-root userসত্য
postgresExtensions.securityContext.pod.runAsUserUser ID to run the pod999
postgresExtensions.securityContext.pod.runAsGroupGroup ID to run the pod999
postgresExtensions.securityContext.pod.fsGroupFile system group ID999
postgresExtensions.securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
postgresExtensions.securityContext.container.allowPrivilegeEscalationAllow privilege escalationমিথ্যা
postgresExtensions.securityContext.container.readOnlyRootFilesystemRead-only root filesystemমিথ্যা
postgresExtensions.securityContext.container.runAsNonRootRun container as non-root userসত্য
postgresExtensions.securityContext.container.runAsUserUser ID to run the container999
postgresExtensions.securityContext.container.runAsGroupGroup ID to run the container999
postgresExtensions.securityContext.container.capabilities.dropCapabilities to drop["ALL"]
postgresExtensions.securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

RELEASE 6.4.2

1. changed openldap chart provider to jp-gouin's

বৈশিষ্ট্য:

Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS. Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
security.ldap.userMapping.enabled এসএন employeeType
security.ldap.userMapping.enabledValue ~ active
security.ldap.password অ্যাডমিন Not@SecurePassw0rd

মান যোগ করা হয়েছে - ইলুম-এআইও

Added new values for openldap configuration
নাম বর্ণনা মান
global.ldapDomainDomain of the LDAP configurationilum.cloud
openldap.replicaCountReplica count of openLDAP1
openldap.replication.enabledEnable HA for openLDAPমিথ্যা
openldap.ltb-passwd.enabledEnable ltb-passwd serviceমিথ্যা
openldap.phpldapadmin.enabledEnable PhpLdapAdminমিথ্যা

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
openldap.env.LDAP_BACKENDhdbmdb
openldap.customLdifFilessee মূল্যবোধ.ইয়ামল see মূল্যবোধ.ইয়ামল

Values deleted - ilum-aio

নাম কারণে
openldap.env.LDAP_ORGANISATIONManaged by the chart
openldap.env.LDAP_DOMAINManaged by the chart
openldap.env.LDAP_TLSManaged by the chart
openldap.env.LDAP_TLS_ENFORCEManaged by the chart

RELEASE 6.4.1

1. Adapt hydra to https

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
global.security.hydra.uiDomain Domain where ilum-ui can be accessed from browser``
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউআইপ্রোটোকল Protocol used to access ilum-ui: এইচটিটিপি বা এইচটিটিপিএস এইচটিটিপি

Values deleted - ilum-aio

নাম কারণে
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল সঙ্গে প্রতিস্থাপিত uiDomain এবং uiProtocol

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
hydra.cookies.same_site_modeSameSite value for hydra cookies in set-cookie headerঢিলেঢ

2. Added openldap to helm chart and ilum-to-ldap synchronization

মান যোগ করা হয়েছে - ইলুম-এআইও

Added openldap configuration values
নাম বর্ণনা মান
openldap.enabledFlag used to enable openldapমিথ্যা
openldap.adminPasswordPassword of admin ldap userঅ্যাডমিন
openldap.fullnameOverrideName of Openldap helm chart resourcesilum-openldap
openldap.persistence.enabledFlag to enable persistence by openldapসত্য
openldap.persistence.sizeMemory used by openldap for storage1Gi
openldap.env.LDAP_ORGANIZATIONOrganization name of main ldap domainইলুম
openldap.env.LDAP_DOMAINMain domain used in ldap by adminilum.cloud
openldap.env.LDAP_BACKENDType of ldap backendhdb
openldap.env.LDAP_TLSFlag used to enable TLS in ldapমিথ্যা
openldap.env.LDAP_TLS_ENFORCEFlag used to enforce TLS in ldapমিথ্যা
openldap.env.LDAP_REMOVE_CONFIG_AFTER_SETUPFlag used to update configসত্য
openldap.customLdifFiles.schemas.ldifFile with custom schem applied at the startup<initial-schema.ldif>

মান যোগ করা হয়েছে - ইলুম-কোর

Added configurations for synchronization of ldap with ilum
নাম বর্ণনা মান
security.ldap.ilumToLdapSyncFlag used to enable ilum to ldap syncমিথ্যা
security.ldap.userMapping.ocOC values used during insertion of ilum users into ldap<default-oc-list>
security.ldap.groupMapping.ocOC values used during insertion of ilum groups into ldap<default-oc-list>

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
security.ldap.urls [] [ "ldap://ilum-openldap:389" ]
security.ldap.base "" dc=ilum,dc=cloud
security.ldap.username "" cn=admin,dc=ilum,dc=cloud
security.ldap.password "" অ্যাডমিন
security.ldap.adminUsers[ "admin" ][ "admin", "ilumadmin" ]
security.ldap.userMapping.base "" উ = মানুষ
security.ldap.userMapping.fullname "" সিএন
security.ldap.userMapping.description "" বর্ণনা
security.ldap.userMapping.email "" মেইল
security.ldap.userMapping.enabled "" এসএন
security.ldap.userMapping.base "" ou=groups
security.ldap.userMapping.description "" বর্ণনা

3. Restricted RBAC Mode for ilum-core service

বৈশিষ্ট্য:

Introduced a new rbac.restricted.enabled flag in the ইলুম-কোর chart. When set to সত্য , this option applies a more restrictive set of RBAC permissions for the service account. This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.

মান যোগ করা হয়েছে - ইলুম-কোর

Added a flag to enable a more restrictive RBAC configuration.
নাম বর্ণনা মান
rbac.restricted.enabledIf true, applies a more restrictive, non-cluster-wide set of RBAC permissions for Spark applications.মিথ্যা

4. Added সক্ষম flag to Trino in ilum-sql

বৈশিষ্ট্য:

যুক্ত সক্ষম flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it. This also will help ilum-ui with the configuration of Trino.

Values added - ilum-sql

নাম বর্ণনা মান
config.trino.enabledFlag to enable Trino in ilum-sqlমিথ্যা

⚠️⚠️⚠️ Warnings

Trino was enabled by default, so if you wish to enable it after the version upgrade, you need to set ilum-sql.config.trino.enabledকরতে সত্য আপনার মাথায় মূল্যবোধ।

RELEASE 6.4.0

1. Addition of OAuth Provider and its integration with Services

বৈশিষ্ট্য:

Added Hydra deployment to helm chart and fields to configure it

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
গ্লোবাল.সিকিউরিটি.হাইড্রা.সক্ষম Flag to enable hydraমিথ্যা
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল Ilum UI url required to configure OpenID connect``
global.security.hydra.clientIdClient Id of OpenID client created in hydrailum-ক্লায়েন্ট
global.security.hydra.cliendSecretClient Secret of OpenId Client created in hydraরহস্য
hydra.dsnDSN for database used by hydrapostgres://ilum:CHANGEMEPLEASE@ilum-postgresql:5432/hydra?sslmode=disable
hydra.secretsSystemSecret used by hydra to securily store dataদয়া করে আমাকে পরিবর্তন করুন
hydra.recreateClientBoolean flag for OpenId client recreation during hydra startupসত্য
hydra.resources.requestsMemory and CPU limits and requests used by hydra deploymentনাল
hydra.imagePullPolicyHydra container image pull policyIfNotPresent
hydra.service.domainDomain used by hydra serviceilum-hydra
hydra.service.publicPortPort that exposes public api of hydra4444
hydra.service.adminPortPort that exposes admin api of hydra4445
hydra.service.typeHydra service typeক্লাস্টারআইপি
hydra.service.publicNodePortHydra service node port assigned to public port``
hydra.service.publicNodePortHydra service node port assigned to admin port``
hydra.service.clusterIPHydra service cluster IP``
hydra.service.loadBalancerIPHydra service load balancer IP``
hydra.service.annotationsAnnotations used by hydra service{}
hydra.separateDeploymentFlag to launch hydra in a separate deployment or in ilum-coreসত্য

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
runtimeVars.hydraUrlUrl of Hydra Public APIhttp://ilum-hydra:4444
runtimeVars.hydraPathilum-ui proxy-path to hydra public api/external/hydra

বৈশিষ্ট্য

Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
hydra.rewriteMappingBoolean flag for recreation of ilum-to-services roles config after ilum-core restartসত্য
hydra.mapping.minioMinAccessRoleDefault role assigned to ilum users with access to minioপঠনযোগ্য
hydra.mapping.airflowMinAccessRoleDefault role assigned to ilum users with access to airflowViewer
hydra.mapping.supersetMinAccessRoleDefault role assigned to ilum users with access to supersetGamma
hydra.mapping.grafanaMinAccessRoleDefault role assigned to ilum users with access to grafanaViewer
hydra.mapping.giteaMinAccessRoleDefault role assigned to ilum users with access to gitea``
hydra.mapping.groupsToMinioMap of ilum groups to a list of minio policiesনাল
hydra.mapping.groupsToSupersetMap of ilum groups to a list of superset rolesনাল
hydra.mapping.groupsToAirflowMap of ilum groups to a list of airflow rolesনাল
hydra.mapping.groupsToGrafanaMap of ilum groups to a list of grafana rolesনাল
hydra.mapping.groupsToGiteaMap of ilum groups to a list of gitea rolesনাল
hydra.mapping.groupsToMinio[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToMinio[*].serviceObjsList of minio policies that the ilum group is mapped to``
hydra.mapping.groupsToSuperset[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToSuperset[*].serviceObjsList of superset roles that the ilum group is mapped to``
hydra.mapping.groupsToAirflow[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToAirflow[*].serviceObjsList of airflow roles that the ilum group is mapped to``
hydra.mapping.groupsToGrafana[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToGrafana[*].serviceObjsList of grafana roles that the ilum group is mapped to``
hydra.mapping.groupsToGitea[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToGitea[*].serviceObjsList of gitea roles that the ilum group is mapped to``
hydra.mapping.rolesToGiteaMap of ilum roles to a list of gitea rolesনাল
hydra.mapping.rolesToMinio[0].ilumObjName of ilum role to be mappedএডমিন
hydra.mapping.rolesToMinio[0].serviceObjsList of minio policies that the ilum role is mapped to[ consoleAdmin ]
hydra.mapping.rolesToMinio[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToMinio[1].serviceObjsList of minio policies that the ilum role is mapped to[ readonly, writeonly, diagnostics ]
hydra.mapping.rolesToSuperset[0].ilumObjName of ilum role to be mappedএডমিন
hydra.mapping.rolesToSuperset[0].serviceObjsList of superset roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToSuperset[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToSuperset[1].serviceObjsList of superset roles that the ilum role is mapped to[ Alpha ]
hydra.mapping.rolesToAirflow[0].ilumObjName of ilum role to be mappedএডমিন
hydra.mapping.rolesToAirflow[0].serviceObjsList of airflow roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToAirflow[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToAirflow[1].serviceObjsList of airflow roles that the ilum role is mapped to[ User ]
hydra.mapping.rolesToGrafana[0].ilumObjName of ilum role to be mappedএডমিন
hydra.mapping.rolesToGrafana[0].serviceObjsList of grafana roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToGrafana[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToGrafana[1].serviceObjsList of grafana roles that the ilum role is mapped to[ Editor ]
hydra.mapping.rolesToMinio[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToMinio[*].serviceObjsList of minio policies that the ilum role is mapped to``
hydra.mapping.rolesToSuperset[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToSuperset[*].serviceObjsList of superset roles that the ilum role is mapped to``
hydra.mapping.rolesToAirflow[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToAirflow[*].serviceObjsList of airflow roles that the ilum role is mapped to``
hydra.mapping.rolesToGrafana[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToGrafana[*].serviceObjsList of grafana roles that the ilum role is mapped to``
hydra.mapping.rolesToGitea[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToGitea[*].serviceObjsList of gitea roles that the ilum role is mapped to``

বৈশিষ্ট্য

Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra

Values added - minio

| minio.extraEnvVars | | |

নাম পুরাতন মূল্য নতুন মূল্য
minio.extraEnvVars... ...

বৈশিষ্ট্য

Integrated airflow with Hydra OIDC in values.yaml

Values added - airflow

নাম বর্ণনা মান
airflow.webserver.extraVolumes[0].nameName of additional airflow volume with oidc configoauth-secret-volume
airflow.webserver.extraVolumes[0].secret.secretNameAirflow secret with hydra oidc client configilum-hydra-client-secret
airflow.webserver.extraVolumeMounts[0].nameName of volume-mount of secret with oidc configoauth-secret-volume
airflow.webserver.extraVolumeMounts[0].mountPathPath for volume-mount of secret with oidc config/opt/airflow/client-secret
airflow.webserver.extraVolumeMounts[0].readOnlyreadonly flag of volume mount with oidc configসত্য

বৈশিষ্ট্য

Integrated grafana with Hydra OIDC in values.yaml

Values added - grafana

নাম বর্ণনা মান
grafana.grafana.ini.auth.generic_oauth.enabledFlag to enable oauth in grafana, taken from গ্লোবাল.সিকিউরিটি.হাইড্রা.সক্ষম by defaultমিথ্যা
grafana.grafana.ini.auth.generic_oauth.nameName of oauth clientইলুম
grafana.grafana.ini.auth.generic_oauth.allow_sign_upFlag to enable user creation when signing in with oauthসত্য
grafana.grafana.ini.auth.generic_oauth.client_idId of oauth client, taken from global.security.hydra.clientId by defaultilum-ক্লায়েন্ট
grafana.grafana.ini.auth.generic_oauth.client_secretSecret of oauth client, taken from global.security.hydra.clientSecret by defaultরহস্য
grafana.grafana.ini.auth.generic_oauth.scopesScopes requested from oauthopenid profile email offline_access
grafana.grafana.ini.auth.generic_oauth.auth_urlUrl used to initiate oauth authentication, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default/external/hydra/oauth2/auth
grafana.grafana.ini.auth.generic_oauth.token_urlUrl used for tokens exchange in oauth workflow, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default/external/hydra/oauth2/token
grafana.grafana.ini.auth.generic_oauth.api_urlUrl used to access user info, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default/external/hydra/userinfo
grafana.grafana.ini.auth.generic_oauth.login_attribute_pathId token claim used to distinguish different usersuserId
grafana.grafana.ini.auth.generic_oauth.email_attribute_nameId token claim with emailইমেল
grafana.grafana.ini.auth.generic_oauth.role_attribute_pathExpression used to map roles from id_token to grafana...
grafana.grafana.ini.auth.generic_oauth.role_attribute_strictFlag to require the role during sign upসত্য

বৈশিষ্ট্য

Integrated superset with Hydra OIDC in values.yaml

Values added - superset

নাম বর্ণনা মান
superset.configOverrides.ilum_oauth_securityCode added to superset config in order to enable oidc...
superset.extraVolumes[0].nameName of extra volume with a secret for oidc connectionoauth-secret-volume
superset.extraVolumes[0].secret.secretNameName of secret used in extra volume for oidc connectionilum-hydra-client-secret
superset.extraVolumes[1].nameName of extra volume with superset plugin used to enable oidcoauth-plugin-volume
superset.extraVolumes[1].secret.secretNameSecret with superset plugin used to enable oidcilum-superset-oidc-plugin-secret
superset.extraVolumeMounts[0].nameName of volume mount with oidc secret dataoauth-secret-volume
superset.extraVolumeMounts[0].mountPathPath of volume mount with oidc secret data/app/pythonpath/oauth
superset.extraVolumeMounts[1].nameName of volume mount with a superset plugin as a python fileoauth-plugin-volume
superset.extraVolumeMounts[1].mountPathPath of volume mound with a superset plugin/app/pythonpath/security

2. Addition of examples for ilum-core and superset

বৈশিষ্ট্য:

Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
examples.jobEnables creating single job exampleসত্য
examples.scheduleEnables creating schedule exampleসত্য
examples.sqlNotebookEnables creating sql notebook exampleসত্য
examples.sqlQueryEnables creating sql query exampleসত্য
examples.databaseEnables creating database exampleসত্য

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
ilum-core.examples.jobEnables creating single job exampleসত্য
ilum-core.examples.scheduleEnables creating schedule exampleসত্য
ilum-core.examples.sqlNotebookEnables creating sql notebook exampleসত্য
ilum-core.examples.sqlQueryEnables creating sql query exampleসত্য
ilum-core.examples.databaseEnables creating database exampleসত্য
superset.extraEnv.IMPORT_DASHBOARDEnables creating superset dashboard exampleসত্য
superset.extraVolumes[2].nameVolume name for dashboard importexample-dashboard
superset.extraVolumes[2].configMap.nameConfigMap that contains base64-encoded dashboardilum-superset-example-dashboard
superset.extraVolumeMounts[2].nameMount name for example dashboard configexample-dashboard
superset.extraVolumeMounts[2].mountPathPath in container to mount the dashboard config/config
superset.extraVolumeMounts[2].readOnlyMount config as read-onlyসত্য
superset.init.initscriptCustom init script to conditionally import dashboardSee script in ilum-aio values file

3. Internal users upgrade credentials flag

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
ilum-core.security.internal.upgradeCredentialsEnables overriding user password with helm configurationমিথ্যা

4. Tighter integration of Marquez with Ilum

বৈশিষ্ট্য:

Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore. This way, having a customized Marquez build is not necessary anymore.

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.এন্ডপয়েন্ট / বাহ্যিক / বংশ / এপিআই / ভি 1 / বংশ /এপিআই/ভি১/বংশ

5. Changed superset load example variable name

Values deleted - ilum-aio

নাম কারণে
superset.extraEnv.IMPORT_DASHBOARDChanged to other variable name

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
superset.init.loadExamplesEnables creating superset dashboard exampleসত্য

RELEASE 6.3.2

1. Addition of frequently used values to ilum-sql

বৈশিষ্ট্য:

Added frequently used values to ilum-sql chart, so that their configuration is easier.

Values added - ilum-sql

নাম বর্ণনা মান
config.kyuubi.logLevelBase log-level of the log4j frameworkINFO
config.kyuubi.idleEngineTimeoutAuto-shutdown time of Kyuubi engines30M
config.kyuubi.idleSessionTimeoutAuto-shutdown time of Kyuubi sessions30M
config.kyuubi.engineAliveProbeWhether to create a probe, which will check engine livenessসত্য
config.kyuubi.cleanupTerminatedSparkDriverPodsDetermines which of the terminated Spark engine pods will get deleted. Available: NONE, COMPLETED, ALLALL

Values changed - ilum-aio

নাম পুরাতন মূল্য নতুন মূল্য
ilum-sql.config.kyuubi.defaultssee মূল্যবোধ.ইয়ামল ~

⚠️⚠️⚠️ Warnings

Because these values were already present in the ilum-aio chart, the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.

2. Support of Trino in ilum-sql

বৈশিষ্ট্য:

Introduced support for Trino as an SQL engine in ilum-sql chart.

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
trino.enabledEnables built-in Trinoমিথ্যা
trino.nameOverrideSets the name overrideilum-trino
trino.coordinatorNameOverrideSets the name override for the coordinatorilum-trino-coordinator
trino.workerNameOverrideSets the name override for the worker nodesilum-trino-worker
trino.server.workersSets the number of workers1
trino.catalogs.ilum-deltaConfigures the 'ilum-delta' catalogSee মূল্যবোধ.ইয়ামল
ilum-sql.config.trino.catalog The catalog of choice for Trinoইলুম-ডেল্টা

Values added - ilum-sql

নাম বর্ণনা মান
config.trino.urlUrl pointing to Trino coordinatorhttp://ilum-trino:8080
config.trino.catalogThe catalog of choice for Trinoসিস্টেম
config.trino.defaultsAdditional settings of Trino engines. All properties must be prefixed with trino.~

3. Enhanced Oauth2

বৈশিষ্ট্য

Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core. Added ability to assign Admin role to oauth2 users.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
security.oauth2.mapping.idJWT claim that should be mapped to user`s id""
security.oauth2.mapping.nameJWT claim that should be mapped to user`s nameসাব
security.oauth2.mapping.emailJWT claim that should be mapped to user`s emailইমেল
security.oauth2.mapping.fullnameJWT claim that should be mapped to user`s fullnameপুরো নাম
security.oauth2.mapping.descriptionJWT claim that should be mapped to user`s description""
security.oauth2.mapping.departmentJWT claim that should be mapped to user`s department""
security.oauth2.mapping.groupsJWT claim with a list of groups that user is a part of represented by strings"গ্রুপ"
security.oauth2.mapping.rolesJWT claim with a list of roles that user uses represented by strings"ভূমিকা"
security.oauth2.mapping.enabledJWT claim that should be mapped to user`s state""
security.oauth2.mapping.enabledTrueValue of JWT claim with the name of mapping.enabledযা সক্ষম এর জন্য দাঁড়িয়েছে ""
security.oauth2.mapping.singleGroupJWT claim that contains a string with name of group that the user is part of""
security.oauth2.mapping.singleRoleJWT claim that contains a string with name of role that the user has""

4. Addition of kubernetes s3 region to ilum-core and ilum-aio

বৈশিষ্ট্য:

Added the ability to set the S3 region in ilum-core.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
kubernetes.s3.regiondefault kubernetes cluster S3 storage region to store spark resourcesইউএস-ইস্ট-১

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
ilum-core.kubernetes.s3.regiondefault kubernetes cluster S3 storage region to store spark resourcesইউএস-ইস্ট-১
ilum-core.kubernetes.defaultCluster.config.spark.hadoop.fs.s3a.bucket.ilum-data.regiondefault kubernetes cluster S3 storage region to store spark resourcesইউএস-ইস্ট-১

5. Protocol in superset

বৈশিষ্ট্য:

Added the ability to set the protocol in superset.

Values added - superset

নাম বর্ণনা মান
প্রোটোকল superset protocolএইচটিটিপি

6. Addition of hive metastore status probe to ilum-core helm chart

বৈশিষ্ট্য:

Added possibility to enable status probe for hive metastore.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
hiveMetastore.statusProbe.enabledHive metastore status probe enabled flagমিথ্যা
hiveMetastore.statusProbe.imageHive metastore status probe imageকার্লচিত্র / কার্ল: 8.5.0
hiveMetastore.statusProbe.hostHive metastore status probe hostilum-hive-metastore
hiveMetastore.statusProbe.portHive metastore status probe port9083

রিলিজ ৬.৩.১

1. স্টোরেজ কনফিগারেশন অতিরিক্ত বালতি যোগ করা হয়েছে

বৈশিষ্ট্য

ইলাম ক্লাস্টার স্পার্ক স্টোরেজ কনফিগারেশনে অতিরিক্ত বালতি অন্তর্ভুক্ত করার ক্ষমতা যোগ করা হয়েছে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
kubernetes.s3.extraBuckets ইলাম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ অতিরিক্ত বালতি অন্তর্ভুক্ত করতে []
kubernetes.gcs.extraBuckets আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ অতিরিক্ত বালতি অন্তর্ভুক্ত করতে []
kubernetes.wasbs.extraContainers আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ অতিরিক্ত পাত্রে অন্তর্ভুক্ত করার জন্য []
kubernetes.hdfs.extraCatalogs আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ অতিরিক্ত ক্যাটালগ অন্তর্ভুক্ত করতে []

2. বর্ধিত এলডিএপি

Added the ability to map users, groups, and roles — along with their properties and relationships — from an LDAP server to Ilum Core based on mapping configurations in Helm. Enabled the option to assign Admin role to LDAP users.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
security.ldap.userMapping.base ব্যবহারকারী এন্ট্রিগুলির এলডিএপি বেস ""
security.ldap.userMapping.filter ব্যবহারকারী অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার "UID={0}"
security.ldap.userMapping.username LDAP বৈশিষ্ট্যের নাম যা ব্যবহারকারীর ব্যবহারকারীর নামটিতে ম্যাপ করা উচিত ইউআইডি
security.ldap.userMapping.password LDAP বৈশিষ্ট্যের নাম যা ব্যবহারকারীর পাসওয়ার্ডে ম্যাপ করা উচিত ব্যবহারকারীর পাসওয়ার্ড
security.ldap.userMapping.description এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর বিবরণে ম্যাপ করা উচিত ""
security.ldap.userMapping.fullname এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর পুরো নামে ম্যাপ করা উচিত ""
security.ldap.userMapping.department এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর বিভাগে ম্যাপ করা উচিত ""
security.ldap.userMapping.email এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর ইমেলে ম্যাপ করা উচিত ""
security.ldap.userMapping.enabled এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর রাজ্যে ম্যাপ করা উচিত ""
security.ldap.userMapping.enabledValue এর নামের সাথে বৈশিষ্ট্যের মান userMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে ""
security.ldap.groupMapping.base গ্রুপ এন্ট্রিগুলির জন্য এলডিএপি বেস ""
security.ldap.groupMapping.filter গ্রুপ অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার (সদস্য={0})
security.ldap.groupMapping.name এলডিএপি বৈশিষ্ট্যের নাম যা গোষ্ঠীর নামের সাথে ম্যাপ করা উচিত সিএন
security.ldap.groupMapping.description এলডিএপি বৈশিষ্ট্যের নাম যা গ্রুপের বিবরণে ম্যাপ করা উচিৎ ""
security.ldap.groupMapping.memberAttribute LDAP বৈশিষ্ট্যের নাম যা গ্রুপ থাকা ব্যবহারকারীদের তালিকা করে ইউআইডি
security.ldap.groupMapping.roles এলডিএপি বৈশিষ্ট্য যা গ্রুপের অন্তর্ভুক্ত ভূমিকাগুলি তালিকাভুক্ত করে ""
security.ldap.groupMapping.roleFilterAttribute ভূমিকাগুলির এলডিএপি বৈশিষ্ট্য যা একটি ভূমিকার প্রতিনিধিত্ব করে গ্রুপম্যাপিং.রোলস গুণমান ""
security.ldap.groupMapping.enabled এলডিএপি বৈশিষ্ট্যের নাম যা গ্রুপের রাজ্যে ম্যাপ করা উচিৎ ""
security.ldap.groupMapping.enabledTrue থেকে বৈশিষ্ট্যের মান groupMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে ""
security.ldap.roleMapping.base ভূমিকা এন্ট্রিগুলির জন্য এলডিএপি বেস ""
security.ldap.roleMapping.filter ভূমিকা অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার ""
security.ldap.roleMapping.memberAttribute এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকা থাকা ব্যবহারকারীদের তালিকা করে ""
security.ldap.roleMapping.name এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার নামের সাথে ম্যাপ করা উচিৎ ""
security.ldap.roleMapping.description এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার বিবরণে ম্যাপ করা উচিৎ ""
security.ldap.roleMapping.enabled এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার অবস্থার সাথে ম্যাপ করা উচিৎ ""
security.ldap.roleMapping.enabledTrue থেকে বৈশিষ্ট্যের মান roleMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে ""

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

নাম কারণে
security.ldap.userSearch সঙ্গে প্রতিস্থাপিত security.ldap.userMapping
security.ldap.groupSearch সঙ্গে প্রতিস্থাপিত security.ldap.groupMapping

নাম পরিবর্তন - ইলুম-কোর

পুরাতন নাম নতুন নাম
security.internal.users[*].password security.internal.users[*].initialPassword

৩. স্পার্কম্যাগিক ডিফল্ট কনফিগারেশন

মানগুলি পরিবর্তিত হয়েছে - স্পার্ক সেশন ফর্ম প্রবর্তনের কারণে ইলাম-জুপিটার কনফিগারেশন পরামিতি পরিবর্তন।

নাম পুরাতন মূল্য নতুন মূল্য
sparkmagic.config.sessionConfigs.conf '{ "pyRequirements": "pandas", "cluster": "default", "autoPause": "false", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }' '{}'

মানগুলি মোছা হয়েছে - ইলুম-জুপিটার

নাম কারণে
sparkmagic.config.sessionConfigs.executorCores নতুন স্পার্ক সেশন ফর্মের কারণে আর প্রয়োজন নেই

মানগুলি মোছা হয়েছে - ইলুম-জুপিটার

নাম কারণে
sparkmagic.config.sessionConfigs.driverMemory নতুন স্পার্ক সেশন ফর্মের কারণে আর প্রয়োজন নেই

রিলিজ ৬.৩.০

1. কিউয়ুবির চিত্র ট্যাগ সংস্করণ পরিবর্তন করা হয়েছে

মানগুলি পরিবর্তিত হয়েছে - স্পার্কম্যাগিক কনফিগারেশন পরামিতি

নাম পুরাতন মূল্য নতুন মূল্য
sparkmagic.config.sessionConfigs.conf '{ "pyRequirements": "pandas", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }' '{ "pyRequirements": "pandas", "cluster": "default", "autoPause": "false", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }'

2. ইলুম-কোর জন্য কাফকা ঠিকানা সেট করতে সম্পত্তি যোগ করা হয়েছে

বৈশিষ্ট্য

ইলুম-কোর পডের জন্য কাফকা ঠিকানা সেট করার ক্ষমতা যোগ করা হয়েছে, কাফকা.ঠিকানা সম্পত্তির মাধ্যমে স্পার্ক জব এবং ইলুম-কোর পড সেট উভয়ের জন্য গ্লোবাল কাফকা ঠিকানা কনফিগারেশন থেকে পৃথক।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
kafka.ilum.address ইলুম-কোর কাফকা ঠিকানা শুধুমাত্র আইলুম-কোর পডের জন্য, কাফকা.ঠিকানা ওভাররাইড করে সংজ্ঞায়িত করা হয়নি

৩. ইলাম চাকরির স্বাস্থ্য পরীক্ষা সহনশীলতার সময় পরিবর্তন করুন

মানগুলি পরিবর্তিত হয়েছে - আইলাম জব হেলথচেক কনফিগারেশন পরামিতি

নাম পুরাতন মূল্য নতুন মূল্য
জব.হেলথচেক.টলারেন্স 120 3600

4. এমবেডেড গিট রেপো প্রবর্তন

বৈশিষ্ট্য

ইলাম প্ল্যাটফর্মের জন্য গিট সার্ভারে বিল্ড সরবরাহ করে একটি মডিউল হিসাবে গিটিয়া যুক্ত করা হয়েছে।

মান যোগ করা হয়েছে - গীতা

নাম বর্ণনা মান
গীতা.সক্ষম Gitea বিস্তৃতি সক্ষম বা অক্ষম করুন সত্য
গিটিয়া.ইমেজ.রুটলেস রুটলেস মোডে গিটিয়া চালান মিথ্যা
gitea.gitea.config.database.DB_TYPE Gitea এর জন্য ব্যবহৃত ডেটাবেস প্রকার পোস্টগ্রেস
gitea.gitea.config.database.HOST গিটিয়ার জন্য ডাটাবেস হোস্ট এবং পোর্ট ilum-postgresql-hl:5432
gitea.gitea.config.database.NAME গিটিয়ার জন্য ডাটাবেসের নাম গিটিয়া
gitea.gitea.config.database.USER Gitea এর জন্য ডাটাবেস ব্যবহারকারীর নাম ইলুম
gitea.gitea.config.database.PASSWD গিটিয়ার জন্য ডাটাবেস পাসওয়ার্ড (পরিবর্তন প্রয়োজন) দয়া করে আমাকে পরিবর্তন করুন
gitea.gitea.admin.existingSecret ইনিট শংসাপত্রগুলি সঞ্চয় করার জন্য গিটিয়ার গোপন রহস্য ilum-git-credentials
gitea.gitea.admin.email Gitea অ্যাডমিন ইমেইল ilum@ilum
gitea.gitea.admin.passwordMode অ্যাডমিন অ্যাকাউন্টের জন্য পাসওয়ার্ড মোড InitialOnlyNoReset
gitea.gitea.additionalConfigFromEnvs[0].name পুশ-তৈরি ব্যবহারকারী সক্ষম করুন GITEA__REPOSITORY__ENABLE_PUSH_CREATE_USER
gitea.gitea.additionalConfigFromEnvs[0].value পুশ-তৈরি ব্যবহারকারী সক্ষম করার জন্য মান সত্য
gitea.gitea.additionalConfigFromEnvs[1].name পুশ-তৈরি সংস্থা সক্ষম করুন GITEA__REPOSITORY__ENABLE_PUSH_CREATE_ORG
gitea.gitea.additionalConfigFromEnvs[1].value পুশ-ক্রিয়েট সংগঠন সক্ষম করার জন্য মূল্য সত্য
gitea.gitea.additionalConfigFromEnvs[2].name ডিফল্ট সংগ্রহস্থল শাখা GITEA__REPOSITORY__DEFAULT_BRANCH
gitea.gitea.additionalConfigFromEnvs[2].value ডিফল্ট সংগ্রহস্থল শাখার মান মাস্টার
gitea.gitea.additionalConfigFromEnvs[3].name Gitea সার্ভারের root URL GITEA__SERVER__ROOT_URL
gitea.gitea.additionalConfigFromEnvs[3].value Gitea সার্ভারের রুট URL-এর মান http://git.example.com/external/gitea/
gitea.gitea.additionalConfigFromEnvs[4].name স্ট্যাটিক ইউআরএল উপসর্গ GITEA__SERVER__STATIC_URL_PREFIX
gitea.gitea.additionalConfigFromEnvs[4].value স্ট্যাটিক URL উপসর্গের মান /বহিঃস্থ/গীতা/
Gitea.redis-cluster.enabled রেডিস ক্লাস্টার সক্ষম বা অক্ষম করুন মিথ্যা
Gitea.redis.enabled রেডিস সক্ষম বা অক্ষম করুন মিথ্যা
Gitea.postgresql.enabled স্ট্যান্ডেলোন PostgreSQL সক্ষম বা অক্ষম করুন মিথ্যা
Gitea.postgresql-ha.enabled PostgreSQL HA সক্ষম বা অক্ষম করুন মিথ্যা

মান যোগ করা হয়েছে - ইলুম-জুপিটার

নাম বর্ণনা মান
ilum-jupyter.git.enabled গিট ইন্টিগ্রেশন সক্ষম বা অক্ষম করুন মিথ্যা
ilum-jupyter.git.username প্রমাণীকরণের জন্য গিট ব্যবহারকারীর নাম ইলুম
ilum-jupyter.git.password প্রমাণীকরণের জন্য গিট পাসওয়ার্ড ইলুম
ilum-jupyter.git.email গিট ইমেইল ঠিকানা ilum@ilum
ilum-jupyter.git.repository গিট সংগ্রহস্থলের নাম জুপিটার
ilum-jupyter.git.address গিট সার্ভারের ঠিকানা ilum-gitea-http:3000
ilum-jupyter.git.init.image গিট ইনিশিয়ালাইজেশন ইমেজ বিটনামি/গিট:2.48.1

মান যোগ করা হয়েছে - ইলাম-বায়ুপ্রবাহ

নাম বর্ণনা মান
airflow.dags.gitSync.enabled DAGs-এর জন্য গিট সিঙ্ক্রোনাইজেশন সক্ষম বা অক্ষম করুন সত্য
airflow.dags.gitSync.repo DAGs-এর জন্য Git repository URL http://ilum-gitea-http:3000/ilum/airflow.git
airflow.dags.gitSync.branch এর থেকে সিঙ্ক করতে গিট শাখা মাস্টার
airflow.dags.gitSync.ref সিঙ্ক করতে গিট রেফারেন্স মাথা
airflow.dags.gitSync.depth গিট ক্লোন গভীরতা 1
airflow.dags.gitSync.maxFailures সর্বাধিক অনুমোদিত সিঙ্ক্রোনাইজেশন ব্যর্থতা 0
airflow.dags.gitSync.subPath সিঙ্ক করতে সংগ্রহস্থলের মধ্যে সাবপাথ ""
airflow.dags.gitSync.credentialsSecret গিট প্রমাণীকরণের জন্য গোপন ব্যবহৃত হয়েছে ilum-git-credentials

5. ইলাম এসকিউএল কনফিগারেশন নামকরণ পরিবর্তন

কিউবির বর্তমান ব্যবহারকে আরও ভালভাবে প্রতিফলিত করতে ইলাম এসকিউএল কনফিগারেশনের নামকরণ পরিবর্তন করুন

নাম পরিবর্তন - ইলুম-কোর

পুরাতন নাম নতুন নাম
কিউবি। এসকিউএল।

নাম পরিবর্তন - ইলুম-আইও

পুরাতন নাম নতুন নাম
ইলুম-কিউবি। ইলুম-এসকিউএল।

⚠️⚠️⚠️ Warnings

নামকরণের পরিবর্তন এবং এসকিউএল ইঞ্জিন প্রবর্তনের অভ্যন্তরীণ কাজকর্মের কারণে এবং এর মাধ্যমে কী করা যেতে পারে তার বিধিনিষেধের কারণে হেলম আপগ্রেড , পুরানো স্টেটফুল সেটটি ম্যানুয়ালি মুছতে হবে (উদাঃ KUBECTL মুছে ফেলুন STS ilum-SQL ) এই সংস্করণে আপগ্রেড করার আগে। এটি নিশ্চিত করবে যে আপডেটের সময়, সঠিক কনফিগারেশনের সাথে একটি নতুন স্টেটফুল সেট তৈরি করা হয়েছে। ব্রেকিং পরিবর্তনগুলি লেবেল এবং ভলিউম মাউন্টগুলির সাথে সম্পর্কিত যা ইলাম-এসকিউএল স্টেটফুল সেট দ্বারা ব্যবহৃত হয়।

6. স্পার্ক এসকিউএল ইঞ্জিনের জন্য ইলাম সাবমিটের জন্য কনফিগারেশন যুক্ত করুন

ইলাম সাবমিট নির্বাচিত ক্লাস্টারের কনফিগারেশনগুলি স্বয়ংক্রিয়ভাবে প্রয়োগ করে ইলাম ওয়েব অ্যাপ্লিকেশন এবং জেডিবিসি এন্ডপয়েন্ট উভয়ের মাধ্যমে স্পার্ক এসকিউএল ইঞ্জিন চালু করার প্রক্রিয়া বাড়ায়। এই উন্নতিটি ইলাম কোরকে ম্যানুয়ালি কিউবির স্পার্ক কনফিগারেশন সরবরাহ করার প্রয়োজনীয়তা দূর করে।

মূল্যবান মুছে ফেলা হয়েছে - ইলুম-কোর

নাম কারণে
sql.sparkConfig পরিবর্তনের পর অপ্রয়োজনীয়

মান যোগ করা হয়েছে - ইলুম-কিউবি

নাম বর্ণনা মান
ilumSubmit.enabled আইলুম জমা দেওয়ার পরিষেবা সক্ষম করতে পতাকা মিথ্যা
ilumSubmit.ilum.host ইলাম রেস্ট পরিষেবার হোস্ট ইলুম-কোর
ilumSubmit.ilum.port ইলাম রেস্ট বন্দর পরিষেবা 9888

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
ilum-sql.ilumSubmit.enabled ইলুমের মাধ্যমে এসকিউএল ইঞ্জিন তৈরি সক্ষম করতে পতাকা সত্য

⚠️⚠️⚠️ Warnings

যেহেতু ইলুম কোরে কিউবির স্পার্ক কনফিগের আর প্রয়োজন নেই, ডিফল্ট স্পার্ক কনফিগ সরাসরি সরবরাহ করা উচিত ilum-sql.config.spark.defaults বৈশ্বিক মূল্যবোধের পরিবর্তে।

বৈশিষ্ট্য

Security‑related configuration (including internal user credentials, LDAP, OAuth2, JWT, and authorities settings) has been moved from the config map to a dedicated Kubernetes Secret. This improves the security of sensitive data by isolating it from non‑sensitive configuration.

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
security.secret.name Name of the secret that holds security‑related configuration. Use this to override the default secret name.ইলাম-সিকিউরিটি

8. আইলুম-ইউআই পরিষেবার ধরণ পরিবর্তন করা হয়েছে

কুবেক্টল পোর্ট-ফরোয়ার্ডের সমস্যার কারণে আমরা ডিফল্টরূপে একটি নোডপোর্ট প্রকাশ করছি।

মানগুলি পরিবর্তিত হয়েছে - ilum-ui হেলথচেক কনফিগারেশন প্যারামিটার

নাম পুরাতন মূল্য নতুন মূল্য
সার্ভিস.টাইপ ক্লাস্টারআইপি নোডপোর্ট
service.nodePort `` 31777

রিলিজ ৬.২.১

1. কিউবির ইউআরএল এর মান পরিবর্তন করুন

বৈশিষ্ট্য

ইলুম-কোরে কিউবির ইউআরএলের মান পরিবর্তন করুন। ডিফল্ট মানটি এখন বাক্সের বাইরে কাজ করা উচিত।

মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর

নাম পুরাতন মূল্য নতুন মূল্য
কিউবি.হোস্ট ilum-sql-rest ilum-sql-headless

রিলিজ 6.2.1-আরসি 1

1. ইলাম-কোরে স্পার্ক জবের মেমরি সেটিংস কনফিগারেশন

বৈশিষ্ট্য

ইলুম-কোরে স্পার্ক জবের মেমরি সেটিংস কনফিগারেশন যুক্ত করা হয়েছে। যখন আইলাম-কোরে ডিফল্ট ক্লাস্টার তৈরি করা হচ্ছে, তখন এটিতে সেই মানগুলিতে মেমরি সেটিংস প্যারামিটার সেট থাকবে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
জব.মেমরিসেটিংস.এক্সিকিউটরস স্পার্ক জবস এক্সিকিউটর গণনা 2
job.memorysettings.executorMemory স্পার্ক জবস এক্সিকিউটর মেমরি বরাদ্দ 1 গ্রাম
job.memorysettings.driverMemory স্পার্ক জবস ড্রাইভার মেমরি বরাদ্দ 1 গ্রাম
জব.মেমরিসেটিংস.এক্সিকিউটরকোর স্পার্ক জবস এক্সিকিউটর কোর গণনা 1
job.memorysettings.driverCores স্পার্ক জবস ড্রাইভার কোর গণনা 1
job.memorysettings.dynamicAllocationEnabled স্পার্ক জবস গতিশীল বরাদ্দ সক্ষম পতাকা মিথ্যা
job.memorysettings.minExecutors স্পার্ক জবস নির্বাহকের ন্যূনতম সংখ্যা 0
job.memorysettings.initialExecutors স্পার্ক জবস এক্সিকিউটরের প্রাথমিক সংখ্যা 0
job.memorysettings.maxExecutors স্পার্ক জব সর্বাধিক সংখ্যক নির্বাহক 20

2. স্পার্ক ইতিহাস সার্ভার ধারণ পরামিতি যোগ

বৈশিষ্ট্য

ইলুম-কোরে স্পার্ক ইতিহাস সার্ভার ধারণ পরামিতি যোগ করা হয়েছে। এই পরামিতিগুলি ব্যবহারকারীকে স্পার্ক ইতিহাস সার্ভার লগগুলির ধারণ কনফিগার করতে দেয়।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
historyServer.parameters.spark.history.fs.cleaner.enabled ইতিহাস সার্ভার ক্লিনার সক্ষম পতাকা সত্য
historyServer.parameters.spark.history.fs.cleaner.interval ইতিহাস সার্ভার ক্লিনার বিরতি 1 ডি
historyServer.parameters.spark.history.fs.cleaner.maxAge ইতিহাস সার্ভার লগ সর্বাধিক বয়স 7 ডি

3. কিউবির ইউআরএলকে হোস্ট এবং পোর্টে বিভক্ত করুন

বৈশিষ্ট্য

কিউবির ইউআরএলকে ইলুম-কোরে হোস্ট এবং পোর্টে বিভক্ত করুন। কাস্টম ইঞ্জিন তৈরি করতে সক্ষম হওয়ার জন্য এই পরিবর্তনটি প্রয়োজনীয় ছিল।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
কিউবি.হোস্ট কিউয়ুবি হোস্ট ilum-sql-rest
কিউবি.পোর্ট কিউয়ুবি বন্দর 10099

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

নাম কারণে
কিউবি.ইউআরএল পরিবর্তনের পর অপ্রয়োজনীয়

4. helm_ui nginx সার্ভার কনফিগার মানচিত্রে অতিরিক্ত এন্ট্রি

বৈশিষ্ট্য

ইতিহাস সার্ভার, মিনিও, আইলুম-জুপিটার, বায়ুপ্রবাহ, এমএলফ্লো ও ইলুম-ইউআইতে বংশের জন্য সক্ষম পতাকা যুক্ত করা হয়েছে। এই পতাকাগুলি ব্যবহারকারীকে আইলুম-ইউআইয়ের মাধ্যমে এই পরিষেবাগুলিতে অ্যাক্সেস সক্ষম অথবা অক্ষম করার অনুমতি দেয়। এই মানগুলি nginx সার্ভার কনফিগার মানচিত্রে ব্যবহৃত হবে।

মান যোগ করা হয়েছে - ইলুম-ইউআই চার্ট

নাম বর্ণনা মান
nginx.config.ilum-jupyter.enabled ilum-ui nginx কনফিগারেশন ilum-Jupyter সক্ষম পতাকা মিথ্যা
nginx.config.airflow.enabled ilum-ui nginx কনফিগারেশন এয়ারফ্লো সক্ষম পতাকা মিথ্যা
nginx.config.minio.enabled ilum-ui nginx কনফিগারেশন মিনিও সক্ষম পতাকা মিথ্যা
nginx.config.historyServer.enabled ilum-ui nginx config historyসার্ভার সক্রিয় পতাকা মিথ্যা
nginx.config.mlflow.enabled ilum-ui nginx কনফিগারেশন MLFLOW সক্ষম পতাকা মিথ্যা
nginx.config.lineage.enabled ilum-ui nginx কনফিগারেশন বংশ সক্ষম পতাকা মিথ্যা

5. ইলুম-এআইও চার্টে সুপারসেট

বৈশিষ্ট্য

ইলুম এআইও চার্টে সুপারসেট। সুপারসেট দ্রুত, লাইটওয়েট, স্বজ্ঞাত এবং বিকল্পগুলির সাথে লোড করা হয় যা সমস্ত দক্ষতা সেটের ব্যবহারকারীদের তাদের ডেটা অন্বেষণ এবং ভিজ্যুয়ালাইজ করা সহজ করে তোলে, সাধারণ লাইন চার্ট থেকে অত্যন্ত বিস্তারিত জিওস্প্যাটিয়াল চার্ট পর্যন্ত। সুপারসেট ইলাম প্ল্যাটফর্মের সাথে সমন্বিত মডিউলগুলির মধ্যে একটি।

মান যোগ করা হয়েছে - ইলুম-ইউআই

লগ সমষ্টি কনফিগারেশন কনফিগারেশন
নাম বর্ণনা মান
runtimeVars.supersetUrl সুপারসেট সার্ভিস URL http://ilum-superset:8088/
nginx.config.superset.enabled ilum-ui nginx কনফিগারেশন সুপারসেট সক্রিয় পতাকা মিথ্যা

4. হেলম মান থেকে ইলাম ডিফল্ট কুবারনেটস ক্লাস্টার কনফিগারেশন

বৈশিষ্ট্য

এখন থেকে, ডিফল্ট ইলাম ক্লাস্টার প্যারামিটারগুলি হেলম মানগুলির উপর ভিত্তি করে সেট করা হবে।

মান যোগ করা হয়েছে - ইলাম-কোর চার্ট

নাম বর্ণনা মান
kubernetes.defaultCluster.config ilum-Core default Kubernetes cluster configuration কনফিগারেশন:
  spark.driver.extraJavaOptions: "-Divy.cache.dir=/tmp -Divy.home=/tmp"
  স্পার্ক.কুবারনেটস.কনটেইনার.চিত্র: "আইএলইউএম / স্পার্ক: 3.5.2-ডেল্টা"
  স্পার্ক.ডেটাব্রিকস.ডেল্টা.ক্যাটালগ.আপডেট.সক্ষম: "সত্য"

রিলিজ ৬.২.০

1. কিউয়ুবির চিত্র ট্যাগ সংস্করণ পরিবর্তন করা হয়েছে

মান পরিবর্তিত হয়েছে - ইলুম-কিউবি চার্ট

নাম পুরাতন মূল্য নতুন মূল্য
চিত্র.ট্যাগ ১.৯.২-স্ফুলিঙ্গ 1.10.0-স্পার্ক

2. ইলুম-কিউবি চার্টে কিউয়ুবি স্পার্ক কনফিগারেশন পরিবর্তন করা হয়েছে

যুক্ত spark.driver.memory=2g মধ্যে global.kyuubi.sparkConfig

রিলিজ 6.2.0-আরসি 2

1. মিনিও স্ট্যাটাস প্রোব সংযোজন

বৈশিষ্ট্য

ইলুম-কোরে স্ট্যাটাস প্রোব যুক্ত করা হয়েছে যা মিনিও স্টোরেজ প্রস্তুত কিনা তা পরীক্ষা করে

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
minio.statusProbe.enabled মিনিও স্ট্যাটাস প্রোব সক্রিয় পতাকা সত্য
minio.statusProbe.image মিনিও স্ট্যাটাস প্রোব চিত্র কার্লচিত্র / কার্ল: 8.5.0
minio.statusProbe.baseUrl মিনিও বেস ইউআরএল "http://ilum-minio:9000"

2. ইলুম-কোরে কিউবি কনফিগারেশন

বৈশিষ্ট্য

ইলুম-কোর হেলম চার্টে কিউবি কনফিগারেশন যোগ করা হয়েছে। কিউউবি ব্যবহারকারীকে আইএলইউএম ইউআই ব্যবহার করে বিভিন্ন ডেটা উত্সে এসকিউএল প্রশ্ন চালানোর অনুমতি দেবে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
কিউবি.সক্ষম কিউয়ুবি সক্ষম পতাকা সত্য
কিউবি.ইউআরএল কিউবির বিশ্রাম পরিষেবার ইউআরএল http://ilum-sql-rest:10099

⚠️⚠️⚠️ Warnings

এসকিউএল ইঞ্জিনগুলি সঠিকভাবে পরিচালনা করার জন্য, আমাদের কিউবির স্পার্ক কনফিগারেশনটি ইলাম-কোরে পাস করতে হবে। এটি কিউবির স্পার্ক কনফিগার করে করা হয় global.kyuubi.sparkConfig এবং ব্যবহারকারীকে একটি কনফিগারেশন লিখতে দেয় যা কিউবি এবং ইলুম-কোর উভয়কেই পাস করা যায়।

3. ইলুম-কোরে মঙ্গোডিবি ইউরি কনফিগারেশন

বৈশিষ্ট্য

মঙ্গোডিবি উরি ইলুম-কোরে যাওয়ার উপায়টি পরিবর্তন করুন। এখন এটি একটি একক স্ট্রিং হিসাবে পাস করা হয়, যা ব্যবহারকারীকে অথসোর্সের মতো আরও দানাদার কনফিগারেশন সরবরাহ করতে সক্ষম করে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
মঙ্গো.উরি MongoDb সংযোগ স্ট্রিং mongodb://mongo:27017/ilum-default?replicaSet=rs0

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

নাম কারণে
মঙ্গো.ইনস্ট্যান্স পরিবর্তনের পর অপ্রয়োজনীয়
mongo.replicaSetName পরিবর্তনের পর অপ্রয়োজনীয়

⚠️⚠️⚠️ Warnings

মঙ্গো.উরি , ভুলভাবে সেট করা হলে, অ্যাপ্লিকেশনটি সঠিকভাবে কাজ না করার কারণ হবে। সঠিক সংযোগ স্ট্রিং সরবরাহ নিশ্চিত করুন।

আগে ফরম্যাট ছিল: mongodb://{ mongo.instances }/ilum-{ release_namespace }?replicaSet={ mongo.replicaSetName } আইলুম-আইও চার্টে ডিফল্টরূপে এই মানগুলি ছিল:

  • মঙ্গো.ইনস্ট্যান্স - ইলম-মঙ্গোডব-0.ইলুম-মঙ্গোডবি-হেডলেস: 27017, ইলুম-মঙ্গোডব-1.আইলুম-মঙ্গোডবি-হেডলেস: 27017
  • mongo.replicaSetName - RS0
  • release_namespace - ডিফল্ট

4. আইলুম-কোর মধ্যে স্বয়ংক্রিয় কনফিগারেশন

বৈশিষ্ট্য

আইলুম-কোরে অটোপজিং যুক্ত করা হয়েছে, যা পর্যায়ক্রমে কোনও গ্রুপ নির্দিষ্ট সময়ের জন্য নিষ্ক্রিয় কিনা তা পরীক্ষা করে ও গ্রুপটিকে বিরতি দেয়। এটি সংঘটিত হওয়ার জন্য প্রতিটি গ্রুপকে স্বয়ংক্রিয় বিরতি চালু করতে হবে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
job.autoPause.enabled স্বতঃ বিরাম সক্ষম করতে বৈশিষ্ট্য পতাকা সত্য
জব.অটোপজ.পিরিয়ড অলসতা গোষ্ঠীগুলি পরীক্ষা করতে সেকেন্ডের মধ্যে বিরতি 180
job.autoPause.idleTime সেকেন্ডের মধ্যে সময় যে গ্রুপটি স্বতঃ বিরতি দেওয়ার জন্য নিষ্ক্রিয় হওয়া দরকার 3600

5. ইলুম-এআইও চার্ট মধ্যে গ্রাফাইট রপ্তানিকারক

বৈশিষ্ট্য

ইলুম-কোর চার্টে ইলাম এআইও চার্ট ও গ্রাফাইট কনফিগারেশনে গ্রাফাইট এক্সপোর্টার। গ্রাফাইট এক্সপোর্টার গ্রাফাইট প্লেইনটেক্সট প্রোটোকলে রফতানি করা মেট্রিক্সের জন্য একটি প্রমিথিউস রফতানিকারক।

মূল্য যোগ করা হয়েছে - গ্রাফাইট-রপ্তানিকারক

নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্টের পৃষ্ঠা

6. ইলাম-কোরে গ্রাফাইট কনফিগারেশন

বৈশিষ্ট্য

আইলুম-কোর হেলম চার্টে গ্রাফাইট কনফিগারেশন যোগ করা হয়েছে। গ্রাফাইট স্পার্ক জবগুলিকে গ্রাফাইট সিঙ্কে তাদের মেট্রিকগুলি প্রেরণের অনুমতি দেবে, যা প্রমিথিউস দ্বারা স্ক্র্যাপ করা হবে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
জব.গ্রাফাইট.সক্ষম গ্রাফাইট সক্রিয় পতাকা মিথ্যা
জব.গ্রাফাইট.হোস্ট গ্রাফাইট হোস্ট ilum-graphite-graphite-tcp
জব.গ্রাফাইট.পোর্ট গ্রাফাইট পোর্ট 9109
জব.গ্রাফাইট.পিরিয়ড কাজের মেট্রিক্স প্রেরণের মধ্যে বিরতি 10
জব.গ্রাফাইট.ইউনিট সময় একক সেকেন্ড

রিলিজ ৬.১.৪

1. জুপিটার ডিফল্ট স্পার্কম্যাগিক কনফিগারেশন পরিবর্তন

বৈশিষ্ট্য

জুপিটার নোটবুকে স্পার্ক ডিফল্ট কনফিগারেশন পাস করার পদ্ধতি পরিবর্তন করা হয়েছে, এখন এটি জেসন স্ট্রিং হিসাবে পাস করা হয়েছে

মান যোগ করা হয়েছে - ইলুম-জুপিটার

Sparkmagic কনফিগারেশন প্যারামিটার
নাম বর্ণনা মান
sparkmagic.config.sessionConfigs.conf Sparkmagic সেশন স্পার্ক কনফিগারেশন '{ "pyRequirements": "pandas", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}'
sparkmagic.config.sessionConfigsDefaults.conf Sparkmagic সেশন ডিফল্ট স্পার্ক কনফিগারেশন '{ "pyRequirements": "pandas", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}'

2. ইলুম-আইও চার্টে কিউবি

বৈশিষ্ট্য

ইলুম এআইও চার্টে কিউবি। কিউবি একটি বিতরণ করা মাল্টি-টেন্যান্ট গেটওয়ে যা ডেটা গুদাম এবং লেকহাউসগুলির জন্য এসকিউএল ক্যোয়ারী পরিষেবা সরবরাহ করে। এটি জেডিবিসি এবং ওডিবিসি ইন্টারফেস উভয়ই সরবরাহ করে এবং ক্লায়েন্টদের সাথে ইন্টারঅ্যাক্ট করার জন্য একটি রেস্ট এপিআই সরবরাহ করে।

মান যোগ করা হয়েছে - ইলুম-কিউবি

নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্টের পৃষ্ঠা

রিলিজ ৬.১.৩

1. জুপিটার কনফিগারেশন এবং স্থায়ী স্টোরেজ

বৈশিষ্ট্য

হেলম মানগুলির মাধ্যমে জুপিটার নোটবুক হেলম চার্টের বর্ধিত কনফিগারেশন যোগ করা হয়েছে। তদুপরি, জুপিটার পডে পার্সিটেন্ট স্টোরেজ যুক্ত করা হয়েছে। সমস্ত তথ্য এতে সংরক্ষিত হয়েছে কাজ ডিরেক্টরি এখন জুপিটার পুনঃসূচনা/আপডেটের পরে উপলব্ধ হবে।

মান যোগ করা হয়েছে - ইলুম-জুপিটার

পিভিসি পরামিতি
নাম বর্ণনা মান
পিভিসি.টীকা অবিরাম ভলিউম দাবি টীকা {}
পিভিসি.সিলেক্টর স্থায়ী ভলিউম দাবি নির্বাচক {}
pvc.accessModes অবিরাম ভলিউম দাবি অ্যাক্সেসমোড পড়ুনরাইট ওয়ান্স
পিভিসি.স্টোরেজ অবিরাম ভলিউম দাবি স্টোরেজ অনুরোধ 4 জিআই
pvc.storageClassName অবিরাম ভলিউম দাবি স্টোরেজশ্রেণীর নাম ``
Sparkmagic কনফিগারেশন প্যারামিটার
নাম বর্ণনা মান
sparkmagic.config.kernelPythonCredentials.username Sparkmagic Python কার্নেল ব্যবহারকারীর নাম ""
sparkmagic.config.kernelPythonCredentials.password Sparkmagic Python কার্নেল পাসওয়ার্ড ""
sparkmagic.config.kernelPythonCredentials.auth Sparkmagic Python কার্নেল অথ মোড "কিছুই না"
sparkmagic.config.kernelScalaCredentials.username Sparkmagic Python কার্নেল ব্যবহারকারীর নাম ""
sparkmagic.config.kernelScalaCredentials.password Sparkmagic scala kernel password ""
sparkmagic.config.kernelScalaCredentials.auth Sparkmagic scala kernel auth মোড "কিছুই না"
sparkmagic.config.kernelRCredentials.username Sparkmagic r কার্নেল ব্যবহারকারীর নাম ""
sparkmagic.config.kernelRCredentials.password Sparkmagic r কার্নেল পাসওয়ার্ড ""
sparkmagic.config.waitForIdleTimeoutSeconds স্পার্কম্যাজিক টাইমআউট নিষ্ক্রিয় অবস্থার জন্য অপেক্ষা করছে 15
sparkmagic.config.livySessionStartupTimeoutSeconds স্পার্কম্যাজিক টাইমআউট সেশন শুরু হওয়ার জন্য অপেক্ষা করছে 300
sparkmagic.config.ignoreSslErrors স্পার্কম্যাজিক এসএসএল ত্রুটি পতাকা উপেক্ষা করুন মিথ্যা
sparkmagic.config.sessionConfigs.conf Sparkmagic সেশন স্পার্ক কনফিগারেশন [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog]
sparkmagic.config.sessionConfigs.driverMemory Sparkmagic সেশন ড্রাইভার মেমোরি 1000 মি
sparkmagic.config.sessionConfigs.executorCores স্পার্কম্যাগিক সেশন এক্সিকিউটর কোর 2
sparkmagic.config.sessionConfigsDefaults.conf Sparkmagic সেশন ডিফল্ট স্পার্ক কনফিগারেশন [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog]
sparkmagic.config.sessionConfigsDefaults.driverMemory Sparkmagic সেশন ডিফল্ট ড্রাইভার মেমোরি 1000 মি
sparkmagic.config.sessionConfigsDefaults.executorCores স্পার্কম্যাগিক সেশন ডিফল্ট এক্সিকিউটর কোর 2
sparkmagic.config.useAutoViz স্পার্কম্যাজিক অটো ভিজ ফ্ল্যাগ ব্যবহার করুন সত্য
sparkmagic.config.coerceDataframe Sparkmagic Coerce Dataframe flag সত্য
sparkmagic.config.maxResultsSql স্পার্কম্যাগিক ম্যাক্স এসকিউএল ফলাফল 2500
sparkmagic.config.pysparkDataframeEncoding Sparkmagic Pyspark ডেটাফ্রেম এনকোডিং ইউটিএফ-৮
sparkmagic.config.heartbeatRefreshSeconds স্পার্কম্যাজিক হার্টবিট রিফ্রেশ সেকেন্ড 30
sparkmagic.config.livyServerHeartbeatTimeOutSeconds স্পার্কম্যাজিক লিভি সার্ভার হার্টবিট টাইমআউট সেকেন্ড 0
sparkmagic.config.heartbeatRetrySeconds স্পার্কম্যাজিক হৃদস্পন্দন সেকেন্ডের পুনঃচেষ্টা করুন 10
sparkmagic.config.serverExtensionDefaultKernelName Sparkmagic server extension ডিফল্ট কার্নেল নাম Pysparkkernel
sparkmagic.config.retryPolicy Sparkmagic retry নীতি কনফিগারযোগ্য
sparkmagic.config.retrySecondsToSleepList স্পার্কম্যাগিক ঘুমের তালিকায় সেকেন্ড পুনঃচেষ্টা করুন [0.2, 0.5, 1, 3, 5]
sparkmagic.config.config.configurableRetryPolicyMaxRetries স্পার্কম্যাগিক পুনঃচেষ্টা নীতি সর্বাধিক পুনঃচেষ্টা 8

রিলিজ ৬.১.২

1. ইলুম-এআইও চার্টে হাইভ মেটাস্টোর

বৈশিষ্ট্য

ইলুম এআইও চার্টে হাইভ মেটাস্টোর। এইচএমএস একটি রিলেশনাল ডাটাবেসে হাইভ টেবিল এবং পার্টিশনগুলির জন্য মেটাডেটার একটি কেন্দ্রীয় সংগ্রহস্থল, এবং ক্লায়েন্টদের (হাইভ, ইম্পালা এবং স্পার্ক সহ) মেটাস্টোর পরিষেবা এপিআই ব্যবহার করে এই তথ্যে অ্যাক্সেস সরবরাহ করে। ইলাম এআইও হেলমে মৌচাক মেটাস্টোর সক্ষম করে, ইলাম দ্বারা চালিত স্ট্যাক স্পার্ক কাজগুলি স্বতঃস্ফূর্তভাবে এটি অ্যাক্সেস করার জন্য কনফিগার করা যেতে পারে।

মান যোগ করা হয়েছে - ইলাম-হাইভ-মেটাস্টোর

নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্ট পৃষ্ঠা

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
হাইভমেটাস্টোর.সক্ষম ইলাম স্পার্ক জবস ফ্ল্যাগে হাইভ মেটাস্টোর কনফিগারেশন পাস করা মিথ্যা
হাইভমেটাস্টোর.ঠিকানা মৌচাক মেটাস্টোর ঠিকানা thrift://ilum-hive-metastore:9083
হাইভমেটাস্টোর.ওয়্যারহাউজডির মৌচাক মেটাস্টোর গুদাম ডিরেক্টরি s3a://ilum-data/

2. পোস্টগ্রেস এক্সটেনশন যোগ করা হয়েছে

বৈশিষ্ট্য

ইলাম এআইও সাবচারগুলির কয়েকটি পোস্টগ্রেএসকিউএল ব্যবহার করে, তাদের স্থাপনার পরিচালনা করা সহজ করার জন্য আমরা ইলাম সুপারচার্টগুলির জন্য পোস্টগ্রেএসকিউএল ডাটাবেস তৈরি করতে পোস্টগ্রেস এক্সটেনশন রিসোর্স যুক্ত করেছি।

মান যোগ করা হয়েছে - ইলুম-এআইও

PostgreSQL এক্সটেনশন প্যারামিটার
নাম বর্ণনা মান
postgresExtensions.enabled পোস্টগ্রেস এক্সটেনশন সক্ষম পতাকা সত্য
postgresExtensions.image এক্সটেনশন চালানোর জন্য চিত্র বিটনামি / পোস্টগ্রেএসকিউএল: 16
postgresExtensions.pullPolicy চিত্র টান নীতি IfNotPresent
postgresExtensions.imagePullSecrets ইমেজ টান সিক্রেটস []
postgresExtensions.host PostgreSQL ডাটাবেস হোস্ট ilum-postgresql-0.ilum-postgresql-hl
postgresExtensions.port PostgreSQL ডাটাবেস পোর্ট 5432
postgresExtensions.databasesToCreate তৈরি করতে ডাটাবেসের কমা পৃথক তালিকা মার্কেজ, এয়ারফ্লো, মেটাস্টোর
postgresExtensions.auth.username PostgreSQL অ্যাকাউন্ট ব্যবহারকারীর নাম ইলুম
postgresExtensions.auth.password PostgreSQL অ্যাকাউন্ট পাসওয়ার্ড দয়া করে আমাকে পরিবর্তন করুন
postgresExtensions.nodeSelector PostgreSQL Extensions pods node selector {}
পোস্টগ্রেস এক্সটেনশনস.টলারেশন PostgreSQL এক্সটেনশন পডস সহনশীলতা []

৩. ইলুম-এআইও চার্টে লোকি এবং প্রমটেল

বৈশিষ্ট্য

ইলুম এআইও চার্টে লোকি এবং প্রমটেল। লোকি একটি অনুভূমিকভাবে স্কেলেবল, অত্যন্ত উপলভ্য, মাল্টি-টেন্যান্ট লগ সমষ্টি সিস্টেম দ্বারা অনুপ্রাণিত প্রমিথিউস। প্রমটেল হ'ল একটি এজেন্ট যা স্থানীয় লগের সামগ্রীগুলি গ্রাফানা লোকি দৃষ্টান্তে প্রেরণ করে। ইলাম এখন স্পার্ক জব পড থেকে লগগুলি একত্রিত করতে লোকি ব্যবহার করবে কাজ শেষ হওয়ার পরে ক্লাস্টার সংস্থানগুলি পরিষ্কার করতে সক্ষম হওয়া। লোকি এবং প্রমটেল তাদের সমাপ্তির পরে কাজের লগগুলি আনার জন্য কেবল ইলাম দ্বারা চালিত স্পার্ক পডগুলি থেকে লগগুলি স্ক্র্যাপ করার জন্য প্রাক-কনফিগার করা হয়।

মান যোগ করা হয়েছে - ইলুম-কোর

লগ সমষ্টি কনফিগারেশন কনফিগারেশন
নাম বর্ণনা মান
গ্লোবাল.লগএগ্রিগেশন.সক্ষম ইলাম লগ সমষ্টি পতাকা, যদি সক্ষম করা হয় তবে ইলাম লোকি থেকে সমাপ্ত কুবারনেটস স্পার্ক পডগুলির লগ আনবে মিথ্যা
global.logAggregation.loki.url লগগুলি অ্যাক্সেস করতে Loki গেটওয়ে ঠিকানা http://ilum-loki-gateway

মান যোগ করা হয়েছে - ইলুম-এআইও

লগ সমষ্টি - Loki config
নাম বর্ণনা মান
loki.nameOverride সাবচার্ট নাম ওভাররাইড ইলুম-লোকি
loki.monitoring.selfMonitoring.enabled স্ব-পর্যবেক্ষণ সক্ষম পতাকা মিথ্যা
loki.monitoring.selfMonitoring.grafanaAgent.installOperator স্ব-পর্যবেক্ষণ গ্রাফিনা এজেন্ট অপারেটর ইনস্টল পতাকা মিথ্যা
loki.monitoring.selfMonitoring.lokiCanary.enabled স্ব-পর্যবেক্ষণ ক্যানারি সক্ষম পতাকা মিথ্যা
loki.test.enabled পরীক্ষা সক্ষম পতাকা মিথ্যা
loki.loki.auth_enabled প্রমাণীকরণ সক্ষম পতাকা মিথ্যা
loki.loki.storage.bucketNames.chunks স্টোরেজ খণ্ড বালতি ইলুম-ফাইল
loki.loki.storage.bucketNames.ruler স্টোরেজ শাসক বালতি ইলুম-ফাইল
loki.loki.storage.bucketNames.admin স্টোরেজ অ্যাডমিন বালতি ইলুম-ফাইল
loki.loki.storage.type স্টোরেজ টাইপ এস৩
loki.loki.s3.endpoint এস 3 স্টোরেজ এন্ডপয়েন্ট http://ilum-minio:9000
loki.loki.s3.region এস 3 স্টোরেজ এন্ডপয়েন্ট ইউএস-ইস্ট-১
loki.loki.s3.secretAccessKey S3 স্টোরেজ গোপন অ্যাক্সেস কী মিনিওঅ্যাডমিন
loki.loki.s3.accessKeyId S3 স্টোরেজ অ্যাক্সেস কী ID মিনিওঅ্যাডমিন
loki.loki.s3.s3ForcePathStyle এস 3 স্টোরেজ পাথ স্টাইল অ্যাক্সেস ফ্ল্যাগ সত্য
loki.loki.s3.insecure এস 3 স্টোরেজ অনিরাপদ পতাকা সত্য
loki.loki.compactor.retention_enabled লগ ধারণ সক্ষম পতাকা সত্য
loki.loki.compactor.deletion_mode মোছার মোড ফিল্টার-এবং-মুছুন
loki.loki.compactor.shared_store শেয়ার্ড স্টোর এস৩
loki.loki.limits_config.অ্যালো_ডিলিট লগ মোছার অনুমতি দিন পতাকা সত্য
লগ সমষ্টি - Loki config
নাম বর্ণনা মান
promtail.config.clients[0].url প্রথম ক্লায়েন্ট URL http://ilum-loki-write:3100/loki/api/v1/push
promtail.snippets.pipelineStages[0].match.selector নন আইলুম লগ সিলেক্টর ড্রপ করার জন্য পাইপলাইন পর্যায় {ilum_logAggregation!="সত্য"}
promtail.snippets.pipelineStages[0].match.action পাইপলাইন স্টেজ ড্রপ নন আইএলএম লগ অ্যাকশন নিক্ষেপ
প্রোমটেল.স্নিপেটস.পাইপলাইনস্টেজ[0].match.drop_counter_reason পাইপলাইন পর্যায় অ ইলুম লগ ড্রপ drop_counter_reason non_ilum_log
promtail.snippets.extraRelabelConfigs[0].action ইলাম পড লেবেলগুলি ক্রিয়া রাখতে কনফিগ পুনরায় লেবেল করুন লেবেলম্যাপ
promtail.snippets.extraRelabelConfigs[0].regex ইলাম পড লেবেল রেজেক্স রাখতে কনফিগ পুনরায় লেবেল করুন __meta_kubernetes_pod_label_ilum(.*)
promtail.snippets.extraRelabelConfigs[0].replacement ইলাম পড লেবেল প্রতিস্থাপন রাখতে কনফিগ পুনরায় লেবেল করুন ইলম ${1}
promtail.snippets.extraRelabelConfigs[1].action স্পার্ক পড লেবেল অ্যাকশন রাখতে কনফিগ পুনরায় লেবেল করুন লেবেলম্যাপ
promtail.snippets.extraRelabelConfigs[1].regex স্পার্ক পড লেবেল রেজেক্স রাখতে কনফিগ পুনরায় লেবেল করুন __meta_kubernetes_pod_label_spark(.*)
promtail.snippets.extraRelabelConfigs[1].replacement স্পার্ক পড লেবেল প্রতিস্থাপন রাখতে কনফিগ পুনরায় লেবেল করুন স্পার্ক${1}

রিলিজ ৬.১.১

1. ইলাম ইন্টারেক্টিভ কাজের জন্য স্বাস্থ্য পরীক্ষা যোগ করা হয়েছে

বৈশিষ্ট্য

ইলাম গ্রুপগুলির অপ্রত্যাশিত ক্রাশের পরিস্থিতি রোধ করতে আমরা স্বাস্থ্য পরীক্ষা যুক্ত করেছি যাতে তারা তাদের মতো কাজ করে তা নিশ্চিত করার জন্য।

মান যোগ করা হয়েছে - ইলুম-কোর

ইলাম-জব প্যারামিটার
নাম বর্ণনা মান
জব.হেলথচেক.এনাল্ড স্পার্ক ইন্টারেক্টিভ জবস হেলথচেক সক্ষম পতাকা সত্য
জব.হেলথচেক.ইন্টারভাল স্পার্ক ইন্টারেক্টিভ জবস সেকেন্ডের মধ্যে বিরতি 300
জব.হেলথচেক.টলারেন্স স্পার্ক ইন্টারেক্টিভ জবস সেকেন্ডের মধ্যে প্রতিক্রিয়া সময় সহনশীলতা স্বাস্থ্য পরীক্ষা করুন 120

2. আইলাম স্কেলেবল পরিষেবাগুলির জন্য প্যারামিটারাইজড প্রতিরূপ স্কেল

বৈশিষ্ট্য

ইলাম স্কেলেবল পরিষেবাগুলির জন্য প্রতিরূপগুলির সংখ্যার কনফিগারেশনটি হেলম মানগুলিতে বের করা হয়েছিল।

মান যোগ করা হয়েছে - ইলুম-কোর

আইলুম-কোর সাধারণ পরামিতি
নাম বর্ণনা মান
রেপ্লিকাগণনা ইলুম-কোর প্রতিরূপের সংখ্যা 1

মান যোগ করা হয়েছে - ইলুম-ইউআই

ilum-ui সাধারণ পরামিতি
নাম বর্ণনা মান
রেপ্লিকাগণনা ইলুম-ইউআই প্রতিরূপের সংখ্যা 1

রিলিজ ৬.১.০

1. ইলাম ক্লাস্টার ওয়াবস স্টোরেজ থেকে অপ্রয়োজনীয় পরামিতি মুছে ফেলা হয়েছে

বৈশিষ্ট্য

ডাব্লুএএসবিএস স্টোরেজ পাত্রে আর হেলমের মানগুলিতে সাস টোকেন পোরভিড করার দরকার নেই কারণ এটি অপ্রয়োজনীয় বলে প্রমাণিত হয়েছিল

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

ওয়াবস স্টোরেজ পরামিতি
নাম কারণে
kubernetes.wasbs.sparkContainer.name সরানো হয়েছে kubernetes.wasbs.sparkContainer মান
kubernetes.wasbs.sparkContainer.sasToken অপ্রয়োজনীয় হয়ে গেল
kubernetes.wasbs.dataContainer.name সরানো হয়েছে kubernetes.wasbs.dataContainer মান
kubernetes.wasbs.dataContainer.sasToken অপ্রয়োজনীয় হয়ে গেল

মান যোগ করা হয়েছে - ইলুম-কোর

ওয়াবস স্টোরেজ পরামিতি
নাম বর্ণনা মান
kubernetes.wasbs.sparkContainer ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম স্পার্ক সংস্থানগুলি সঞ্চয় করতে ইলুম-ফাইল
kubernetes.wasbs.dataContainer ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম ইলাম টেবিলগুলি সংরক্ষণ করতে ইলাম-টেবিল

2. পরিষেবা প্রাপ্যতা পরীক্ষা করতে init ধারক যোগ করা হয়েছে

বৈশিষ্ট্য

ইলুম মোতায়েনকে আরও সুন্দরভাবে করার জন্য, এখন থেকে ইলুম পাত্রে তারা নির্ভর করে এমন পরিষেবাগুলির প্রাপ্যতার জন্য অপেক্ষা করছে।

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
mongo.statusProbe.enabled মঙ্গো স্ট্যাটাস প্রোব সক্রিয় পতাকা সত্য
mongo.statusProbe.image ইনিট ধারক যা মঙ্গোডব উপলভ্য চিত্রের জন্য অপেক্ষা করে মঙ্গো:৭.০.৫
kafka.statusProbe.enabled কাফকা স্ট্যাটাস প্রোব সক্রিয় পতাকা সত্য
kafka.statusProbe.image ইনিট ধারক যা কাফকা উপলভ্য হওয়ার জন্য অপেক্ষা করে চিত্র বিটনামি/কাফকা:৩.৪.১
historyServer.statusProbe.enabled আইলুম ইতিহাস সার্ভার আইলুম-কোর স্থিতি প্রোব সক্ষম পতাকা সত্য
historyServer.statusProbe.image আইলুম ইতিহাস সার্ভার ইনিট ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে কার্লচিত্র / কার্ল: 8.5.0

মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি

নাম বর্ণনা মান
স্ট্যাটাসপ্রোব.সক্ষম আইএলইউএম-কোর স্ট্যাটাস প্রোব সক্ষম পতাকা সত্য
স্ট্যাটাসপ্রোব.ইমেজ আইএনআইটি ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে কার্লচিত্র / কার্ল: 8.5.0

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
স্ট্যাটাসপ্রোব.সক্ষম আইএলইউএম-কোর স্ট্যাটাস প্রোব সক্ষম পতাকা সত্য
স্ট্যাটাসপ্রোব.ইমেজ আইএনআইটি ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে কার্লচিত্র / কার্ল: 8.5.0

৩. ইলুম-কোর চার্টে প্যারামিটারাইজড কাফকা প্রযোজক

বৈশিষ্ট্য

কাফকা কমিউনিকেশন মোডে ইলুম ইন্টারেক্টিভ জব প্রতিক্রিয়া কাফকা প্রযোজকদের ব্যবহার করে ইন্টারেক্টিভ কাজের দৃষ্টান্ত। নতুন যোগ করা হেলম মান সঙ্গে, কাফকা প্রযোজক ব্যবহারকারীর চাহিদা মেলে অভিযোজিত করা যেতে পারে।

মান যোগ করা হয়েছে - ইলুম-কোর

কাফকা প্যারামিটার
নাম বর্ণনা মান
kafka.maxPollRecords কাফকা ম্যাক্স.পোল.রেকর্ডস ইলুম জবস কাফকা কনজিউমারের জন্য প্যারামিটার, এটি নির্ধারণ করে যে প্রতিটি পোলের সাথে ইলুম-জব কাফকা গ্রাহক কতটা অনুরোধ পাবেন 500
kafka.maxPollInterval কাফকা max.poll.interval.ms ইলুম জবস কাফকা ভোক্তার জন্য প্যারামিটার, এটি পোলের আহ্বানের মধ্যে সর্বাধিক বিলম্ব নির্ধারণ করে, যা আইএলইউএম-জব প্রসঙ্গে পোলে আনা অনুরোধগুলি প্রক্রিয়াকরণের জন্য সময়সীমা 60000

রিলিজ 6.1.0-আরসি 1

1. পরিষেবা টীকা জন্য সমর্থন যোগ করা হয়েছে

বৈশিষ্ট্য

ইলাম হেলম চার্ট পরিষেবাদি টীকাগুলি এখন হেলম মানগুলির মাধ্যমে কনফিগার করা যেতে পারে

মান যোগ করা হয়েছে - ইলুম-কোর

পরিষেবা পরামিতি
নাম বর্ণনা মান
সার্ভিস.টীকা পরিষেবা টীকা {}
grpc.service.annotations জিআরপিসি পরিষেবা টীকা {}
historyServer.service.annotations ইতিহাস সার্ভার পরিষেবা টীকা {}

মান যোগ করা হয়েছে - ইলুম-জুপিটার

পরিষেবা পরামিতি
নাম বর্ণনা মান
সার্ভিস.টীকা পরিষেবা টীকা {}

মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি

পরিষেবা পরামিতি
নাম বর্ণনা মান
সার্ভিস.টীকা পরিষেবা টীকা {}

মান যোগ করা হয়েছে - ইলুম-ইউআই

পরিষেবা পরামিতি
নাম বর্ণনা মান
সার্ভিস.টীকা পরিষেবা টীকা {}

মান যোগ করা হয়েছে - ইলুম-জেপেলিন

পরিষেবা পরামিতি
নাম বর্ণনা মান
সার্ভিস.টীকা পরিষেবা টীকা {}

2. গ্লোবাল ভ্যালুতে সিকিউরিটি ওঅথ 2 প্যারামিটার টানা

বৈশিষ্ট্য

Ilum Security oauth2 কনফিগারেশন এখন গ্লোবাল ভ্যালুর মাধ্যমে সেট করা হচ্ছে

মান যোগ করা হয়েছে - ইলুম-এআইও

নিরাপত্তা পরামিতি
নাম বর্ণনা মান
global.security.oauth2.clientId oauth2 ক্লায়েন্ট ID ``
গ্লোবাল.সিকিউরিটি.ওউথ 2.ইস্যুআরইউরি ওঅথ 2 ইউআরআই যা হয় একটি ওপেনআইডি কানেক্ট ডিসকভারি এন্ডপয়েন্ট বা আরএফসি 8414 দ্বারা সংজ্ঞায়িত একটি ওঅথ 2.0 অথরাইজেশন সার্ভার মেটাডেটা এন্ডপয়েন্ট হতে পারে ``
গ্লোবাল.সিকিউরিটি.ওউথ২.অডিয়েন্স Oauth2 শ্রোতা ``
global.security.oauth2.clientSecret OAUTH2 ক্লায়েন্ট সিক্রেট ``

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

নিরাপত্তা পরামিতি
নাম কারণে মান
security.oauth2.clientId OAUTH2 সুরক্ষা পরামিতিগুলি এখন বিশ্বব্যাপী মানগুলির মাধ্যমে কনফিগার করা হয়েছে ``
security.oauth2.issuerUri OAUTH2 সুরক্ষা পরামিতিগুলি এখন বিশ্বব্যাপী মানগুলির মাধ্যমে কনফিগার করা হয়েছে ``

3. ফ্রন্টএন্ডের জন্য রানটাইম পরিবেশ ভেরিয়েবল

বৈশিষ্ট্য

ফ্রন্টএন্ড এনভায়রনমেন্ট ভেরিয়েবলের জন্য কনফিগারেশন হেলম ইউআই মানগুলির মাধ্যমে।

মান যোগ করা হয়েছে - ইলুম-ইউআই

রানটাইম ভেরিয়েবল
নাম বর্ণনা মান
runtimeVars.defaultConfigMap.enabled ফ্রন্টএন্ড রানটাইম এনভায়রনমেন্ট ভেরিয়েবলের জন্য ডিফল্ট কনফিগ মানচিত্র সত্য
runtimeVars.debug ডিবাগ লগিং পতাকা মিথ্যা
runtimeVars.backenUrl আইএলইউএম-কোর ব্যাকএন্ড ইউআরএল http://ilum-core:9888
runtimeVars.historyServerUrl ইতিহাস সার্ভার UI এর URL http://ilum-history-server:9666
runtimeVars.jupyterUrl Jupyter UI এর URL http://ilum-jupyter:8888
runtimeVars.airflowUrl এয়ারফ্লো ইউআই এর URL http://ilum-webserver:8080
runtimeVars.minioUrl MINIO UI এর URL http://ilum-minio:9001
runtimeVars.mlflowUrl MLFLOW UI এর URL http://mlflow:5000
runtimeVars.historyServerPath Ilum-ui প্রক্সি পাথ টু হিস্ট্রি সার্ভার ইউআই /বহিরাগত/ইতিহাস-সার্ভার/
রানটাইমভার্স.জুপিটারপাথ ইলুম-ইউআই প্রক্সি পাথ টু জুপিটার ইউআই /বহিরাগত/জুপিটার/ল্যাব/ট্রি/ওয়ার্ক/ইলুমইন্ট্রো.আইপিএনবি
রানটাইমভার্স.এয়ারফ্লোপাথ ইলুম-ইউআই প্রক্সি পাথ টু এয়ারফ্লো ইউআই / বাহ্যিক / বায়ু প্রবাহ /
runtimeVars.dataPath ইলুম-ইউআই মিনিও ইউআইয়ের প্রক্সি পাথ /বাহ্যিক/মিনিও/
runtimeVars.mlflowPath ইলুম-ইউআই প্রক্সি পাথ টু এমএলফ্লো ইউআই / বাহ্যিক / এমএলফ্লো /

মানগুলি মুছে ফেলা হয়েছে - ইলুম-ইউআই

নাম কারণে
ডিবাগ রানটাইমভার্স বিভাগে সরানো হয়েছে
backenUrl রানটাইমভার্স বিভাগে সরানো হয়েছে
historyServerUrl রানটাইমভার্স বিভাগে সরানো হয়েছে
jupyterUrl রানটাইমভার্স বিভাগে সরানো হয়েছে
এয়ারফ্লো ইউআরএল রানটাইমভার্স বিভাগে সরানো হয়েছে

৪. ইলুম-এআইও চার্টে কুব-প্রমিথিউস-স্ট্যাক

বৈশিষ্ট্য

ইলুম এআইও চার্টে কুবে প্রমিথিউস স্ট্যাক। ইলাম পডগুলির মেট্রিক্স সংগ্রহ করতে ও ইলাম দ্বারা চালিত স্পার্ক জবগুলি সংগ্রহ করার জন্য স্বয়ংক্রিয়ভাবে ইলাম স্থাপনার সাথে কাজ করার জন্য প্রাক-কনফিগার করা। ইলাম ইলাম এবং ইলাম ব্যাকএন্ড পরিষেবাদি দ্বারা চালিত স্পার্ক ড্রাইভার পডগুলি থেকে স্বয়ংক্রিয়ভাবে মেট্রিকগুলি স্ক্র্যাপ করতে প্রমিথিউস পরিষেবা মনিটর সরবরাহ করে। অতিরিক্তভাবে, ilum_aio চার্টটি অন্তর্নির্মিত গ্রাফানা ড্যাশবোর্ড সরবরাহ করে যা এতে পাওয়া যাবে ইলুম ফোল্ডার।

মান যোগ করা হয়েছে - ইলুম-এআইও

Kube-prometheus-stack ভেরিয়েবল - বর্ধিত কনফিগারেশন চেক জন্য কুব-প্রমিথিউস স্ট্যাক হেলম চার্ট
নাম বর্ণনা মান
Kube-prometheus-stack.enabled কুব-প্রমিথিউস-স্ট্যাক সক্ষম পতাকা মিথ্যা
kube-prometheus-stack.releaseLabel কুবে-প্রমিথিউস-স্ট্যাক পতাকা শুধুমাত্র ilum_aio রিলিজ থেকে রিসোর্স দেখতে সত্য
kube-prometheus-stack.kubeStateMetrics.enabled কুব-প্রমিথিউস-স্ট্যাক কম্পোনেন্ট স্ক্র্যাপিং কুব স্টেট মেট্রিক্স সক্ষম পতাকা মিথ্যা
kube-prometheus-stack.nodeExporter.enabled Kube-prometheus-stack node Exporter Daemon সেট স্থাপনার পতাকা মিথ্যা
Kube-prometheus-stack.alertmanager.enabled Kube-prometheus-stack সতর্কতা ম্যানেজার পতাকা মিথ্যা
kube-prometheus-stack.grafana.sidecar.dashboards.folderAnnotation কুব-প্রমিথিউস-স্ট্যাক, যদি নির্দিষ্ট করা হয় তবে সাইডকার ফোল্ডার তৈরি করতে এবং এখানে গ্রাফ রাখতে এই নামের সাথে টীকা সন্ধান করবে grafana_folder
kube-prometheus-stack.grafana.sidecar.dashboards.provider.foldersFromFilesStructure Kube-prometheus-stack, গ্রাফিনাকে ফাইল সিস্টেম থেকে ড্যাশবোর্ড কাঠামো প্রতিলিপি করার অনুমতি দিন সত্য

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
জব.প্রমিথিউস.সক্ষম প্রমিথিউস সক্ষম পতাকা, যদি ইলুম দ্বারা পরিচালিত সত্যিকারের স্পার্ক জব প্রমিথিউস ফর্ম্যাটে মেট্রিকগুলি ভাগ করে নেবে সত্য

৫. ইলুম-এআইও চার্টে মার্কেজ ওপেন লিনিয়েজ

বৈশিষ্ট্য

ইলুম এআইও চার্টে মার্কেজ ওপেনলিনিয়েজ। মার্কেজ একটি সংস্থা জুড়ে ওপেনলিনেজ মেটাডেটা গ্রহণ, সঞ্চয় এবং ভিজ্যুয়ালাইজ করতে সক্ষম করে, ডেটা গভর্নেন্স, ডেটা কোয়ালিটি মনিটরিং এবং পারফরম্যান্স অ্যানালিটিক্স সহ ব্যবহারের ক্ষেত্রে পরিবেশন করা। ইলুম এআইও হেলম স্ট্যাক স্পার্ক জব ইলুম দ্বারা পরিচালিত মার্কেজ ব্যাকএন্ডের সাথে বংশের তথ্য ভাগ করে নেবে। মার্কেজ ওয়েব ইন্টারফেস স্পার্ক জব থেকে সংগৃহীত ডেটা লিয়েনেজ তথ্য ভিজ্যুয়ালাইজ করে এবং এটি আইফ্রেম হিসাবে ইলাম ইউআই এর মাধ্যমে অ্যাক্সেসযোগ্য।

মান যোগ করা হয়েছে - ইলুম-এআইও

নাম বর্ণনা মান
গ্লোবাল.লিনিয়েজ.এনাল্ড মার্কেজ সক্রিয় পতাকা মিথ্যা

মান যোগ করা হয়েছে - ইলুম-কোর

নাম বর্ণনা মান
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.টাইপ মার্কেজ যোগাযোগের ধরন এইচটিটিপি
job.openLineage.transport.serverUrl মার্কেজ ব্যাকএন্ড ইউআরএল http://ilum-marquez:9555/
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.এন্ডপয়েন্ট মার্কেজ ব্যাকএন্ড এন্ডপয়েন্ট / বাহ্যিক / বংশ / এপিআই / ভি 1 / বংশ

মান যোগ করা হয়েছে - ইলুম-মার্কেজ

নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্ট পৃষ্ঠা

মান যোগ করা হয়েছে - ইলুম-ইউআই

নাম বর্ণনা মান
runtimeVars.lineageUrl ইউআরএল মার্কেজ ওপেনলাইনেজ ইউআই আইফ্রেম সরবরাহ করার জন্য http://ilum-marquez-web:9444
রানটাইমভার্স.লিনিয়েজপাথ ইলুম-ইউআই প্রক্সি পাথ টু মার্কেজ ওপেনলাইনেজ ইউআই /বহিরাগত/বংশানুক্রমিক/

রিলিজ ৬.০.৩

1. ইলুম-কোর চার্টে প্যারামিটারাইজড কাফকা প্রযোজক সর্বোচ্চ.অনুরোধ.আকার পরামিতি

বৈশিষ্ট্য

কাফকা কমিউনিকেশন মোডে ইলুম ইন্টারেক্টিভ জব প্রতিক্রিয়া কাফকা প্রযোজকদের ব্যবহার করে ইন্টারেক্টিভ কাজের দৃষ্টান্ত। নতুন যুক্ত হেলম মান সর্বোচ্চ.অনুরোধ.আকারের কাফকা প্রযোজক প্যারামিটারটি প্রতিক্রিয়া আকারের প্রয়োজনীয়তার সাথে মেলে অভিযোজিত হতে পারে।

মান যোগ করা হয়েছে - ইলুম-কোর

কাফকা প্যারামিটার
নাম বর্ণনা মান
kafka.requestSize ইলুম জবস কাফকা প্রযোজকদের জন্য কাফকা ম্যাক্স.রিকোয়েস্ট.সাইজ প্যারামিটার 20000000

রিলিজ ৬.০.২

1. আইলুম-কোর চার্টে এইচডিএফএস, জিসিএস এবং অ্যাজুর ব্লব স্টোরেজের জন্য সমর্থন

বৈশিষ্ট্য

আইলাম ক্লাস্টারকে আর এস 3 স্টোরেজের সাথে সংযুক্ত করতে হবে না, এখন থেকে ডিফল্ট ক্লাস্টারটি স্টোরেজ হিসাবে এইচডিএফএস, জিসিএস অথবা অ্যাজুর ব্লব ব্যবহার করতে কনফিগার করা যেতে পারে। এটা আইলুম-কোর হেলম চার্টে নতুন যুক্ত হওয়া মানগুলি ব্যবহার করে অর্জন করা যেতে পারে।

মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর

নাম কারণে
kubernetes.s3.bucket এখন থেকে দুটি পৃথক বালতি নতুন মান সঙ্গে সেট করা আবশ্যক: kubernetes.s3.sparkBucket , kubernetes.s3.dataBucket

মান যোগ করা হয়েছে - ইলুম-কোর

Kubernetes স্টোরেজ প্যারামিটার
নাম বর্ণনা মান
kubernetes.upgradeClusterOnStartup কনফিগারেশন মানচিত্র পতাকায় মানগুলি থেকে ডিফল্ট কুবারনেটস ক্লাস্টার আপগ্রেড মিথ্যা
kubernetes.storage.type ডিফল্ট কুবারনেটস ক্লাস্টার স্টোরেজ টাইপ, উপলভ্য বিকল্পগুলি: এস৩ , জিসিএস , ওয়াবস , এইচডিএফএস এস৩
এস 3 কুবারনেটস স্টোরেজ পরামিতি
নাম বর্ণনা মান
kubernetes.s3.host স্পার্ক রিসোর্স স্টোর করার জন্য ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ হোস্ট এস৩
kubernetes.s3.port স্পার্ক সংস্থানগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ পোর্ট 7000
kubernetes.s3.sparkBucket স্পার্ক সংস্থানগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ বালতি ইলুম-ফাইল
kubernetes.s3.dataBucket ইলাম টেবিলগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ বালতি ইলাম-টেবিল
kubernetes.s3.accessKey স্পার্ক রিসোর্স স্টোর করার জন্য ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ অ্যাক্সেস কী ""
kubernetes.s3.secretKey ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ স্পার্ক সংস্থানগুলি সঞ্চয় করার জন্য গোপন কী ""
জিসিএস কুবারনেটস স্টোরেজ প্যারামিটার
নাম বর্ণনা মান
kubernetes.gcs.clientEmail default kubernetes cluster GCS Storage client email ""
kubernetes.gcs.sparkBucket ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ বালতি স্পার্ক সংস্থানগুলি সঞ্চয় করতে "ইলুম-ফাইলস"
kubernetes.gcs.dataBucket ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ বালতি ইলাম টেবিলগুলি সংরক্ষণ করতে "ইলাম-টেবিল"
kubernetes.gcs.privateKey ডিফল্ট kubernetes cluster GCS স্টোরেজ ব্যক্তিগত কী টু স্টোর স্পার্ক রিসোর্স ""
kubernetes.gcs.privateKeyId ডিফল্ট kubernetes cluster GCS স্টোরেজ ব্যক্তিগত কী আইডি টু স্টোর স্পার্ক রিসোর্স ""
WASBS Kubernetes স্টোরেজ পরামিতি
নাম বর্ণনা মান
kubernetes.wasbs.accountName ডিফল্ট kubernetes cluster WASBS স্টোরেজ অ্যাকাউন্টের নাম ""
kubernetes.wasbs.accessKey ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ অ্যাক্সেস কী স্পার্ক রিসোর্স সংরক্ষণ করতে ""
kubernetes.wasbs.sparkContainer.name ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম স্পার্ক সংস্থানগুলি সঞ্চয় করতে "ইলুম-ফাইলস"
kubernetes.wasbs.sparkContainer.sasToken ডিফল্ট kubernetes cluster WASBS স্টোরেজ container sas token to Store Spark Resources ""
kubernetes.wasbs.dataContainer.name ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম ইলাম টেবিলগুলি সংরক্ষণ করতে "ইলাম-টেবিল"
kubernetes.wasbs.dataContainer.sasToken ডিফল্ট kubernetes cluster WASBS স্টোরেজ container sas token to store ilum tables ""
এইচডিএফএস কুবারনেটস স্টোরেজ প্যারামিটার
নাম বর্ণনা মান
kubernetes.hdfs.hadoopUsername ডিফল্ট kubernetes cluster HDFS স্টোরেজ HADOOP ব্যবহারকারীর নাম ""
kubernetes.hdfs.config ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ডিক্ট কনফিগ ফাইলগুলির নাম কী এবং বেস 64 এনকোডেড সামগ্রীকে মান হিসাবে ব্যবহার করে ""
kubernetes.hdfs.sparkCatalog ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ক্যাটালগ স্পার্ক সংস্থানগুলি সঞ্চয় করতে "ইলুম-ফাইলস"
kubernetes.hdfs.dataCatalog আইলাম-টেবিলগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ক্যাটালগ "ইলাম-টেবিল"
kubernetes.hdfs.keyTab ডিফল্ট kubernetes cluster HDFS স্টোরেজ কীট্যাব ফাইল base64 এনকোডেড সামগ্রী ""
kubernetes.hdfs.principal ডিফল্ট kubernetes cluster HDFS স্টোরেজ প্রিন্সিপাল নাম ""
kubernetes.hdfs.krb5 ডিফল্ট kubernetes cluster HDFS স্টোরেজ krb5 ফাইল base64 এনকোডেড সামগ্রী ""
kubernetes.hdfs.trustStore ডিফল্ট kubernetes cluster HDFS storage trustStore ফাইল base64 এনকোডেড সামগ্রী ""
kubernetes.hdfs.logDirectory ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ডিরেক্টরি ইভেন্ট স্টোর করার পরম পথইতিহাস সার্ভারের জন্য লগ করুন ""

গুরুত্বপূর্ণ! নিশ্চিত হয়ে নিন যে এস 3 / জিসিএস বালতি বা ডাব্লুএএসবিএস পাত্রে ইতিমধ্যে তৈরি এবং পৌঁছানো যায়!

2. ইলাম-কোর হেলম চার্ট স্পার্ক ইতিহাস সার্ভার যোগ করা হয়েছে

বৈশিষ্ট্য

স্পার্ক হিস্ট্রি সার্ভার এখন থেকে আইলুম-কোরের সাথে স্থাপন করা যেতে পারে। ইতিহাস সার্ভার কনফিগারেশন প্রতিটি স্পার্ক কাজ ইলুম রান পাস করা হচ্ছে। ইতিহাস সার্ভার ইউআই এখন ইলুম ইউআই দ্বারা অ্যাক্সেস করা যেতে পারে। যদি সক্ষম করা থাকে তবে এটি কুবারনেটের সাথে কনফিগার করা ডিফল্ট কুবারনেটস ক্লাস্টার স্টোরেজ ব্যবহার করবে। [STORAGE_TYPE]। [প্যারামিটার] ইভেন্টলগ স্টোরেজ হিসাবে মানগুলি।

মান যোগ করা হয়েছে - ইলুম-কোর

ইতিহাস সার্ভার পরামিতি
নাম বর্ণনা মান
historyServer.enabled স্পার্ক ইতিহাস সার্ভার পতাকা সত্য
হিস্ট্রিসার্ভার.ইমেজ স্পার্ক ইতিহাস সার্ভারের চিত্র ইলাম / স্পার্ক-লঞ্চার: স্পার্ক -3.5.3
historyServer.address স্পার্ক ইতিহাস সার্ভারের ঠিকানা http://ilum-history-server:9666
ইতিহাসসার্ভার.পুলনীতি স্পার্ক ইতিহাস সার্ভার চিত্র টান নীতি IfNotPresent
historyServer.imagePullSecrets স্পার্ক ইতিহাস সার্ভার চিত্র টান রহস্য []
ইতিহাসসার্ভার.প্যারামিটার স্পার্ক ইতিহাস সার্ভার কাস্টম স্পার্ক প্যারামিটার []
হিস্ট্রিসার্ভার.রিসোর্সেস স্পার্ক ইতিহাস সার্ভার পড রিসোর্স
সীমা: 
মেমোরি: "500 মাইল"
অনুরোধ:
মেমোরি: "300 মাইল"
historyServer.service.type স্পার্ক ইতিহাস সার্ভার পরিষেবার ধরণ ক্লাস্টারআইপি
historyServer.service.port স্পার্ক ইতিহাস সার্ভার সার্ভিস পোর্ট 9666
historyServer.service.nodePort স্পার্ক ইতিহাস সার্ভার পরিষেবা নোডপোর্ট ""
historyServer.service.clusterIP স্পার্ক ইতিহাস সার্ভার পরিষেবা ক্লাস্টারআইপি ""
historyServer.service.loadBalancerIP স্পার্ক ইতিহাস সার্ভার পরিষেবা লোডব্যালেন্সারআইপি ""
historyServer.ingress.enabled স্পার্ক ইতিহাস সার্ভার প্রবেশের পতাকা মিথ্যা
historyServer.ingress.version স্পার্ক ইতিহাস সার্ভার প্রবেশ সংস্করণ "v1"
historyServer.ingress.className স্পার্ক ইতিহাস সার্ভার প্রবেশ শ্রেণীর নাম ""
historyServer.ingress.host স্পার্ক ইতিহাস সার্ভার প্রবেশ হোস্ট "হোস্ট"
historyServer.ingress.path স্পার্ক ইতিহাস সার্ভার প্রবেশের পথ "/(.*)"
historyServer.ingress.pathType স্পার্ক হিস্ট্রি সার্ভার ইনগ্রেস পাথটাইপ উপসর্গ
historyServer.ingress.annotations স্পার্ক ইতিহাস সার্ভার টীকা nginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 মি"
nginx.org/client-max-body-size: '৬০০ মিটার'

সতর্কতা

  1. নিশ্চিত হয়ে নিন যে HDFS logDirectory (helm value kubernetes.hdfs.logDirectory) /ilum/logs প্রত্যয় সহ কনফিগার করা স্পার্কক্যাটালগের পরম পথ! যেমন জন্য kubernetes.hdfs.sparkCatalog=spark-catalog put hdfs://name-node/user/username/spark-catalog/ilum/logs

৩. ইলাম-কোর চার্টে জব রিটেনশন

বৈশিষ্ট্য

কনফিগার করা ধরে রাখার সময়কালের মেয়াদ শেষ হওয়ার পরে আইলাম চাকরিগুলি মুছে ফেলা হবে

মান যোগ করা হয়েছে - ইলুম-কোর

চাকরি ধরে রাখার পরামিতি
নাম বর্ণনা মান
জব.রিটেইন.আওয়ার্স স্পার্ক জব রিটেনশন আওয়ার লিমিট 168