নোটগুলি আপগ্রেড করুন
নোট টেমপ্লেট
১. পরিবর্তন
বৈশিষ্ট্য:
বৈশিষ্ট্য বিবরণ
মান মুছে ফেলা হয়েছে - চার্টের নাম
| নাম | কারণে |
|---|
হেলম.ভ্যালু | হেলম মান অপসারণের কারণ |
মান যোগ করা হয়েছে - চার্টের নাম
মান বিভাগের বিবরণ
| নাম | বর্ণনা | মান |
|---|
হেলম.ভ্যালু | হেলম মান বিবরণ | ডিফল্ট মান |
নাম পরিবর্তন - চার্টের নাম
| পুরাতন নাম | নতুন নাম |
|---|
পুরাতন নাম | নতুন নাম |
⚠️⚠️⚠️ Warnings
মান পরিবর্তিত হয়েছে - চার্টের নাম
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
হেলম.ভ্যালু | পুরাতন মূল্য | নতুন মূল্য |
পরবর্তী মুক্তি
RELEASE 6.7.0
1. Airflow version update
বৈশিষ্ট্য:
Updated Airflow from version 3.1.1 to 3.1.6.
Values changed - helm_aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
airflow.airflowVersion | 3.1.1 | 3.1.6 |
airflow.images.airflow.tag | 3.1.1 | 3.1.6 |
airflow.apiServer.extraInitContainers[0].image | `ilum/airflow:3.1.1 | ilum/airflow:3.1.6 |
2. Added ClickHouse and Langfuse to ilum-aio
বৈশিষ্ট্য:
Added ClickHouse and Langfuse to ilum-aio as new modules. ClickHouse is a fast open-source OLAP database management system. Langfuse is an open source LLM engineering platform.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
clickhouse.enabled | Flag to enable ClickHouse deployment in ilum-aio | মিথ্যা |
langfuse.enabled | Flag to enable Langfuse deployment in ilum-aio | মিথ্যা |
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
runtimeVars.langfuseUrl | URL of the Langfuse instance | http://ilum-langfuse-web:3000 |
runtimeVars.langfusePath | Proxy path for Langfuse | /external/langfuse/ |
nginx.config.langfuse.enabled | Enable proxy for Langfuse | মিথ্যা |
nginx.config.http_cookie.langfuse.enabled | Enables cookie mapping for Langfuse | সত্য |
3. Configurable Scala version for default cluster
বৈশিষ্ট্য:
যুক্ত scalaVersion configuration option to the default cluster settings. This allows users to specify which Scala version their Spark jobs are run with, supporting both Scala 2.12 for spark 3.x and 2.13 for spark 4.x
Values added - helm_core
| নাম | বর্ণনা | মান |
|---|
kubernetes.defaultCluster.scalaVersion | Scala version for Spark jobs (SCALA_2_12 or SCALA_2_13) | SCALA_2_13 |
4. API token authentication system
বৈশিষ্ট্য:
Added "API token authentication system for internal and external service authentication."
Values added - helm_core
| নাম | বর্ণনা | মান |
|---|
security.api-token.enabled | Flag to enable API token authentication | মিথ্যা |
security.api-token.tokens | List of initial tokens | [] |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
ilum-core.security.api-token.enabled | Flag to enable API token authentication | মিথ্যা |
ilum-core.security.api-token.tokens | List of initial tokens | [{name: "superset", token: "initial-superset-token-for-engine-creation", permissions: ["SQLENGINE_CREATE"]}] |
5. Startup probe for Ilum-core
বৈশিষ্ট্য:
Added startup probe to the Ilum-core deployment. This allows the application to have sufficient time to start in constrained environments while maintaining quick readiness and liveness checks once started. The startup probe delays readiness and liveness probes until the application starts successfully.
Values added - helm_core
| নাম | বর্ণনা | মান |
|---|
startupProbe | Startup probe configuration for ilum-core container | See values.yaml for full structure |
startupProbe.failureThreshold | Number of failures before giving up (300 × 2s = 10 minutes max) | 300 |
startupProbe.periodSeconds | How often to perform the probe | 2 |
startupProbe.timeoutSeconds | Timeout for each probe request | 1 |
startupProbe.httpGet.path | HTTP path for startup probe | /actuator/health/liveness |
Values changed - helm_core
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
livenessProbe.initialDelaySeconds | 120 | 10 |
readinessProbe.initialDelaySeconds | 120 | 10 |
6. Disabled SASL in Kafka configuration
বৈশিষ্ট্য:
Disabled SASL authentication in the default Kafka configuration. This change simplifies the setup for users who do not require SASL authentication for their Kafka clusters. Users who need SASL can still enable it through custom configuration.
Values added - helm_aio
| নাম | বর্ণনা | মান |
|---|
kafka.listeners.interbroker.protocol | Interbroker protocol | PLAINTEXT |
kafka.listeners.controller.protocol | Controller protocol | PLAINTEXT |
kafka.kraft.clusterId | Kraft clusterId to prevent Bitnami chart upgrade failures | aWx1bS1kZWZhdWx0LWlkMQ |
RELEASE 6.6.2
1. Spark 4.x Upgrade - Scala 2.13 Migration
বৈশিষ্ট্য:
Updated default Spark images to ilum/spark:4.0.1-delta and ilum-spark-launcher to spark-4.1.0. Spark 4.x exclusively uses Scala 2.13 and has dropped support for Scala 2.12.
Values changed - helm_core
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
kubernetes.defaultCluster.dockerImage | ilum/spark:3.5.7-delta | ilum/spark:4.0.1-delta |
হিস্ট্রিসার্ভার.ইমেজ | spark-3.5.7 | spark-4.1.0 |
externalSparkSubmit.image.tag | spark-3.5.7 | spark-4.1.0 |
⚠️⚠️⚠️ CRITICAL WARNING - BREAKING CHANGE ⚠️⚠️⚠️
Spark 4.x uses Scala 2.13 exclusively. Scala 2.12 is NO LONGER SUPPORTED.
This is a BREAKING CHANGE that may affect your existing Spark jobs:
-
JAR Compatibility: Any Spark applications, libraries, or dependencies compiled with Scala 2.12 WILL NOT WORK with Spark 4.x. You must recompile all custom JARs with Scala 2.13.
-
Affected Components:
- Custom Spark applications (Scala-based)
- Third-party libraries compiled for Scala 2.12
- UDFs written in Scala
- কোন
.jar files built with scalaVersion := "2.12.x"
-
How to Identify Affected JARs:
- Check your
build.sbt বা pom.xmlজন্য scalaVersion settings
- JAR names often contain the Scala version suffix (e.g.,
myapp_2.12-1.0.jar)
- JARs with
_2.12 suffix need to be rebuilt with _2.13
-
Required Actions Before Upgrade:
- Inventory all custom Spark JARs in use
- Recompile all Scala-based applications with Scala 2.13
- Update all third-party dependencies to Scala 2.13 versions
- Test all jobs thoroughly in a staging environment
-
No Backwards Compatibility:
- Starting from this version, Ilum's Spark job wrapper uses Scala 2.13 exclusively
- Running Spark 3.x jobs compiled with Scala 2.12 is no longer supported
- আপনি MUST recompile all your Scala-based Spark jobs with Scala 2.13 before upgrading
-
PySpark Users: PySpark jobs are generally unaffected unless they use Scala-based UDFs or custom Scala libraries.
RECOMMENDATION: Test your workloads in a non-production environment before upgrading to this release.
2. Added environment variables support to default cluster configuration
বৈশিষ্ট্য:
Added support for configuring environment variables in the default cluster configuration. This allows users to set environment variables that will be applied to Spark jobs running on the default cluster. The SPARK_SUBMIT_OPTS environment variable is now configurable through Helm values instead of being hardcoded, providing better flexibility for JVM tuning and other environment-specific configurations.
Values added - helm_core
Default cluster environment variables configuration
| নাম | বর্ণনা | মান |
|---|
kubernetes.defaultCluster.environmentVariables | Environment variables for default cluster | {} |
kubernetes.defaultCluster.environmentVariables.SPARK_SUBMIT_OPTS | JVM options for Spark submit process | "-XX:MaxHeapSize=64m -XX:MaxMetaspaceSize=64m -Xss256k" |
3. Added Unity Catalog integration
বৈশিষ্ট্য:
যুক্ত helm_unity_catalog chart to provide Unity Catalog support as an optional catalog backend (similar to Hive Metastore and Nessie). Unity Catalog is disabled by default and can be enabled to provide unified governance for data and AI assets. The chart is integrated with the existing PostgreSQL database and MinIO S3 storage, with automatic JWT keypair generation for authentication.
Values added - helm_unity_catalog
| নাম | বর্ণনা | মান |
|---|
ilum-unity-catalog.enabled | Enables Unity Catalog deployment | মিথ্যা |
ilum-unity-catalog.server.enabled | Enables the Unity Catalog server | সত্য |
ilum-unity-catalog.server.db.type | Database backend type (file or postgresql) | postgresql |
ilum-unity-catalog.server.db.postgresqlConfig.host | PostgreSQL host | ilum-postgresql-hl |
ilum-unity-catalog.server.db.postgresqlConfig.port | PostgreSQL port | 5432 |
ilum-unity-catalog.server.db.postgresqlConfig.dbName | PostgreSQL database name | unitycatalog |
ilum-unity-catalog.server.db.postgresqlConfig.user | PostgreSQL username | ইলুম |
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretName | Secret containing PostgreSQL password | ilum-postgres-credentials |
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretKey | Key in secret for password | পাসওয়ার্ড |
ilum-unity-catalog.server.jwtKeypairSecret.create | Auto-generate JWT keypair for authentication | সত্য |
ilum-unity-catalog.storage.modelStorageRoot | S3 path for Unity Catalog model storage | s3a://ilum-data/unity-catalog/ |
ilum-unity-catalog.storage.credentials.s3[0].bucketPath | S3 bucket path | s3://ilum-data |
ilum-unity-catalog.storage.credentials.s3[0].region | S3 region | ইউএস-ইস্ট-১ |
ilum-unity-catalog.storage.credentials.s3[0].credentialsSecretName | Secret containing S3 credentials | ilum-minio |
ilum-unity-catalog.storage.credentials.s3[0].accessKeySecretKey | Key name for S3 access key in secret | root-user |
ilum-unity-catalog.storage.credentials.s3[0].secretKeySecretKey | Key name for S3 secret key in secret | root-password |
ilum-unity-catalog.ui.enabled | Enables Unity Catalog UI | মিথ্যা |
Values added - helm_core
| নাম | বর্ণনা | মান |
|---|
ilum-core.metastore.type | এতে সেট করুন unity to use Unity Catalog as metastore | মৌচাক |
ilum-core.metastore.unity.address | Unity Catalog server endpoint | http://unity-catalog-ilum-unity-catalog-server:8080 |
ilum-core.metastore.unity.warehouseDir | Unity Catalog warehouse directory | s3a://ilum-data/unity-catalog/ |
ilum-core.metastore.unity.s3Endpoint | S3 endpoint for Unity Catalog | http://ilum-minio:9000/ |
ilum-core.metastore.unity.s3PathStyleAccess | Enable S3 path-style access | সত্য |
ilum-core.metastore.unity.catalogName | Unity Catalog name in Spark | unity_catalog |
ilum-core.metastore.unity.config | Spark configuration for Unity Catalog integration | See values.yaml |
Values added - postgresExtensions
| নাম | বর্ণনা | মান |
|---|
postgresExtensions.databasesToCreate | যুক্ত unitycatalog database for Unity Catalog metadata | ...,nessie,unitycatalog |
⚠️⚠️⚠️ Warnings
- Unity Catalog requires PostgreSQL and S3-compatible storage to be enabled
- JWT keypairs are auto-generated on first deployment and stored in Kubernetes secrets
- When using Unity Catalog, set
ilum-core.metastore.type: unity to configure Spark integration
4. Added DuckDb and DuckLake to Ilum Core
বৈশিষ্ট্য:
Added DuckDb as an SQL executor and DuckLake as a metastore option in Ilum Core.
DuckDb is a fast and lightweight SQL engine that supports a wide range of data types and SQL features.
DuckLake is a distributed metastore for DuckDb, which provides options for multi-user access and data versioning.
Values added - ilum_core
| নাম | বর্ণনা | মান |
|---|
sql.duckdb.idleTimeout | Determines the time DuckDb connections are kept alive without activity | 1h |
sql.duckdb.ducklake.enabled | Enables DuckLake | সত্য |
sql.duckdb.ducklake.location | Location of the data in for the DuckLake | s3://ilum-ducklake/ |
sql.duckdb.ducklake.postgres.host | Host for the metastore postgres connection | `` |
sql.duckdb.ducklake.postgres.port | Port for the metastore postgres connection | 5432 |
sql.duckdb.ducklake.postgres.database | Database name for the metastore postgres connection | ducklake |
sql.duckdb.ducklake.postgres.user | Username for the metastore postgres connection | `` |
sql.duckdb.ducklake.postgres.password | Password for the metastore postgres connection | `` |
sql.duckdb.ducklake.s3.endpoint | S3 endpoint for the metastore data | `` |
sql.duckdb.ducklake.s3.region | S3 region for the metastore data | ইউএস-ইস্ট-১ |
sql.duckdb.ducklake.s3.keyId | S3 key id for the metastore data | `` |
sql.duckdb.ducklake.s3.secret | S3 secret for the metastore data | `` |
sql.duckdb.ducklake.s3.urlStyle | Url style to use for S3. Either পথ বা vhost | পথ |
sql.duckdb.ducklake.s3.ssl | Whether to use SSL for the S3 connection | মিথ্যা |
RELEASE 6.6.1
1. Ugraded JupyterHub experience
বৈশিষ্ট্য:
Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins পুরো নাম ওভাররাইড , and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.
Values added - helm_aio
| নাম | বর্ণনা | মান |
|---|
ilum-jupyterhub.enabled | Enables the curated Ilum JupyterHub chart | মিথ্যা |
Values added - helm_jupyterhub
| নাম | বর্ণনা | মান |
|---|
পুরো নাম ওভাররাইড | Override for the full resource name | ilum-jupyterhub |
সক্ষম | Chart enabled flag | মিথ্যা |
SSH configuration
| নাম | বর্ণনা | মান |
|---|
ssh.enabled | Enables the bundled SSH operator, service, and shared key workflow | মিথ্যা |
ssh.keysSecret | Secret that provides the stable host and authorized keys | ilum-jupyter-ssh-keys |
ssh.mode | SSH authentication mode: মাস্টার (shared authorized_keys from keysSecret) or per-user (individual secrets per user) | মাস্টার |
ssh.perUserSecretNameTemplate | Template for per-user secret names when using per-user mode | ssh-keys-{username} |
ssh.perUserAuthorizedKeysKey | Key name in per-user secrets containing authorized_keys | authorized_keys |
ssh.service.type | Type of service fronting port 2222 | নোডপোর্ট |
ssh.service.port | Port exposed for SSH traffic | 2222 |
ssh.service.targetPort | Target port for SSH traffic | 2222 |
ssh.service.nodePort | NodePort number (empty for auto-assignment) | "" |
ssh.service.clusterIP | ClusterIP address (empty for auto-assignment) | "" |
ssh.service.loadBalancerIP | LoadBalancer IP address | "" |
ssh.service.annotations | Annotations for the SSH service | {} |
ssh.service.prefix | Prefix for SSH service resources | ilum-jupyter-ssh |
ssh.sshdConfig.customConfig | Custom sshd_config lines | [] |
ssh.operatorImage.name | SSH operator image repository | docker.ilum.cloud/ilum-jupyterhub |
ssh.operatorImage.tag | SSH operator image tag | ssh-operator-4.3.1 |
ssh.extraEnv | Extra environment variables for SSH operator | [] |
Git configuration
| নাম | বর্ণনা | মান |
|---|
git.existingSecret | Credentials that allow the Git init job to seed the notebooks repository | ilum-git-credentials |
git.email | Git email for commits | ilum@ilum |
git.repository | গিট সংগ্রহস্থলের নাম | জুপিটার |
git.address | Gitea server address | ilum-gitea-http:3000 |
git.url | Gitea endpoint URL used to seed the ilum-jupyterhub org | http://ilum-gitea-http:3000 |
git.orgName | Organization managed by the git-init job | ilum-jupyterhub |
git.operatorImage.name | Git operator image repository | docker.ilum.cloud/ilum-jupyterhub |
git.operatorImage.tag | Git operator image tag | gitea-operator-4.3.1 |
git.secret.name | Secret containing credentials referenced by the operator | ilum-git-credentials |
git.secret.usernameKey | Key for username in the secret | ব্যবহারকারীর নাম |
git.secret.passwordKey | Key for password in the secret | পাসওয়ার্ড |
LDAP configuration
| নাম | বর্ণনা | মান |
|---|
ldap.enabled | Keeps the LDAP authenticator wired into Ilum JupyterHub | সত্য |
ldap.urls | LDAP server endpoints that front the Ilum directory | ["ldap://ilum-openldap:389"] |
ldap.base | Search base for Ilum users and groups | "dc=ilum,dc=cloud" |
ldap.username | Bind DN used for authentication | "cn=admin,dc=ilum,dc=cloud" |
ldap.password | Password for the bind DN | Not@SecurePassw0rd |
ldap.adminUsers | LDAP accounts with admin privileges in JupyterHub | ["ilumadmin","admin"] |
ldap.userSearchBase | Base DN where user entries live | "ou=people,dc=ilum,dc=cloud" |
ldap.userSearchFilter | Filter for user lookups | "UID={0}" |
ldap.groupSearchBase | Base DN where group entries live | "ou=groups,dc=ilum,dc=cloud" |
ldap.groupSearchFilter | Filter that matches members | "(member={0})" |
ldap.allowedGroups | Empty list allows all groups unless specified | [] |
ldap.userAttribute | User attribute for username | "ইউআইডি" |
ldap.fullnameAttribute | Attribute for user's full name | "সিএন" |
ldap.emailAttribute | Attribute for user's email | "মেইল" |
ldap.groupNameAttribute | Attribute for group name | "সিএন" |
ldap.groupMemberAttribute | Attribute for group membership | "member" |
ldap.useSsl | Use SSL for LDAP connection | মিথ্যা |
ldap.startTls | Use STARTTLS for LDAP connection | মিথ্যা |
ldap.lookupDn | Lookup DN before binding | সত্য |
Hub configuration
| নাম | বর্ণনা | মান |
|---|
hub.image.name | Hub image repository | docker.ilum.cloud/ilum-jupyterhub |
hub.image.tag | Hub image tag | jupyterhub-4.3.1 |
hub.contentSecurityPolicy.enabled | Turns the managed CSP header injection on/off | সত্য |
hub.contentSecurityPolicy.frameAncestors | Origins allowed to embed JupyterHub in an iframe | ["'self'","http://localhost:9777"] |
hub.gitInit.enabled | Runs the job that ensures the ilum-jupyterhub organization/repo exist | সত্য |
Singleuser runtime defaults
| নাম | বর্ণনা | মান |
|---|
singleuser.startupArgs.iopubDataRateLimit | Raised output bandwidth ceiling for Ilum workloads | 1000000000 |
singleuser.startupArgs.extraArgs | Additional CLI arguments forwarded to the user server | [] |
singleuser.nodeSelector | Architecture-agnostic placement (empty by default) | {} |
singleuser.tolerations | Allows scheduling on tainted nodes when needed | [] |
Image pull credentials
| নাম | বর্ণনা | মান |
|---|
imagePullSecret.create | Create the pull secret in-cluster | মিথ্যা |
imagePullSecret.automaticReferenceInjection | Auto-inject the created secret into JupyterHub workloads | সত্য |
imagePullSecret.registry | Registry host for the pull secret | "" |
imagePullSecret.username | Registry username for the pull secret | "" |
imagePullSecret.password | Registry password for the pull secret | "" |
imagePullSecret.email | Registry email for the pull secret | "" |
imagePullSecret.name | Existing secret name to reference instead of the autogenerated pull secret | "" |
চিত্রপুলসিক্রেটস | Additional pull secrets injected into all hub-managed pods | [] |
Values changed - helm_jupyterhub
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
singleuser.networkPolicy.allowedIngressPorts | [] | [2222] |
Instructions
- Keep
ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
- Ensure
ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
- To refresh the curated notebooks, update
helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.
⚠️⚠️⚠️ Warnings
-
Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.
-
Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.
2. Upgraded Livy compatible API to version 0.8.0
বৈশিষ্ট্য:
Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.
মান যোগ করা হয়েছে - ইলুম-কোর
Livy Compression Configuration
| নাম | বর্ণনা | মান |
|---|
livy.compression.enabled | Enable response compression for Livy endpoints | মিথ্যা |
Livy Server Configuration
| নাম | বর্ণনা | মান |
|---|
livy.server.version | Livy server version identifier | 0.8.0 |
livy.server.sendServerVersion | Send server version in response headers | মিথ্যা |
livy.server.allowCustomClasspath | Allow custom classpath in session creation | মিথ্যা |
Livy TTL Session Cleanup Configuration
| নাম | বর্ণনা | মান |
|---|
livy.ttl.checkPeriod | Background sweep period in milliseconds for checking expired sessions | 300000 |
livy.ttl.checkInitialDelay | Initial delay in milliseconds before first TTL background check | 60000 |
মান যোগ করা হয়েছে - ইলুম-এআইও
Same values as ইলুম-কোর but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).
⚠️⚠️⚠️ Important Notes
For most users: ✅ No action required. All new configuration options have safe defaults and are backward compatible.
Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.
Session Management: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.
3. Updated default Spark version and added autopause configuration
বৈশিষ্ট্য:
Updated default Spark version to 3.5.7-deltaমধ্যে kubernetes.defaultCluster.config .
Added spark.ilum.autopause: "true"করতে kubernetes.defaultCluster.config to set the default behavior of the autopause feature.
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
kubernetes.defaultCluster.config.spark.kubernetes.container.image | ilum/spark:3.5.6-delta | ilum/spark:3.5.7-delta |
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
kubernetes.defaultCluster.config.spark.ilum.autopause | Sets the default behavior of autopause feature | "সত্যি" |
1. HTTP cookie-based access control now disabled by default
বৈশিষ্ট্য:
Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).
What Changed?
- External services are now open by default - no cookie requirements
- All users can access services without any special configuration
- System works out-of-the-box
What This Means for You
- ✅ Your services will become more accessible
- ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
- ✅ No action required for most deployments
If you need to restrict access:
- Use the built-in OAuth2/Hydra authentication (recommended for production)
- Or manually enable cookie-based access control per service (see below)
When to Use Cookie-Based Access Control?
This is an advanced feature for specific use cases:
- ✅ Temporary access restrictions for specific users/sessions
- ✅ Custom access control integrated with your frontend application
To enable for a specific service:
nginx:
কনফিগার :
http_cookie:
সক্ষম : সত্য
ilum-jupyter:
সক্ষম : সত্য
Values changed - ilum-ui
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
nginx.config.http_cookie.enabled | সত্য | মিথ্যা |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
ilum-ui.nginx.config.http_cookie.enabled | সত্য | মিথ্যা |
⚠️⚠️⚠️ Important Notes
For most users: ✅ No action required. This change makes services more accessible.
If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.
RELEASE 6.6.0
1. Upgraded Apache Airflow to 3.1.1
বৈশিষ্ট্য:
Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
airflow.airflowVersion | 3.0.5 | 3.1.1 |
airflow.images.airflow.tag | 3.0.5 | 3.1.1 |
airflow.apiServer.extraInitContainers[0].image | ilum/airflow:3.0.5 | ilum/airflow:3.1.1 |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
airflow.migrateDatabaseJob.useHelmHooks | Disable Helm hooks for database migration job | মিথ্যা |
airflow.apiServer.extraInitContainers[0] | Modified create admin user init container | See below |
airflow.apiServer.apiServerConfigConfigMapName | Custom webserver_config.py configmap | ilum-api-server-config |
Init Container Volume Mount Configuration
- নাম : create- অ্যাডমিন - ব্যবহারকারী
প্রতিচ্ছবি : ilum/airflow: 3.1.1
command: [ "/bin/bash", "/scripts/init.sh"]
ভলিউম মাউন্ট :
- নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
মাউন্ট পাথ : /scripts
- নাম : কনফিগার
মাউন্ট পাথ : /opt/airflow/airflow.cfg
সাবপাথ : airflow.cfg
- নাম : আউথ - রহস্য - volume
মাউন্ট পাথ : /opt/airflow/client- রহস্য
readOnly: সত্য
- নাম : webserver- কনফিগার - volume
মাউন্ট পাথ : /opt/airflow/webserver_config.py
সাবপাথ : webserver_config.py
readOnly: সত্য
⚠️⚠️⚠️ Warnings
Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config.
But the name of this configMap must follow pattern <release-name>-api-server-config to be properly mounted as it is Airflow's chart requirement.
So if your release name is different from ইলুম , please change this value accordingly. For example use:
airflow:
apiServer:
apiServerConfigConfigMapName: <আপনার - release- নাম > - এপিআই - সার্ভার - কনফিগার
extraVolumes:
- নাম : আউথ - রহস্য - volume
রহস্য :
গোপন নাম : ইলুম - হাইড্রা - ক্লায়েন্ট - রহস্য
- নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
রহস্য :
গোপন নাম : ইলুম - airflow- create- ব্যবহারকারী - রহস্য
- নাম : webserver- কনফিগার - volume
configMap :
নাম : <আপনার - release- নাম > - এপিআই - সার্ভার - কনফিগার
2. Enhanced Jupyter startup configuration
বৈশিষ্ট্য:
Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.
মান যোগ করা হয়েছে - ইলুম-জুপিটার
Startup and environment configuration
| নাম | বর্ণনা | মান |
|---|
token | Jupyter notebook authentication token | "" |
startupArgs.baseUrl | Jupyter base URL path for reverse proxy configurations | /external/jupyter/ |
startupArgs.iopubDataRateLimit | IOPub data rate limit in bytes/sec (controls output bandwidth) | 1000000000 |
startupArgs.extraArgs | Additional command-line arguments to pass to Jupyter server | [] |
extraEnv | Additional environment variables for Jupyter container as string template | "" |
⚠️⚠️⚠️ Warnings
- All startup arguments configured via
startupArgs.* can be completely overridden by setting the আর্গস parameter in values.yaml. When আর্গস is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
- ঐ
extraEnv parameter accepts a string template (multiline YAML using | ). Example usage:
extraEnv: |
- name: MY_VAR
value: value
3. Added Apache NiFi module
বৈশিষ্ট্য:
Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
nifi.enabled | Flag to enable NiFi deployment in ilum-aio | মিথ্যা |
nifi.fullnameOverride | Full name override for NiFi | ilum-nifi |
nifi.image.tag | Tag of the source NiFi image | 2.5.0 |
nifi.properties.safetyValve | Additional properties passed to nifi.properties | See মূল্যবোধ.ইয়ামল |
nifi.persistence.enabled | Enables PVC for the data directory | সত্য |
nifi.persistence.subpath.enabled | Enabled one PVC instead of many | সত্য |
nifi.persistence.subpath.size | Size of the data directory | 10Gi |
nifi.zookeeper.enabled | Enables bundled Zookeeper deployment | মিথ্যা |
nifi.registry.enabled | Enables bundled NiFi registry deployment | মিথ্যা |
nifi.ca.enabled | Enables bundled CA deployment | মিথ্যা |
nifi.openldap.enabled | Enables bundled openLDAP deployment | মিথ্যা |
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
runtimeVars.nifiUrl | URL of the NiFi instance | http://ilum-nifi:8443/nifi/ |
runtimeVars.nifiPath | Proxy path of NiFi | /external/nifi/ |
nginx.config.nifi.enabled | Enable proxy for NiFi | মিথ্যা |
nginx.config.http_cookie.nifi.enabled | Enables cookie mapping for NiFi | সত্য |
বৈশিষ্ট্য:
Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
metastore.type | Indicates the default metastore | মৌচাক |
metastore.nessie.address | The address of the default Nessie metastore | http://ilum-nessie:19120/api/v2 |
metastore.nessie.warehouseDir | The location of the warehouse of the default Nessie metastore | s3a://ilum-data/nessie_catalog |
metastore.nessie.s3Endpoint | The S3 API endpoint to use for the default Nessie metastore | http://ilum-minio:9000 |
metastore.nessie.s3PathStyleAccess | Whether to use path style access for the S3 Nessie connection | সত্য |
metastore.nessie.authType | Auth type of the default Nessie metastore | NONE |
metastore.nessie.ref | The branch to use for the default Nessie metastore | মূল |
metastore.nessie.cacheEnabled | Enables caching in the default Nessie metastore | মিথ্যা |
metastore.nessie.catalog_name | The name of the catalog for the default Nessie metastore | nessie_catalog |
metastore.nessie.config | Additional config to add for the Spark job | See মূল্যবোধ.ইয়ামল |
metastore.nessie.statusProbe | Status probe for the Nessie metastore, so Ilum-core does not launch too quickly | See মূল্যবোধ.ইয়ামল |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
nessie.enabled | Enables or disables bundled Nessie deployment | মিথ্যা |
nessie.fullnameOverride | Full name override for Nessie | ilum-nessie |
nessie.versionStoreType | Type of persistent metadata storage | JDBC2 |
nessie.extraInitContainers | Adds init containers to Nessie (waiting for database) | See মূল্যবোধ.ইয়ামল |
nessie.jdbc.jdbcUrl | Url for DB connection | jdbc:postgresql://ilum-postgresql-hl:5432/nessie |
nessie.jdbc.secret.name | Secret containing DB credentials | ilum-postgres-credentals |
nessie.jdbc.secret.username | Key of username in the secret | ব্যবহারকারীর নাম |
nessie.jdbc.secret.password | Key of password in the secret | পাসওয়ার্ড |
নাম পরিবর্তন - ইলুম-কোর
| পুরাতন নাম | নতুন নাম |
|---|
হাইভমেটাস্টোর.সক্ষম | metastore.enabled |
hiveMetastore.* | metastore.hive.* |
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
kubernetes.defaultCluster.config | See মূল্যবোধ.ইয়ামল | See মূল্যবোধ.ইয়ামল |
⚠️ ⚠️⚠️ Warnings
This is an important change that will need to be addressed if any custom changes to the default configuration were made.
Please carefully review the changes and make sure they will not break your deployment.
5. Livy API now fully served by ilum-core (embedded)
বৈশিষ্ট্য:
Livy API is implemented and served directly by ইলুম-কোর (embedded).
The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
ilum-core.livy.enabled | Enables embedded Livy integration in AIO via ইলুম-কোর | সত্য |
ilum-core.livy.ilumUI.publicEndpoint | Public endpoint of ilum-ui used for Livy links/integration | http://localhost:9777 |
ilum-livy-proxy.legacy.enabled | Turns on the legacy Livy proxy resources (ConfigMap/Deployment/etc.) | মিথ্যা |
⚠️⚠️⚠️ Warnings
- ঐ compat Service(
ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
- ঐ legacy proxy is also deprecated and will be removed after the transition period.
- Mode matrix (AIO):
ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call ইলুম-কোর directly.
ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new ইলুম-কোর Livy API.
ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
- When legacy is enabled, update client endpoints to use the legacy Service:
ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
- Airflow connection:
AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
- Some resources (e.g., ConfigMap/Ingress) are rendered based on
ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled ).
6. Added cronjob cleaning after uninstalling
বৈশিষ্ট্য:
A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
cronjob.cleanup.enabled | Enable cronjob cleanup after uninstalling the chart | সত্য |
cronjob.cleanup.image | Image used for the cleanup job | alpine/kubectl:1.34.1 |
RELEASE 6.5.2
1. SSH mode implementation for helm_jupyter
বৈশিষ্ট্য:
SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.
Values added - helm_jupyter
SSH access configuration
| নাম | বর্ণনা | মান |
|---|
ssh.enabled | Enable SSH access in the Jupyter container | সত্য |
ssh.keysSecret | Name of the secret containing SSH keys | ilum-jupyter-ssh-keys |
ssh.service.type | SSH service type | নোডপোর্ট |
ssh.service.port | SSH service port | 2222 |
ssh.service.nodePort | SSH service node port (when service type is NodePort) | "" |
ssh.service.clusterIP | SSH service cluster IP | "" |
ssh.service.loadBalancerIP | SSH service load balancer IP | "" |
ssh.service.annotations | SSH service annotations | {} |
ssh.sshdConfig.customConfig | Custom SSH server configuration | [] |
⚠️⚠️⚠️ Warnings
- SSH server runs directly in the main Jupyter container on port 2222 internally
- SSH keys must be provided via a Kubernetes Secret referenced by
ssh.keysSecret parameter
- The secret should contain both SSH host keys and authorized_keys for authentication
- SSH access provides direct access to the
/home/jovyan/work directory (same as web interface)
- Custom SSH server configuration can be provided via
ssh.sshdConfig.customConfig array
2. Address Bitnami’s move to bitnamilegacy+ bitnamisecure
বৈশিষ্ট্য:
Bitnami has moved to bitnamilegacy+ bitnamisecure for their images after the 18th of August 2025.
This change moves used images to the new repositories.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
global.security.allowInsecureImages | Allows images from outside of bitnami repository in Bitnami's charts | সত্য |
kafka.image.repository | Repository for Kafka's image | bitnamilegacy/kafka |
minio.image.repository | Repository for Minio's image | bitnamilegacy/minio |
mlflow.image.repository | Repository for MlFlow's image | bitnamilegacy/mlflow |
postgresql.image.repository | Repository for Postgresql's image | bitnamilegacy/postgresql |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
airflowExtensions.git.image | বিটনামি/গিট:2.48.1 | bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546 |
postgresExtensions.image | বিটনামি / পোস্টগ্রেএসকিউএল: 16 | bitnamilegacy/postgresql:16 |
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
kafka.statusProbe.image | বিটনামি/কাফকা:৩.৪.১ | bitnamilegacy/kafka:3.4.1 |
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
postgresql.image | বিটনামি / পোস্টগ্রেএসকিউএল: 16 | bitnamilegacy/postgresql:16 |
Values changed - ilum-jupyter
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
git.init.image | বিটনামি/গিট:2.48.1 | bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546 |
Values changed - ilum-marquez
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
marquez.db.image | বিটনামি / পোস্টগ্রেএসকিউএল: 16 | bitnamilegacy/postgresql:16 |
1. Updated Airflow defaults in ilum-aio
বৈশিষ্ট্য:
Bumped Airflow to 3.0.5 and streamlined default connection/env configuration.
Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
airflow.enableBuiltInSecretEnvVars.AIRFLOW__CORE__FERNET_KEY | Enable default fernet key generation | মিথ্যা |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
airflow.extraEnv | See মূল্যবোধ.ইয়ামল | See মূল্যবোধ.ইয়ামল |
airflow.airflowVersion | 3.0.3 | 3.0.5 |
airflow.images.airflow.tag | 3.0.3 | 3.0.5 |
airflow.apiServer.extraInitContainers[0].image | ilum/airflow:3.0.3 | ilum/airflow:3.0.5 |
Values deleted - ilum-aio
| নাম | কারণে |
|---|
airflow.scheduler.args | Revert to chart default scheduler command as we manage connections via env variables now |
airflow.cleanup.enabled | Use executor's instant cleanup |
airflow.config.kubernetes_executor.delete_worker_pods | Use chart defaults |
airflow.config.kubernetes_executor.delete_worker_pods_on_failure | Use chart defaults |
⚠️⚠️⚠️ Warnings
As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default.
To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.
3. Added configurable HTTP cookie mappings in ilum-ui
বৈশিষ্ট্য:
Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.
মান যোগ করা হয়েছে - ইলুম-ইউআই
HTTP cookie mapping configuration
| নাম | বর্ণনা | মান |
|---|
nginx.config.http_cookie.enabled | Global flag to enable HTTP cookie mappings | সত্য |
nginx.config.http_cookie.historyServer.enabled | Enable cookie mapping for history server access | সত্য |
nginx.config.http_cookie.mlflow.enabled | Enable cookie mapping for MLflow access | সত্য |
nginx.config.http_cookie.ilum-jupyter.enabled | Enable cookie mapping for Jupyter notebook access | সত্য |
nginx.config.http_cookie.gitea.enabled | Enable cookie mapping for Gitea access | সত্য |
nginx.config.http_cookie.n8n.enabled | Enable cookie mapping for n8n access | সত্য |
nginx.config.http_cookie.minio.enabled | Enable cookie mapping for MinIO access | সত্য |
nginx.config.http_cookie.airflow.enabled | Enable cookie mapping for Airflow access | সত্য |
nginx.config.http_cookie.superset.enabled | Enable cookie mapping for Superset access | সত্য |
nginx.config.http_cookie.grafana.enabled | Enable cookie mapping for Grafana access | সত্য |
nginx.config.http_cookie.kestra.enabled | Enable cookie mapping for Kestra access | সত্য |
nginx.config.http_cookie.mageai.enabled | Enable cookie mapping for Mage AI access | সত্য |
4. PostgreSQL Max Connections Configuration
বৈশিষ্ট্য:
Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.
মান যোগ করা হয়েছে - ইলুম-এআইও
PostgreSQL configuration
| নাম | বর্ণনা | মান |
|---|
postgresql.primary.extendedConfiguration | Extended PostgreSQL configuration to set max_connections parameter | max_connections = 1000 |
RELEASE 6.4.3
1. Added Mage to ilum-aio
বৈশিষ্ট্য:
Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
mageai.enabled | Flag to enable Mage OSS deployment in ilum-aio | মিথ্যা |
mageai.fullnameOverride | Overrides the full name of the Mage deployment | ilum-mageai |
mageai.image.repository | Repository of the source Mage image | ilum/mageai |
mageai.image.tag | Tag of the source Mage image | 0.9.76 |
mageai.rootPath | The root path for the Mage web server | external/mageai |
mageai.service.type | Type of Mage's kubernetes service | ক্লাস্টারআইপি |
mageai.redis.enabled | Enables Redis for the Mage deployment | মিথ্যা |
mageai.postgresql.enabled | Enables external Postgres for Mage | সত্য |
mageai.postgresql.deploy | Deploys external Postgres for Mage | মিথ্যা |
mageai.postgresql.fullnameOverride | The name of the Postgres service | ilum-postgresql-hl |
mageai.postgresql.auth.username | Username of the Postgres user | ইলুম |
mageai.postgresql.auth.password | Password of the Postgres user | দয়া করে আমাকে পরিবর্তন করুন |
mageai.postgresql.auth.database | The database Mage should use | mageai |
mageai.persistence.enabled | Enables PVC for the main data directory | সত্য |
2. Updated Airflow’s chart and values to support Airflow 3.0
বৈশিষ্ট্য:
Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
airflow.airflowVersion | Sets chart compatibility for given Airflow version | 3.0.3 |
airflow.apiServer.* | apiServer replaces webserver settings | See মূল্যবোধ.ইয়ামল |
airflow.config.core.auth_manager | Class of auth manager used in Airflow | airflow.providers.fab.auth_manager.fab_auth_manager.FabAuthManager |
airflow.config.api.base_url | The base path of the Airflow web app | http://localhost:9777/external/airflow |
airflow.config.api.enable_xcom_deserialize_support | Enables XCom deserialization in Airflow API | সত্য |
airflow.config.logging.colored_console_log | Enables colored console log in Airflow | সত্য |
airflow.config.kubernetes_executor.delete_worker_pods | Enables instant deletion of worker pods | False |
airflow.config.kubernetes_executor.delete_worker_pods_on_failure | Enables instant deletion of failed worker pods | False |
airflow.cleanup.enabled | Enables periodic deletion of worker pods | সত্য |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
airflow.images.airflow.tag | 2.9.3 | 3.0.3 |
airflow.executor | LocalKubernetesExecutor | KubernetesExecutor |
airflow.extraEnv | See মূল্যবোধ.ইয়ামল | See মূল্যবোধ.ইয়ামল |
airflow.webserver.extraInitContainers | See মূল্যবোধ.ইয়ামল | See মূল্যবোধ.ইয়ামল |
Values deleted - ilum-aio
| নাম | কারণে |
|---|
airflow.migrateDatabaseJob.useHelmHooks | Revert to chart default |
Values changed - ilum-ui
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
runtimeVars.airflowUrl | http://ilum-airflow-webserver:8080 | http://ilum-airflow-api-server:8080 |
⚠️⚠️⚠️ Warnings
Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment.
Please review the new values and adjust your configuration accordingly.
If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration,
as Helm is likely to not be able to automatically migrate the values.
3. Added securityContext configuration for ilum charts
বৈশিষ্ট্য:
Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
securityContext.pod.runAsNonRoot | Run container as non-root user | সত্য |
securityContext.pod.runAsUser | User ID to run the container | 1001 |
securityContext.pod.runAsGroup | Group ID to run the container | 1001 |
securityContext.pod.fsGroup | File system group ID | 1001 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | মিথ্যা |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | মিথ্যা |
securityContext.container.runAsNonRoot | Run container as non-root user | সত্য |
securityContext.container.runAsUser | User ID to run the container | 1001 |
securityContext.container.runAsGroup | Group ID to run the container | 1001 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
securityContext.pod.runAsNonRoot | Run pod as non-root user | সত্য |
securityContext.pod.runAsUser | User ID to run the pod | 101 |
securityContext.pod.runAsGroup | Group ID to run the pod | 101 |
securityContext.pod.fsGroup | File system group ID | 101 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | মিথ্যা |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | মিথ্যা |
securityContext.container.runAsNonRoot | Run container as non-root user | সত্য |
securityContext.container.runAsUser | User ID to run the container | 101 |
securityContext.container.runAsGroup | Group ID to run the container | 101 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
মান যোগ করা হয়েছে - ইলুম-জুপিটার
| নাম | বর্ণনা | মান |
|---|
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | মিথ্যা |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | মিথ্যা |
securityContext.container.runAsNonRoot | Run container as non-root user | সত্য |
securityContext.container.runAsUser | User ID to run the container | 1000 |
securityContext.container.runAsGroup | Group ID to run the container | 100 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.initContainer.allowPrivilegeEscalation | Allow privilege escalation for init container | মিথ্যা |
securityContext.initContainer.readOnlyRootFilesystem | Read-only root filesystem for init container | মিথ্যা |
securityContext.initContainer.runAsNonRoot | Run init container as non-root user | মিথ্যা |
securityContext.initContainer.runAsUser | User ID to run the init container | 0 |
securityContext.initContainer.runAsGroup | Group ID to run the init container | 0 |
securityContext.initContainer.capabilities.drop | Capabilities to drop for init container | ["ALL"] |
securityContext.initContainer.seccompProfile.type | Seccomp profile type for init container | Unconfined |
মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি
| নাম | বর্ণনা | মান |
|---|
securityContext.pod.runAsNonRoot | Run pod as non-root user | সত্য |
securityContext.pod.runAsUser | User ID to run the pod | 1001 |
securityContext.pod.runAsGroup | Group ID to run the pod | 1001 |
securityContext.pod.fsGroup | File system group ID | 1001 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | মিথ্যা |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | মিথ্যা |
securityContext.container.runAsNonRoot | Run container as non-root user | সত্য |
securityContext.container.runAsUser | User ID to run the container | 1001 |
securityContext.container.runAsGroup | Group ID to run the container | 1001 |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
মান যোগ করা হয়েছে - ইলুম-এআইও
Added securityContext configuration for postgresExtensions
| নাম | বর্ণনা | মান |
|---|
postgresExtensions.securityContext.pod.runAsNonRoot | Run pod as non-root user | সত্য |
postgresExtensions.securityContext.pod.runAsUser | User ID to run the pod | 999 |
postgresExtensions.securityContext.pod.runAsGroup | Group ID to run the pod | 999 |
postgresExtensions.securityContext.pod.fsGroup | File system group ID | 999 |
postgresExtensions.securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
postgresExtensions.securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | মিথ্যা |
postgresExtensions.securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | মিথ্যা |
postgresExtensions.securityContext.container.runAsNonRoot | Run container as non-root user | সত্য |
postgresExtensions.securityContext.container.runAsUser | User ID to run the container | 999 |
postgresExtensions.securityContext.container.runAsGroup | Group ID to run the container | 999 |
postgresExtensions.securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
postgresExtensions.securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
RELEASE 6.4.2
1. changed openldap chart provider to jp-gouin's
বৈশিষ্ট্য:
Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS.
Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
security.ldap.userMapping.enabled | এসএন | employeeType |
security.ldap.userMapping.enabledValue | ~ | active |
security.ldap.password | অ্যাডমিন | Not@SecurePassw0rd |
মান যোগ করা হয়েছে - ইলুম-এআইও
Added new values for openldap configuration
| নাম | বর্ণনা | মান |
|---|
global.ldapDomain | Domain of the LDAP configuration | ilum.cloud |
openldap.replicaCount | Replica count of openLDAP | 1 |
openldap.replication.enabled | Enable HA for openLDAP | মিথ্যা |
openldap.ltb-passwd.enabled | Enable ltb-passwd service | মিথ্যা |
openldap.phpldapadmin.enabled | Enable PhpLdapAdmin | মিথ্যা |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
openldap.env.LDAP_BACKEND | hdb | mdb |
openldap.customLdifFiles | see মূল্যবোধ.ইয়ামল | see মূল্যবোধ.ইয়ামল |
Values deleted - ilum-aio
| নাম | কারণে |
|---|
openldap.env.LDAP_ORGANISATION | Managed by the chart |
openldap.env.LDAP_DOMAIN | Managed by the chart |
openldap.env.LDAP_TLS | Managed by the chart |
openldap.env.LDAP_TLS_ENFORCE | Managed by the chart |
RELEASE 6.4.1
1. Adapt hydra to https
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
global.security.hydra.uiDomain | Domain where ilum-ui can be accessed from browser | `` |
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউআইপ্রোটোকল | Protocol used to access ilum-ui: এইচটিটিপি বা এইচটিটিপিএস | এইচটিটিপি |
Values deleted - ilum-aio
| নাম | কারণে |
|---|
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল | সঙ্গে প্রতিস্থাপিত uiDomain এবং uiProtocol |
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
hydra.cookies.same_site_mode | SameSite value for hydra cookies in set-cookie header | ঢিলেঢ |
2. Added openldap to helm chart and ilum-to-ldap synchronization
মান যোগ করা হয়েছে - ইলুম-এআইও
Added openldap configuration values
| নাম | বর্ণনা | মান |
|---|
openldap.enabled | Flag used to enable openldap | মিথ্যা |
openldap.adminPassword | Password of admin ldap user | অ্যাডমিন |
openldap.fullnameOverride | Name of Openldap helm chart resources | ilum-openldap |
openldap.persistence.enabled | Flag to enable persistence by openldap | সত্য |
openldap.persistence.size | Memory used by openldap for storage | 1Gi |
openldap.env.LDAP_ORGANIZATION | Organization name of main ldap domain | ইলুম |
openldap.env.LDAP_DOMAIN | Main domain used in ldap by admin | ilum.cloud |
openldap.env.LDAP_BACKEND | Type of ldap backend | hdb |
openldap.env.LDAP_TLS | Flag used to enable TLS in ldap | মিথ্যা |
openldap.env.LDAP_TLS_ENFORCE | Flag used to enforce TLS in ldap | মিথ্যা |
openldap.env.LDAP_REMOVE_CONFIG_AFTER_SETUP | Flag used to update config | সত্য |
openldap.customLdifFiles.schemas.ldif | File with custom schem applied at the startup | <initial-schema.ldif> |
মান যোগ করা হয়েছে - ইলুম-কোর
Added configurations for synchronization of ldap with ilum
| নাম | বর্ণনা | মান |
|---|
security.ldap.ilumToLdapSync | Flag used to enable ilum to ldap sync | মিথ্যা |
security.ldap.userMapping.oc | OC values used during insertion of ilum users into ldap | <default-oc-list> |
security.ldap.groupMapping.oc | OC values used during insertion of ilum groups into ldap | <default-oc-list> |
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
security.ldap.urls | [] | [ "ldap://ilum-openldap:389" ] |
security.ldap.base | "" | dc=ilum,dc=cloud |
security.ldap.username | "" | cn=admin,dc=ilum,dc=cloud |
security.ldap.password | "" | অ্যাডমিন |
security.ldap.adminUsers | [ "admin" ] | [ "admin", "ilumadmin" ] |
security.ldap.userMapping.base | "" | উ = মানুষ |
security.ldap.userMapping.fullname | "" | সিএন |
security.ldap.userMapping.description | "" | বর্ণনা |
security.ldap.userMapping.email | "" | মেইল |
security.ldap.userMapping.enabled | "" | এসএন |
security.ldap.userMapping.base | "" | ou=groups |
security.ldap.userMapping.description | "" | বর্ণনা |
3. Restricted RBAC Mode for ilum-core service
বৈশিষ্ট্য:
Introduced a new rbac.restricted.enabled flag in the ইলুম-কোর chart. When set to সত্য , this option applies a more restrictive set of RBAC permissions for the service account.
This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.
মান যোগ করা হয়েছে - ইলুম-কোর
Added a flag to enable a more restrictive RBAC configuration.
| নাম | বর্ণনা | মান |
|---|
rbac.restricted.enabled | If true, applies a more restrictive, non-cluster-wide set of RBAC permissions for Spark applications. | মিথ্যা |
4. Added সক্ষম flag to Trino in ilum-sql
বৈশিষ্ট্য:
যুক্ত সক্ষম flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it.
This also will help ilum-ui with the configuration of Trino.
Values added - ilum-sql
| নাম | বর্ণনা | মান |
|---|
config.trino.enabled | Flag to enable Trino in ilum-sql | মিথ্যা |
⚠️⚠️⚠️ Warnings
Trino was enabled by default, so if you wish to enable it after the version upgrade,
you need to set ilum-sql.config.trino.enabledকরতে সত্য আপনার মাথায় মূল্যবোধ।
RELEASE 6.4.0
1. Addition of OAuth Provider and its integration with Services
বৈশিষ্ট্য:
Added Hydra deployment to helm chart and fields to configure it
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
গ্লোবাল.সিকিউরিটি.হাইড্রা.সক্ষম | Flag to enable hydra | মিথ্যা |
গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল | Ilum UI url required to configure OpenID connect | `` |
global.security.hydra.clientId | Client Id of OpenID client created in hydra | ilum-ক্লায়েন্ট |
global.security.hydra.cliendSecret | Client Secret of OpenId Client created in hydra | রহস্য |
hydra.dsn | DSN for database used by hydra | postgres://ilum:CHANGEMEPLEASE@ilum-postgresql:5432/hydra?sslmode=disable |
hydra.secretsSystem | Secret used by hydra to securily store data | দয়া করে আমাকে পরিবর্তন করুন |
hydra.recreateClient | Boolean flag for OpenId client recreation during hydra startup | সত্য |
hydra.resources.requests | Memory and CPU limits and requests used by hydra deployment | নাল |
hydra.imagePullPolicy | Hydra container image pull policy | IfNotPresent |
hydra.service.domain | Domain used by hydra service | ilum-hydra |
hydra.service.publicPort | Port that exposes public api of hydra | 4444 |
hydra.service.adminPort | Port that exposes admin api of hydra | 4445 |
hydra.service.type | Hydra service type | ক্লাস্টারআইপি |
hydra.service.publicNodePort | Hydra service node port assigned to public port | `` |
hydra.service.publicNodePort | Hydra service node port assigned to admin port | `` |
hydra.service.clusterIP | Hydra service cluster IP | `` |
hydra.service.loadBalancerIP | Hydra service load balancer IP | `` |
hydra.service.annotations | Annotations used by hydra service | {} |
hydra.separateDeployment | Flag to launch hydra in a separate deployment or in ilum-core | সত্য |
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
runtimeVars.hydraUrl | Url of Hydra Public API | http://ilum-hydra:4444 |
runtimeVars.hydraPath | ilum-ui proxy-path to hydra public api | /external/hydra |
বৈশিষ্ট্য
Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
hydra.rewriteMapping | Boolean flag for recreation of ilum-to-services roles config after ilum-core restart | সত্য |
hydra.mapping.minioMinAccessRole | Default role assigned to ilum users with access to minio | পঠনযোগ্য |
hydra.mapping.airflowMinAccessRole | Default role assigned to ilum users with access to airflow | Viewer |
hydra.mapping.supersetMinAccessRole | Default role assigned to ilum users with access to superset | Gamma |
hydra.mapping.grafanaMinAccessRole | Default role assigned to ilum users with access to grafana | Viewer |
hydra.mapping.giteaMinAccessRole | Default role assigned to ilum users with access to gitea | `` |
hydra.mapping.groupsToMinio | Map of ilum groups to a list of minio policies | নাল |
hydra.mapping.groupsToSuperset | Map of ilum groups to a list of superset roles | নাল |
hydra.mapping.groupsToAirflow | Map of ilum groups to a list of airflow roles | নাল |
hydra.mapping.groupsToGrafana | Map of ilum groups to a list of grafana roles | নাল |
hydra.mapping.groupsToGitea | Map of ilum groups to a list of gitea roles | নাল |
hydra.mapping.groupsToMinio[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToMinio[*].serviceObjs | List of minio policies that the ilum group is mapped to | `` |
hydra.mapping.groupsToSuperset[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToSuperset[*].serviceObjs | List of superset roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToAirflow[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToAirflow[*].serviceObjs | List of airflow roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToGrafana[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToGrafana[*].serviceObjs | List of grafana roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToGitea[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToGitea[*].serviceObjs | List of gitea roles that the ilum group is mapped to | `` |
hydra.mapping.rolesToGitea | Map of ilum roles to a list of gitea roles | নাল |
hydra.mapping.rolesToMinio[0].ilumObj | Name of ilum role to be mapped | এডমিন |
hydra.mapping.rolesToMinio[0].serviceObjs | List of minio policies that the ilum role is mapped to | [ consoleAdmin ] |
hydra.mapping.rolesToMinio[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToMinio[1].serviceObjs | List of minio policies that the ilum role is mapped to | [ readonly, writeonly, diagnostics ] |
hydra.mapping.rolesToSuperset[0].ilumObj | Name of ilum role to be mapped | এডমিন |
hydra.mapping.rolesToSuperset[0].serviceObjs | List of superset roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToSuperset[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToSuperset[1].serviceObjs | List of superset roles that the ilum role is mapped to | [ Alpha ] |
hydra.mapping.rolesToAirflow[0].ilumObj | Name of ilum role to be mapped | এডমিন |
hydra.mapping.rolesToAirflow[0].serviceObjs | List of airflow roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToAirflow[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToAirflow[1].serviceObjs | List of airflow roles that the ilum role is mapped to | [ User ] |
hydra.mapping.rolesToGrafana[0].ilumObj | Name of ilum role to be mapped | এডমিন |
hydra.mapping.rolesToGrafana[0].serviceObjs | List of grafana roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToGrafana[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToGrafana[1].serviceObjs | List of grafana roles that the ilum role is mapped to | [ Editor ] |
hydra.mapping.rolesToMinio[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToMinio[*].serviceObjs | List of minio policies that the ilum role is mapped to | `` |
hydra.mapping.rolesToSuperset[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToSuperset[*].serviceObjs | List of superset roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToAirflow[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToAirflow[*].serviceObjs | List of airflow roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToGrafana[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToGrafana[*].serviceObjs | List of grafana roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToGitea[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToGitea[*].serviceObjs | List of gitea roles that the ilum role is mapped to | `` |
বৈশিষ্ট্য
Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra
Values added - minio
| minio.extraEnvVars | | |
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
minio.extraEnvVars | ... | ... |
বৈশিষ্ট্য
Integrated airflow with Hydra OIDC in values.yaml
Values added - airflow
| নাম | বর্ণনা | মান |
|---|
airflow.webserver.extraVolumes[0].name | Name of additional airflow volume with oidc config | oauth-secret-volume |
airflow.webserver.extraVolumes[0].secret.secretName | Airflow secret with hydra oidc client config | ilum-hydra-client-secret |
airflow.webserver.extraVolumeMounts[0].name | Name of volume-mount of secret with oidc config | oauth-secret-volume |
airflow.webserver.extraVolumeMounts[0].mountPath | Path for volume-mount of secret with oidc config | /opt/airflow/client-secret |
airflow.webserver.extraVolumeMounts[0].readOnly | readonly flag of volume mount with oidc config | সত্য |
বৈশিষ্ট্য
Integrated grafana with Hydra OIDC in values.yaml
Values added - grafana
| নাম | বর্ণনা | মান |
|---|
grafana.grafana.ini.auth.generic_oauth.enabled | Flag to enable oauth in grafana, taken from গ্লোবাল.সিকিউরিটি.হাইড্রা.সক্ষম by default | মিথ্যা |
grafana.grafana.ini.auth.generic_oauth.name | Name of oauth client | ইলুম |
grafana.grafana.ini.auth.generic_oauth.allow_sign_up | Flag to enable user creation when signing in with oauth | সত্য |
grafana.grafana.ini.auth.generic_oauth.client_id | Id of oauth client, taken from global.security.hydra.clientId by default | ilum-ক্লায়েন্ট |
grafana.grafana.ini.auth.generic_oauth.client_secret | Secret of oauth client, taken from global.security.hydra.clientSecret by default | রহস্য |
grafana.grafana.ini.auth.generic_oauth.scopes | Scopes requested from oauth | openid profile email offline_access |
grafana.grafana.ini.auth.generic_oauth.auth_url | Url used to initiate oauth authentication, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default | /external/hydra/oauth2/auth |
grafana.grafana.ini.auth.generic_oauth.token_url | Url used for tokens exchange in oauth workflow, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default | /external/hydra/oauth2/token |
grafana.grafana.ini.auth.generic_oauth.api_url | Url used to access user info, uses গ্লোবাল.সিকিউরিটি.হাইড্রা.ইউইউআরএল as base by default | /external/hydra/userinfo |
grafana.grafana.ini.auth.generic_oauth.login_attribute_path | Id token claim used to distinguish different users | userId |
grafana.grafana.ini.auth.generic_oauth.email_attribute_name | Id token claim with email | ইমেল |
grafana.grafana.ini.auth.generic_oauth.role_attribute_path | Expression used to map roles from id_token to grafana | ... |
grafana.grafana.ini.auth.generic_oauth.role_attribute_strict | Flag to require the role during sign up | সত্য |
বৈশিষ্ট্য
Integrated superset with Hydra OIDC in values.yaml
Values added - superset
| নাম | বর্ণনা | মান |
|---|
superset.configOverrides.ilum_oauth_security | Code added to superset config in order to enable oidc | ... |
superset.extraVolumes[0].name | Name of extra volume with a secret for oidc connection | oauth-secret-volume |
superset.extraVolumes[0].secret.secretName | Name of secret used in extra volume for oidc connection | ilum-hydra-client-secret |
superset.extraVolumes[1].name | Name of extra volume with superset plugin used to enable oidc | oauth-plugin-volume |
superset.extraVolumes[1].secret.secretName | Secret with superset plugin used to enable oidc | ilum-superset-oidc-plugin-secret |
superset.extraVolumeMounts[0].name | Name of volume mount with oidc secret data | oauth-secret-volume |
superset.extraVolumeMounts[0].mountPath | Path of volume mount with oidc secret data | /app/pythonpath/oauth |
superset.extraVolumeMounts[1].name | Name of volume mount with a superset plugin as a python file | oauth-plugin-volume |
superset.extraVolumeMounts[1].mountPath | Path of volume mound with a superset plugin | /app/pythonpath/security |
2. Addition of examples for ilum-core and superset
বৈশিষ্ট্য:
Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
examples.job | Enables creating single job example | সত্য |
examples.schedule | Enables creating schedule example | সত্য |
examples.sqlNotebook | Enables creating sql notebook example | সত্য |
examples.sqlQuery | Enables creating sql query example | সত্য |
examples.database | Enables creating database example | সত্য |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
ilum-core.examples.job | Enables creating single job example | সত্য |
ilum-core.examples.schedule | Enables creating schedule example | সত্য |
ilum-core.examples.sqlNotebook | Enables creating sql notebook example | সত্য |
ilum-core.examples.sqlQuery | Enables creating sql query example | সত্য |
ilum-core.examples.database | Enables creating database example | সত্য |
superset.extraEnv.IMPORT_DASHBOARD | Enables creating superset dashboard example | সত্য |
superset.extraVolumes[2].name | Volume name for dashboard import | example-dashboard |
superset.extraVolumes[2].configMap.name | ConfigMap that contains base64-encoded dashboard | ilum-superset-example-dashboard |
superset.extraVolumeMounts[2].name | Mount name for example dashboard config | example-dashboard |
superset.extraVolumeMounts[2].mountPath | Path in container to mount the dashboard config | /config |
superset.extraVolumeMounts[2].readOnly | Mount config as read-only | সত্য |
superset.init.initscript | Custom init script to conditionally import dashboard | See script in ilum-aio values file |
3. Internal users upgrade credentials flag
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
ilum-core.security.internal.upgradeCredentials | Enables overriding user password with helm configuration | মিথ্যা |
4. Tighter integration of Marquez with Ilum
বৈশিষ্ট্য:
Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore.
This way, having a customized Marquez build is not necessary anymore.
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.এন্ডপয়েন্ট | / বাহ্যিক / বংশ / এপিআই / ভি 1 / বংশ | /এপিআই/ভি১/বংশ |
5. Changed superset load example variable name
Values deleted - ilum-aio
| নাম | কারণে |
|---|
superset.extraEnv.IMPORT_DASHBOARD | Changed to other variable name |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
superset.init.loadExamples | Enables creating superset dashboard example | সত্য |
RELEASE 6.3.2
1. Addition of frequently used values to ilum-sql
বৈশিষ্ট্য:
Added frequently used values to ilum-sql chart, so that their configuration is easier.
Values added - ilum-sql
| নাম | বর্ণনা | মান |
|---|
config.kyuubi.logLevel | Base log-level of the log4j framework | INFO |
config.kyuubi.idleEngineTimeout | Auto-shutdown time of Kyuubi engines | 30M |
config.kyuubi.idleSessionTimeout | Auto-shutdown time of Kyuubi sessions | 30M |
config.kyuubi.engineAliveProbe | Whether to create a probe, which will check engine liveness | সত্য |
config.kyuubi.cleanupTerminatedSparkDriverPods | Determines which of the terminated Spark engine pods will get deleted. Available: NONE, COMPLETED, ALL | ALL |
Values changed - ilum-aio
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
ilum-sql.config.kyuubi.defaults | see মূল্যবোধ.ইয়ামল | ~ |
⚠️⚠️⚠️ Warnings
Because these values were already present in the ilum-aio chart,
the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.
2. Support of Trino in ilum-sql
বৈশিষ্ট্য:
Introduced support for Trino as an SQL engine in ilum-sql chart.
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
trino.enabled | Enables built-in Trino | মিথ্যা |
trino.nameOverride | Sets the name override | ilum-trino |
trino.coordinatorNameOverride | Sets the name override for the coordinator | ilum-trino-coordinator |
trino.workerNameOverride | Sets the name override for the worker nodes | ilum-trino-worker |
trino.server.workers | Sets the number of workers | 1 |
trino.catalogs.ilum-delta | Configures the 'ilum-delta' catalog | See মূল্যবোধ.ইয়ামল |
ilum-sql.config.trino.catalog | The catalog of choice for Trino | ইলুম-ডেল্টা |
Values added - ilum-sql
| নাম | বর্ণনা | মান |
|---|
config.trino.url | Url pointing to Trino coordinator | http://ilum-trino:8080 |
config.trino.catalog | The catalog of choice for Trino | সিস্টেম |
config.trino.defaults | Additional settings of Trino engines. All properties must be prefixed with trino. | ~ |
3. Enhanced Oauth2
বৈশিষ্ট্য
Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core.
Added ability to assign Admin role to oauth2 users.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
security.oauth2.mapping.id | JWT claim that should be mapped to user`s id | "" |
security.oauth2.mapping.name | JWT claim that should be mapped to user`s name | সাব |
security.oauth2.mapping.email | JWT claim that should be mapped to user`s email | ইমেল |
security.oauth2.mapping.fullname | JWT claim that should be mapped to user`s fullname | পুরো নাম |
security.oauth2.mapping.description | JWT claim that should be mapped to user`s description | "" |
security.oauth2.mapping.department | JWT claim that should be mapped to user`s department | "" |
security.oauth2.mapping.groups | JWT claim with a list of groups that user is a part of represented by strings | "গ্রুপ" |
security.oauth2.mapping.roles | JWT claim with a list of roles that user uses represented by strings | "ভূমিকা" |
security.oauth2.mapping.enabled | JWT claim that should be mapped to user`s state | "" |
security.oauth2.mapping.enabledTrue | Value of JWT claim with the name of mapping.enabledযা সক্ষম এর জন্য দাঁড়িয়েছে | "" |
security.oauth2.mapping.singleGroup | JWT claim that contains a string with name of group that the user is part of | "" |
security.oauth2.mapping.singleRole | JWT claim that contains a string with name of role that the user has | "" |
4. Addition of kubernetes s3 region to ilum-core and ilum-aio
বৈশিষ্ট্য:
Added the ability to set the S3 region in ilum-core.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
kubernetes.s3.region | default kubernetes cluster S3 storage region to store spark resources | ইউএস-ইস্ট-১ |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
ilum-core.kubernetes.s3.region | default kubernetes cluster S3 storage region to store spark resources | ইউএস-ইস্ট-১ |
ilum-core.kubernetes.defaultCluster.config.spark.hadoop.fs.s3a.bucket.ilum-data.region | default kubernetes cluster S3 storage region to store spark resources | ইউএস-ইস্ট-১ |
5. Protocol in superset
বৈশিষ্ট্য:
Added the ability to set the protocol in superset.
Values added - superset
| নাম | বর্ণনা | মান |
|---|
প্রোটোকল | superset protocol | এইচটিটিপি |
বৈশিষ্ট্য:
Added possibility to enable status probe for hive metastore.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
hiveMetastore.statusProbe.enabled | Hive metastore status probe enabled flag | মিথ্যা |
hiveMetastore.statusProbe.image | Hive metastore status probe image | কার্লচিত্র / কার্ল: 8.5.0 |
hiveMetastore.statusProbe.host | Hive metastore status probe host | ilum-hive-metastore |
hiveMetastore.statusProbe.port | Hive metastore status probe port | 9083 |
রিলিজ ৬.৩.১
বৈশিষ্ট্য
ইলাম ক্লাস্টার স্পার্ক স্টোরেজ কনফিগারেশনে অতিরিক্ত বালতি অন্তর্ভুক্ত করার ক্ষমতা যোগ করা হয়েছে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
kubernetes.s3.extraBuckets | ইলাম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ অতিরিক্ত বালতি অন্তর্ভুক্ত করতে | [] |
kubernetes.gcs.extraBuckets | আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ অতিরিক্ত বালতি অন্তর্ভুক্ত করতে | [] |
kubernetes.wasbs.extraContainers | আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ অতিরিক্ত পাত্রে অন্তর্ভুক্ত করার জন্য | [] |
kubernetes.hdfs.extraCatalogs | আইলুম-কোর ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ অতিরিক্ত ক্যাটালগ অন্তর্ভুক্ত করতে | [] |
2. বর্ধিত এলডিএপি
Added the ability to map users, groups, and roles — along with their properties and relationships — from an LDAP server to Ilum Core based on mapping configurations in Helm.
Enabled the option to assign Admin role to LDAP users.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
security.ldap.userMapping.base | ব্যবহারকারী এন্ট্রিগুলির এলডিএপি বেস | "" |
security.ldap.userMapping.filter | ব্যবহারকারী অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার | "UID={0}" |
security.ldap.userMapping.username | LDAP বৈশিষ্ট্যের নাম যা ব্যবহারকারীর ব্যবহারকারীর নামটিতে ম্যাপ করা উচিত | ইউআইডি |
security.ldap.userMapping.password | LDAP বৈশিষ্ট্যের নাম যা ব্যবহারকারীর পাসওয়ার্ডে ম্যাপ করা উচিত | ব্যবহারকারীর পাসওয়ার্ড |
security.ldap.userMapping.description | এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর বিবরণে ম্যাপ করা উচিত | "" |
security.ldap.userMapping.fullname | এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর পুরো নামে ম্যাপ করা উচিত | "" |
security.ldap.userMapping.department | এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর বিভাগে ম্যাপ করা উচিত | "" |
security.ldap.userMapping.email | এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর ইমেলে ম্যাপ করা উচিত | "" |
security.ldap.userMapping.enabled | এলডিএপি বৈশিষ্ট্যের নাম যা ব্যবহারকারীর রাজ্যে ম্যাপ করা উচিত | "" |
security.ldap.userMapping.enabledValue | এর নামের সাথে বৈশিষ্ট্যের মান userMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে | "" |
security.ldap.groupMapping.base | গ্রুপ এন্ট্রিগুলির জন্য এলডিএপি বেস | "" |
security.ldap.groupMapping.filter | গ্রুপ অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার | (সদস্য={0}) |
security.ldap.groupMapping.name | এলডিএপি বৈশিষ্ট্যের নাম যা গোষ্ঠীর নামের সাথে ম্যাপ করা উচিত | সিএন |
security.ldap.groupMapping.description | এলডিএপি বৈশিষ্ট্যের নাম যা গ্রুপের বিবরণে ম্যাপ করা উচিৎ | "" |
security.ldap.groupMapping.memberAttribute | LDAP বৈশিষ্ট্যের নাম যা গ্রুপ থাকা ব্যবহারকারীদের তালিকা করে | ইউআইডি |
security.ldap.groupMapping.roles | এলডিএপি বৈশিষ্ট্য যা গ্রুপের অন্তর্ভুক্ত ভূমিকাগুলি তালিকাভুক্ত করে | "" |
security.ldap.groupMapping.roleFilterAttribute | ভূমিকাগুলির এলডিএপি বৈশিষ্ট্য যা একটি ভূমিকার প্রতিনিধিত্ব করে গ্রুপম্যাপিং.রোলস গুণমান | "" |
security.ldap.groupMapping.enabled | এলডিএপি বৈশিষ্ট্যের নাম যা গ্রুপের রাজ্যে ম্যাপ করা উচিৎ | "" |
security.ldap.groupMapping.enabledTrue | থেকে বৈশিষ্ট্যের মান groupMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে | "" |
security.ldap.roleMapping.base | ভূমিকা এন্ট্রিগুলির জন্য এলডিএপি বেস | "" |
security.ldap.roleMapping.filter | ভূমিকা অনুসন্ধানের জন্য ব্যবহৃত LDAP ফিল্টার | "" |
security.ldap.roleMapping.memberAttribute | এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকা থাকা ব্যবহারকারীদের তালিকা করে | "" |
security.ldap.roleMapping.name | এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার নামের সাথে ম্যাপ করা উচিৎ | "" |
security.ldap.roleMapping.description | এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার বিবরণে ম্যাপ করা উচিৎ | "" |
security.ldap.roleMapping.enabled | এলডিএপি বৈশিষ্ট্যের নাম যা ভূমিকার অবস্থার সাথে ম্যাপ করা উচিৎ | "" |
security.ldap.roleMapping.enabledTrue | থেকে বৈশিষ্ট্যের মান roleMapping.enabled যা সক্ষম এর জন্য দাঁড়িয়েছে | "" |
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
| নাম | কারণে |
|---|
security.ldap.userSearch | সঙ্গে প্রতিস্থাপিত security.ldap.userMapping |
security.ldap.groupSearch | সঙ্গে প্রতিস্থাপিত security.ldap.groupMapping |
নাম পরিবর্তন - ইলুম-কোর
| পুরাতন নাম | নতুন নাম |
|---|
security.internal.users[*].password | security.internal.users[*].initialPassword |
৩. স্পার্কম্যাগিক ডিফল্ট কনফিগারেশন
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
sparkmagic.config.sessionConfigs.conf | '{ "pyRequirements": "pandas", "cluster": "default", "autoPause": "false", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }' | '{}' |
মানগুলি মোছা হয়েছে - ইলুম-জুপিটার
| নাম | কারণে |
|---|
sparkmagic.config.sessionConfigs.executorCores | নতুন স্পার্ক সেশন ফর্মের কারণে আর প্রয়োজন নেই |
মানগুলি মোছা হয়েছে - ইলুম-জুপিটার
| নাম | কারণে |
|---|
sparkmagic.config.sessionConfigs.driverMemory | নতুন স্পার্ক সেশন ফর্মের কারণে আর প্রয়োজন নেই |
রিলিজ ৬.৩.০
1. কিউয়ুবির চিত্র ট্যাগ সংস্করণ পরিবর্তন করা হয়েছে
মানগুলি পরিবর্তিত হয়েছে - স্পার্কম্যাগিক কনফিগারেশন পরামিতি
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
sparkmagic.config.sessionConfigs.conf | '{ "pyRequirements": "pandas", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }' | '{ "pyRequirements": "pandas", "cluster": "default", "autoPause": "false", "spark.example.config": "আপনি ilum-jupyter-config k8s configmap এ ডিফল্ট কনফিগারেশন পরিবর্তন করতে পারেন" }' |
2. ইলুম-কোর জন্য কাফকা ঠিকানা সেট করতে সম্পত্তি যোগ করা হয়েছে
বৈশিষ্ট্য
ইলুম-কোর পডের জন্য কাফকা ঠিকানা সেট করার ক্ষমতা যোগ করা হয়েছে, কাফকা.ঠিকানা সম্পত্তির মাধ্যমে স্পার্ক জব এবং ইলুম-কোর পড সেট উভয়ের জন্য গ্লোবাল কাফকা ঠিকানা কনফিগারেশন থেকে পৃথক।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
kafka.ilum.address | ইলুম-কোর কাফকা ঠিকানা শুধুমাত্র আইলুম-কোর পডের জন্য, কাফকা.ঠিকানা ওভাররাইড করে | সংজ্ঞায়িত করা হয়নি |
৩. ইলাম চাকরির স্বাস্থ্য পরীক্ষা সহনশীলতার সময় পরিবর্তন করুন
মানগুলি পরিবর্তিত হয়েছে - আইলাম জব হেলথচেক কনফিগারেশন পরামিতি
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
জব.হেলথচেক.টলারেন্স | 120 | 3600 |
4. এমবেডেড গিট রেপো প্রবর্তন
বৈশিষ্ট্য
ইলাম প্ল্যাটফর্মের জন্য গিট সার্ভারে বিল্ড সরবরাহ করে একটি মডিউল হিসাবে গিটিয়া যুক্ত করা হয়েছে।
মান যোগ করা হয়েছে - গীতা
| নাম | বর্ণনা | মান |
|---|
গীতা.সক্ষম | Gitea বিস্তৃতি সক্ষম বা অক্ষম করুন | সত্য |
গিটিয়া.ইমেজ.রুটলেস | রুটলেস মোডে গিটিয়া চালান | মিথ্যা |
gitea.gitea.config.database.DB_TYPE | Gitea এর জন্য ব্যবহৃত ডেটাবেস প্রকার | পোস্টগ্রেস |
gitea.gitea.config.database.HOST | গিটিয়ার জন্য ডাটাবেস হোস্ট এবং পোর্ট | ilum-postgresql-hl:5432 |
gitea.gitea.config.database.NAME | গিটিয়ার জন্য ডাটাবেসের নাম | গিটিয়া |
gitea.gitea.config.database.USER | Gitea এর জন্য ডাটাবেস ব্যবহারকারীর নাম | ইলুম |
gitea.gitea.config.database.PASSWD | গিটিয়ার জন্য ডাটাবেস পাসওয়ার্ড (পরিবর্তন প্রয়োজন) | দয়া করে আমাকে পরিবর্তন করুন |
gitea.gitea.admin.existingSecret | ইনিট শংসাপত্রগুলি সঞ্চয় করার জন্য গিটিয়ার গোপন রহস্য | ilum-git-credentials |
gitea.gitea.admin.email | Gitea অ্যাডমিন ইমেইল | ilum@ilum |
gitea.gitea.admin.passwordMode | অ্যাডমিন অ্যাকাউন্টের জন্য পাসওয়ার্ড মোড | InitialOnlyNoReset |
gitea.gitea.additionalConfigFromEnvs[0].name | পুশ-তৈরি ব্যবহারকারী সক্ষম করুন | GITEA__REPOSITORY__ENABLE_PUSH_CREATE_USER |
gitea.gitea.additionalConfigFromEnvs[0].value | পুশ-তৈরি ব্যবহারকারী সক্ষম করার জন্য মান | সত্য |
gitea.gitea.additionalConfigFromEnvs[1].name | পুশ-তৈরি সংস্থা সক্ষম করুন | GITEA__REPOSITORY__ENABLE_PUSH_CREATE_ORG |
gitea.gitea.additionalConfigFromEnvs[1].value | পুশ-ক্রিয়েট সংগঠন সক্ষম করার জন্য মূল্য | সত্য |
gitea.gitea.additionalConfigFromEnvs[2].name | ডিফল্ট সংগ্রহস্থল শাখা | GITEA__REPOSITORY__DEFAULT_BRANCH |
gitea.gitea.additionalConfigFromEnvs[2].value | ডিফল্ট সংগ্রহস্থল শাখার মান | মাস্টার |
gitea.gitea.additionalConfigFromEnvs[3].name | Gitea সার্ভারের root URL | GITEA__SERVER__ROOT_URL |
gitea.gitea.additionalConfigFromEnvs[3].value | Gitea সার্ভারের রুট URL-এর মান | http://git.example.com/external/gitea/ |
gitea.gitea.additionalConfigFromEnvs[4].name | স্ট্যাটিক ইউআরএল উপসর্গ | GITEA__SERVER__STATIC_URL_PREFIX |
gitea.gitea.additionalConfigFromEnvs[4].value | স্ট্যাটিক URL উপসর্গের মান | /বহিঃস্থ/গীতা/ |
Gitea.redis-cluster.enabled | রেডিস ক্লাস্টার সক্ষম বা অক্ষম করুন | মিথ্যা |
Gitea.redis.enabled | রেডিস সক্ষম বা অক্ষম করুন | মিথ্যা |
Gitea.postgresql.enabled | স্ট্যান্ডেলোন PostgreSQL সক্ষম বা অক্ষম করুন | মিথ্যা |
Gitea.postgresql-ha.enabled | PostgreSQL HA সক্ষম বা অক্ষম করুন | মিথ্যা |
মান যোগ করা হয়েছে - ইলুম-জুপিটার
| নাম | বর্ণনা | মান |
|---|
ilum-jupyter.git.enabled | গিট ইন্টিগ্রেশন সক্ষম বা অক্ষম করুন | মিথ্যা |
ilum-jupyter.git.username | প্রমাণীকরণের জন্য গিট ব্যবহারকারীর নাম | ইলুম |
ilum-jupyter.git.password | প্রমাণীকরণের জন্য গিট পাসওয়ার্ড | ইলুম |
ilum-jupyter.git.email | গিট ইমেইল ঠিকানা | ilum@ilum |
ilum-jupyter.git.repository | গিট সংগ্রহস্থলের নাম | জুপিটার |
ilum-jupyter.git.address | গিট সার্ভারের ঠিকানা | ilum-gitea-http:3000 |
ilum-jupyter.git.init.image | গিট ইনিশিয়ালাইজেশন ইমেজ | বিটনামি/গিট:2.48.1 |
মান যোগ করা হয়েছে - ইলাম-বায়ুপ্রবাহ
| নাম | বর্ণনা | মান |
|---|
airflow.dags.gitSync.enabled | DAGs-এর জন্য গিট সিঙ্ক্রোনাইজেশন সক্ষম বা অক্ষম করুন | সত্য |
airflow.dags.gitSync.repo | DAGs-এর জন্য Git repository URL | http://ilum-gitea-http:3000/ilum/airflow.git |
airflow.dags.gitSync.branch | এর থেকে সিঙ্ক করতে গিট শাখা | মাস্টার |
airflow.dags.gitSync.ref | সিঙ্ক করতে গিট রেফারেন্স | মাথা |
airflow.dags.gitSync.depth | গিট ক্লোন গভীরতা | 1 |
airflow.dags.gitSync.maxFailures | সর্বাধিক অনুমোদিত সিঙ্ক্রোনাইজেশন ব্যর্থতা | 0 |
airflow.dags.gitSync.subPath | সিঙ্ক করতে সংগ্রহস্থলের মধ্যে সাবপাথ | "" |
airflow.dags.gitSync.credentialsSecret | গিট প্রমাণীকরণের জন্য গোপন ব্যবহৃত হয়েছে | ilum-git-credentials |
5. ইলাম এসকিউএল কনফিগারেশন নামকরণ পরিবর্তন
কিউবির বর্তমান ব্যবহারকে আরও ভালভাবে প্রতিফলিত করতে ইলাম এসকিউএল কনফিগারেশনের নামকরণ পরিবর্তন করুন
নাম পরিবর্তন - ইলুম-কোর
| পুরাতন নাম | নতুন নাম |
|---|
কিউবি। | এসকিউএল। |
নাম পরিবর্তন - ইলুম-আইও
| পুরাতন নাম | নতুন নাম |
|---|
ইলুম-কিউবি। | ইলুম-এসকিউএল। |
⚠️⚠️⚠️ Warnings
নামকরণের পরিবর্তন এবং এসকিউএল ইঞ্জিন প্রবর্তনের অভ্যন্তরীণ কাজকর্মের কারণে এবং এর মাধ্যমে কী করা যেতে পারে তার বিধিনিষেধের কারণে হেলম আপগ্রেড ,
পুরানো স্টেটফুল সেটটি ম্যানুয়ালি মুছতে হবে (উদাঃ KUBECTL মুছে ফেলুন STS ilum-SQL ) এই সংস্করণে আপগ্রেড করার আগে।
এটি নিশ্চিত করবে যে আপডেটের সময়, সঠিক কনফিগারেশনের সাথে একটি নতুন স্টেটফুল সেট তৈরি করা হয়েছে।
ব্রেকিং পরিবর্তনগুলি লেবেল এবং ভলিউম মাউন্টগুলির সাথে সম্পর্কিত যা ইলাম-এসকিউএল স্টেটফুল সেট দ্বারা ব্যবহৃত হয়।
6. স্পার্ক এসকিউএল ইঞ্জিনের জন্য ইলাম সাবমিটের জন্য কনফিগারেশন যুক্ত করুন
ইলাম সাবমিট নির্বাচিত ক্লাস্টারের কনফিগারেশনগুলি স্বয়ংক্রিয়ভাবে প্রয়োগ করে ইলাম ওয়েব অ্যাপ্লিকেশন এবং জেডিবিসি এন্ডপয়েন্ট উভয়ের মাধ্যমে স্পার্ক এসকিউএল ইঞ্জিন চালু করার প্রক্রিয়া বাড়ায়। এই উন্নতিটি ইলাম কোরকে ম্যানুয়ালি কিউবির স্পার্ক কনফিগারেশন সরবরাহ করার প্রয়োজনীয়তা দূর করে।
মূল্যবান মুছে ফেলা হয়েছে - ইলুম-কোর
| নাম | কারণে |
|---|
sql.sparkConfig | পরিবর্তনের পর অপ্রয়োজনীয় |
মান যোগ করা হয়েছে - ইলুম-কিউবি
| নাম | বর্ণনা | মান |
|---|
ilumSubmit.enabled | আইলুম জমা দেওয়ার পরিষেবা সক্ষম করতে পতাকা | মিথ্যা |
ilumSubmit.ilum.host | ইলাম রেস্ট পরিষেবার হোস্ট | ইলুম-কোর |
ilumSubmit.ilum.port | ইলাম রেস্ট বন্দর পরিষেবা | 9888 |
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
ilum-sql.ilumSubmit.enabled | ইলুমের মাধ্যমে এসকিউএল ইঞ্জিন তৈরি সক্ষম করতে পতাকা | সত্য |
⚠️⚠️⚠️ Warnings
যেহেতু ইলুম কোরে কিউবির স্পার্ক কনফিগের আর প্রয়োজন নেই,
ডিফল্ট স্পার্ক কনফিগ সরাসরি সরবরাহ করা উচিত ilum-sql.config.spark.defaults বৈশ্বিক মূল্যবোধের পরিবর্তে।
বৈশিষ্ট্য
Security‑related configuration (including internal user credentials, LDAP, OAuth2, JWT, and authorities settings) has been moved from the config map to a dedicated Kubernetes Secret. This improves the security of sensitive data by isolating it from non‑sensitive configuration.
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
security.secret.name | Name of the secret that holds security‑related configuration. Use this to override the default secret name. | ইলাম-সিকিউরিটি |
8. আইলুম-ইউআই পরিষেবার ধরণ পরিবর্তন করা হয়েছে
কুবেক্টল পোর্ট-ফরোয়ার্ডের সমস্যার কারণে আমরা ডিফল্টরূপে একটি নোডপোর্ট প্রকাশ করছি।
মানগুলি পরিবর্তিত হয়েছে - ilum-ui হেলথচেক কনফিগারেশন প্যারামিটার
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
সার্ভিস.টাইপ | ক্লাস্টারআইপি | নোডপোর্ট |
service.nodePort | `` | 31777 |
রিলিজ ৬.২.১
1. কিউবির ইউআরএল এর মান পরিবর্তন করুন
বৈশিষ্ট্য
ইলুম-কোরে কিউবির ইউআরএলের মান পরিবর্তন করুন। ডিফল্ট মানটি এখন বাক্সের বাইরে কাজ করা উচিত।
মানগুলি পরিবর্তিত হয়েছে - ইলুম-কোর
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
কিউবি.হোস্ট | ilum-sql-rest | ilum-sql-headless |
রিলিজ 6.2.1-আরসি 1
1. ইলাম-কোরে স্পার্ক জবের মেমরি সেটিংস কনফিগারেশন
বৈশিষ্ট্য
ইলুম-কোরে স্পার্ক জবের মেমরি সেটিংস কনফিগারেশন যুক্ত করা হয়েছে। যখন আইলাম-কোরে ডিফল্ট ক্লাস্টার তৈরি করা হচ্ছে, তখন এটিতে সেই মানগুলিতে মেমরি সেটিংস প্যারামিটার সেট থাকবে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
জব.মেমরিসেটিংস.এক্সিকিউটরস | স্পার্ক জবস এক্সিকিউটর গণনা | 2 |
job.memorysettings.executorMemory | স্পার্ক জবস এক্সিকিউটর মেমরি বরাদ্দ | 1 গ্রাম |
job.memorysettings.driverMemory | স্পার্ক জবস ড্রাইভার মেমরি বরাদ্দ | 1 গ্রাম |
জব.মেমরিসেটিংস.এক্সিকিউটরকোর | স্পার্ক জবস এক্সিকিউটর কোর গণনা | 1 |
job.memorysettings.driverCores | স্পার্ক জবস ড্রাইভার কোর গণনা | 1 |
job.memorysettings.dynamicAllocationEnabled | স্পার্ক জবস গতিশীল বরাদ্দ সক্ষম পতাকা | মিথ্যা |
job.memorysettings.minExecutors | স্পার্ক জবস নির্বাহকের ন্যূনতম সংখ্যা | 0 |
job.memorysettings.initialExecutors | স্পার্ক জবস এক্সিকিউটরের প্রাথমিক সংখ্যা | 0 |
job.memorysettings.maxExecutors | স্পার্ক জব সর্বাধিক সংখ্যক নির্বাহক | 20 |
2. স্পার্ক ইতিহাস সার্ভার ধারণ পরামিতি যোগ
বৈশিষ্ট্য
ইলুম-কোরে স্পার্ক ইতিহাস সার্ভার ধারণ পরামিতি যোগ করা হয়েছে। এই পরামিতিগুলি ব্যবহারকারীকে স্পার্ক ইতিহাস সার্ভার লগগুলির ধারণ কনফিগার করতে দেয়।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
historyServer.parameters.spark.history.fs.cleaner.enabled | ইতিহাস সার্ভার ক্লিনার সক্ষম পতাকা | সত্য |
historyServer.parameters.spark.history.fs.cleaner.interval | ইতিহাস সার্ভার ক্লিনার বিরতি | 1 ডি |
historyServer.parameters.spark.history.fs.cleaner.maxAge | ইতিহাস সার্ভার লগ সর্বাধিক বয়স | 7 ডি |
3. কিউবির ইউআরএলকে হোস্ট এবং পোর্টে বিভক্ত করুন
বৈশিষ্ট্য
কিউবির ইউআরএলকে ইলুম-কোরে হোস্ট এবং পোর্টে বিভক্ত করুন। কাস্টম ইঞ্জিন তৈরি করতে সক্ষম হওয়ার জন্য এই পরিবর্তনটি প্রয়োজনীয় ছিল।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
কিউবি.হোস্ট | কিউয়ুবি হোস্ট | ilum-sql-rest |
কিউবি.পোর্ট | কিউয়ুবি বন্দর | 10099 |
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
| নাম | কারণে |
|---|
কিউবি.ইউআরএল | পরিবর্তনের পর অপ্রয়োজনীয় |
বৈশিষ্ট্য
ইতিহাস সার্ভার, মিনিও, আইলুম-জুপিটার, বায়ুপ্রবাহ, এমএলফ্লো ও ইলুম-ইউআইতে বংশের জন্য সক্ষম পতাকা যুক্ত করা হয়েছে। এই পতাকাগুলি ব্যবহারকারীকে আইলুম-ইউআইয়ের মাধ্যমে এই পরিষেবাগুলিতে অ্যাক্সেস সক্ষম অথবা অক্ষম করার অনুমতি দেয়। এই মানগুলি nginx সার্ভার কনফিগার মানচিত্রে ব্যবহৃত হবে।
মান যোগ করা হয়েছে - ইলুম-ইউআই চার্ট
| নাম | বর্ণনা | মান |
|---|
nginx.config.ilum-jupyter.enabled | ilum-ui nginx কনফিগারেশন ilum-Jupyter সক্ষম পতাকা | মিথ্যা |
nginx.config.airflow.enabled | ilum-ui nginx কনফিগারেশন এয়ারফ্লো সক্ষম পতাকা | মিথ্যা |
nginx.config.minio.enabled | ilum-ui nginx কনফিগারেশন মিনিও সক্ষম পতাকা | মিথ্যা |
nginx.config.historyServer.enabled | ilum-ui nginx config historyসার্ভার সক্রিয় পতাকা | মিথ্যা |
nginx.config.mlflow.enabled | ilum-ui nginx কনফিগারেশন MLFLOW সক্ষম পতাকা | মিথ্যা |
nginx.config.lineage.enabled | ilum-ui nginx কনফিগারেশন বংশ সক্ষম পতাকা | মিথ্যা |
5. ইলুম-এআইও চার্টে সুপারসেট
বৈশিষ্ট্য
ইলুম এআইও চার্টে সুপারসেট। সুপারসেট দ্রুত, লাইটওয়েট, স্বজ্ঞাত এবং বিকল্পগুলির সাথে লোড করা হয় যা সমস্ত দক্ষতা সেটের ব্যবহারকারীদের তাদের ডেটা অন্বেষণ এবং ভিজ্যুয়ালাইজ করা সহজ করে তোলে,
সাধারণ লাইন চার্ট থেকে অত্যন্ত বিস্তারিত জিওস্প্যাটিয়াল চার্ট পর্যন্ত। সুপারসেট ইলাম প্ল্যাটফর্মের সাথে সমন্বিত মডিউলগুলির মধ্যে একটি।
মান যোগ করা হয়েছে - ইলুম-ইউআই
লগ সমষ্টি কনফিগারেশন কনফিগারেশন
| নাম | বর্ণনা | মান |
|---|
runtimeVars.supersetUrl | সুপারসেট সার্ভিস URL | http://ilum-superset:8088/ |
nginx.config.superset.enabled | ilum-ui nginx কনফিগারেশন সুপারসেট সক্রিয় পতাকা | মিথ্যা |
4. হেলম মান থেকে ইলাম ডিফল্ট কুবারনেটস ক্লাস্টার কনফিগারেশন
বৈশিষ্ট্য
এখন থেকে, ডিফল্ট ইলাম ক্লাস্টার প্যারামিটারগুলি হেলম মানগুলির উপর ভিত্তি করে সেট করা হবে।
মান যোগ করা হয়েছে - ইলাম-কোর চার্ট
| নাম | বর্ণনা | মান |
|---|
kubernetes.defaultCluster.config | ilum-Core default Kubernetes cluster configuration | কনফিগারেশন: spark.driver.extraJavaOptions: "-Divy.cache.dir=/tmp -Divy.home=/tmp" স্পার্ক.কুবারনেটস.কনটেইনার.চিত্র: "আইএলইউএম / স্পার্ক: 3.5.2-ডেল্টা" স্পার্ক.ডেটাব্রিকস.ডেল্টা.ক্যাটালগ.আপডেট.সক্ষম: "সত্য" |
রিলিজ ৬.২.০
1. কিউয়ুবির চিত্র ট্যাগ সংস্করণ পরিবর্তন করা হয়েছে
মান পরিবর্তিত হয়েছে - ইলুম-কিউবি চার্ট
| নাম | পুরাতন মূল্য | নতুন মূল্য |
|---|
চিত্র.ট্যাগ | ১.৯.২-স্ফুলিঙ্গ | 1.10.0-স্পার্ক |
2. ইলুম-কিউবি চার্টে কিউয়ুবি স্পার্ক কনফিগারেশন পরিবর্তন করা হয়েছে
যুক্ত spark.driver.memory=2g মধ্যে global.kyuubi.sparkConfig
রিলিজ 6.2.0-আরসি 2
1. মিনিও স্ট্যাটাস প্রোব সংযোজন
বৈশিষ্ট্য
ইলুম-কোরে স্ট্যাটাস প্রোব যুক্ত করা হয়েছে যা মিনিও স্টোরেজ প্রস্তুত কিনা তা পরীক্ষা করে
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
minio.statusProbe.enabled | মিনিও স্ট্যাটাস প্রোব সক্রিয় পতাকা | সত্য |
minio.statusProbe.image | মিনিও স্ট্যাটাস প্রোব চিত্র | কার্লচিত্র / কার্ল: 8.5.0 |
minio.statusProbe.baseUrl | মিনিও বেস ইউআরএল | "http://ilum-minio:9000" |
2. ইলুম-কোরে কিউবি কনফিগারেশন
বৈশিষ্ট্য
ইলুম-কোর হেলম চার্টে কিউবি কনফিগারেশন যোগ করা হয়েছে। কিউউবি ব্যবহারকারীকে আইএলইউএম ইউআই ব্যবহার করে বিভিন্ন ডেটা উত্সে এসকিউএল প্রশ্ন চালানোর অনুমতি দেবে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
কিউবি.সক্ষম | কিউয়ুবি সক্ষম পতাকা | সত্য |
কিউবি.ইউআরএল | কিউবির বিশ্রাম পরিষেবার ইউআরএল | http://ilum-sql-rest:10099 |
⚠️⚠️⚠️ Warnings
এসকিউএল ইঞ্জিনগুলি সঠিকভাবে পরিচালনা করার জন্য, আমাদের কিউবির স্পার্ক কনফিগারেশনটি ইলাম-কোরে পাস করতে হবে।
এটি কিউবির স্পার্ক কনফিগার করে করা হয় global.kyuubi.sparkConfig এবং ব্যবহারকারীকে একটি কনফিগারেশন লিখতে দেয় যা কিউবি এবং ইলুম-কোর উভয়কেই পাস করা যায়।
3. ইলুম-কোরে মঙ্গোডিবি ইউরি কনফিগারেশন
বৈশিষ্ট্য
মঙ্গোডিবি উরি ইলুম-কোরে যাওয়ার উপায়টি পরিবর্তন করুন। এখন এটি একটি একক স্ট্রিং হিসাবে পাস করা হয়, যা ব্যবহারকারীকে অথসোর্সের মতো আরও দানাদার কনফিগারেশন সরবরাহ করতে সক্ষম করে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
মঙ্গো.উরি | MongoDb সংযোগ স্ট্রিং | mongodb://mongo:27017/ilum-default?replicaSet=rs0 |
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
| নাম | কারণে |
|---|
মঙ্গো.ইনস্ট্যান্স | পরিবর্তনের পর অপ্রয়োজনীয় |
mongo.replicaSetName | পরিবর্তনের পর অপ্রয়োজনীয় |
⚠️⚠️⚠️ Warnings
ঐ মঙ্গো.উরি , ভুলভাবে সেট করা হলে, অ্যাপ্লিকেশনটি সঠিকভাবে কাজ না করার কারণ হবে। সঠিক সংযোগ স্ট্রিং সরবরাহ নিশ্চিত করুন।
আগে ফরম্যাট ছিল: mongodb://{ mongo.instances }/ilum-{ release_namespace }?replicaSet={ mongo.replicaSetName } আইলুম-আইও চার্টে ডিফল্টরূপে এই মানগুলি ছিল:
মঙ্গো.ইনস্ট্যান্স - ইলম-মঙ্গোডব-0.ইলুম-মঙ্গোডবি-হেডলেস: 27017, ইলুম-মঙ্গোডব-1.আইলুম-মঙ্গোডবি-হেডলেস: 27017
mongo.replicaSetName - RS0
release_namespace - ডিফল্ট
4. আইলুম-কোর মধ্যে স্বয়ংক্রিয় কনফিগারেশন
বৈশিষ্ট্য
আইলুম-কোরে অটোপজিং যুক্ত করা হয়েছে, যা পর্যায়ক্রমে কোনও গ্রুপ নির্দিষ্ট সময়ের জন্য নিষ্ক্রিয় কিনা তা পরীক্ষা করে ও গ্রুপটিকে বিরতি দেয়। এটি সংঘটিত হওয়ার জন্য প্রতিটি গ্রুপকে স্বয়ংক্রিয় বিরতি চালু করতে হবে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
job.autoPause.enabled | স্বতঃ বিরাম সক্ষম করতে বৈশিষ্ট্য পতাকা | সত্য |
জব.অটোপজ.পিরিয়ড | অলসতা গোষ্ঠীগুলি পরীক্ষা করতে সেকেন্ডের মধ্যে বিরতি | 180 |
job.autoPause.idleTime | সেকেন্ডের মধ্যে সময় যে গ্রুপটি স্বতঃ বিরতি দেওয়ার জন্য নিষ্ক্রিয় হওয়া দরকার | 3600 |
5. ইলুম-এআইও চার্ট মধ্যে গ্রাফাইট রপ্তানিকারক
বৈশিষ্ট্য
ইলুম-কোর চার্টে ইলাম এআইও চার্ট ও গ্রাফাইট কনফিগারেশনে গ্রাফাইট এক্সপোর্টার। গ্রাফাইট এক্সপোর্টার গ্রাফাইট প্লেইনটেক্সট প্রোটোকলে রফতানি করা মেট্রিক্সের জন্য একটি প্রমিথিউস রফতানিকারক।
মূল্য যোগ করা হয়েছে - গ্রাফাইট-রপ্তানিকারক
নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্টের পৃষ্ঠা
6. ইলাম-কোরে গ্রাফাইট কনফিগারেশন
বৈশিষ্ট্য
আইলুম-কোর হেলম চার্টে গ্রাফাইট কনফিগারেশন যোগ করা হয়েছে। গ্রাফাইট স্পার্ক জবগুলিকে গ্রাফাইট সিঙ্কে তাদের মেট্রিকগুলি প্রেরণের অনুমতি দেবে, যা প্রমিথিউস দ্বারা স্ক্র্যাপ করা হবে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
জব.গ্রাফাইট.সক্ষম | গ্রাফাইট সক্রিয় পতাকা | মিথ্যা |
জব.গ্রাফাইট.হোস্ট | গ্রাফাইট হোস্ট | ilum-graphite-graphite-tcp |
জব.গ্রাফাইট.পোর্ট | গ্রাফাইট পোর্ট | 9109 |
জব.গ্রাফাইট.পিরিয়ড | কাজের মেট্রিক্স প্রেরণের মধ্যে বিরতি | 10 |
জব.গ্রাফাইট.ইউনিট | সময় একক | সেকেন্ড |
রিলিজ ৬.১.৪
1. জুপিটার ডিফল্ট স্পার্কম্যাগিক কনফিগারেশন পরিবর্তন
বৈশিষ্ট্য
জুপিটার নোটবুকে স্পার্ক ডিফল্ট কনফিগারেশন পাস করার পদ্ধতি পরিবর্তন করা হয়েছে, এখন এটি জেসন স্ট্রিং হিসাবে পাস করা হয়েছে
মান যোগ করা হয়েছে - ইলুম-জুপিটার
Sparkmagic কনফিগারেশন প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
sparkmagic.config.sessionConfigs.conf | Sparkmagic সেশন স্পার্ক কনফিগারেশন | '{ "pyRequirements": "pandas", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}' |
sparkmagic.config.sessionConfigsDefaults.conf | Sparkmagic সেশন ডিফল্ট স্পার্ক কনফিগারেশন | '{ "pyRequirements": "pandas", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}' |
2. ইলুম-আইও চার্টে কিউবি
বৈশিষ্ট্য
ইলুম এআইও চার্টে কিউবি। কিউবি একটি বিতরণ করা মাল্টি-টেন্যান্ট গেটওয়ে যা ডেটা গুদাম এবং লেকহাউসগুলির জন্য এসকিউএল ক্যোয়ারী পরিষেবা সরবরাহ করে। এটি জেডিবিসি এবং ওডিবিসি ইন্টারফেস উভয়ই সরবরাহ করে এবং ক্লায়েন্টদের সাথে ইন্টারঅ্যাক্ট করার জন্য একটি রেস্ট এপিআই সরবরাহ করে।
মান যোগ করা হয়েছে - ইলুম-কিউবি
নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্টের পৃষ্ঠা
রিলিজ ৬.১.৩
1. জুপিটার কনফিগারেশন এবং স্থায়ী স্টোরেজ
বৈশিষ্ট্য
হেলম মানগুলির মাধ্যমে জুপিটার নোটবুক হেলম চার্টের বর্ধিত কনফিগারেশন যোগ করা হয়েছে। তদুপরি, জুপিটার পডে পার্সিটেন্ট স্টোরেজ যুক্ত করা হয়েছে।
সমস্ত তথ্য এতে সংরক্ষিত হয়েছে কাজ ডিরেক্টরি এখন জুপিটার পুনঃসূচনা/আপডেটের পরে উপলব্ধ হবে।
মান যোগ করা হয়েছে - ইলুম-জুপিটার
পিভিসি পরামিতি
| নাম | বর্ণনা | মান |
|---|
পিভিসি.টীকা | অবিরাম ভলিউম দাবি টীকা | {} |
পিভিসি.সিলেক্টর | স্থায়ী ভলিউম দাবি নির্বাচক | {} |
pvc.accessModes | অবিরাম ভলিউম দাবি অ্যাক্সেসমোড | পড়ুনরাইট ওয়ান্স |
পিভিসি.স্টোরেজ | অবিরাম ভলিউম দাবি স্টোরেজ অনুরোধ | 4 জিআই |
pvc.storageClassName | অবিরাম ভলিউম দাবি স্টোরেজশ্রেণীর নাম | `` |
Sparkmagic কনফিগারেশন প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
sparkmagic.config.kernelPythonCredentials.username | Sparkmagic Python কার্নেল ব্যবহারকারীর নাম | "" |
sparkmagic.config.kernelPythonCredentials.password | Sparkmagic Python কার্নেল পাসওয়ার্ড | "" |
sparkmagic.config.kernelPythonCredentials.auth | Sparkmagic Python কার্নেল অথ মোড | "কিছুই না" |
sparkmagic.config.kernelScalaCredentials.username | Sparkmagic Python কার্নেল ব্যবহারকারীর নাম | "" |
sparkmagic.config.kernelScalaCredentials.password | Sparkmagic scala kernel password | "" |
sparkmagic.config.kernelScalaCredentials.auth | Sparkmagic scala kernel auth মোড | "কিছুই না" |
sparkmagic.config.kernelRCredentials.username | Sparkmagic r কার্নেল ব্যবহারকারীর নাম | "" |
sparkmagic.config.kernelRCredentials.password | Sparkmagic r কার্নেল পাসওয়ার্ড | "" |
sparkmagic.config.waitForIdleTimeoutSeconds | স্পার্কম্যাজিক টাইমআউট নিষ্ক্রিয় অবস্থার জন্য অপেক্ষা করছে | 15 |
sparkmagic.config.livySessionStartupTimeoutSeconds | স্পার্কম্যাজিক টাইমআউট সেশন শুরু হওয়ার জন্য অপেক্ষা করছে | 300 |
sparkmagic.config.ignoreSslErrors | স্পার্কম্যাজিক এসএসএল ত্রুটি পতাকা উপেক্ষা করুন | মিথ্যা |
sparkmagic.config.sessionConfigs.conf | Sparkmagic সেশন স্পার্ক কনফিগারেশন | [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog] |
sparkmagic.config.sessionConfigs.driverMemory | Sparkmagic সেশন ড্রাইভার মেমোরি | 1000 মি |
sparkmagic.config.sessionConfigs.executorCores | স্পার্কম্যাগিক সেশন এক্সিকিউটর কোর | 2 |
sparkmagic.config.sessionConfigsDefaults.conf | Sparkmagic সেশন ডিফল্ট স্পার্ক কনফিগারেশন | [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog] |
sparkmagic.config.sessionConfigsDefaults.driverMemory | Sparkmagic সেশন ডিফল্ট ড্রাইভার মেমোরি | 1000 মি |
sparkmagic.config.sessionConfigsDefaults.executorCores | স্পার্কম্যাগিক সেশন ডিফল্ট এক্সিকিউটর কোর | 2 |
sparkmagic.config.useAutoViz | স্পার্কম্যাজিক অটো ভিজ ফ্ল্যাগ ব্যবহার করুন | সত্য |
sparkmagic.config.coerceDataframe | Sparkmagic Coerce Dataframe flag | সত্য |
sparkmagic.config.maxResultsSql | স্পার্কম্যাগিক ম্যাক্স এসকিউএল ফলাফল | 2500 |
sparkmagic.config.pysparkDataframeEncoding | Sparkmagic Pyspark ডেটাফ্রেম এনকোডিং | ইউটিএফ-৮ |
sparkmagic.config.heartbeatRefreshSeconds | স্পার্কম্যাজিক হার্টবিট রিফ্রেশ সেকেন্ড | 30 |
sparkmagic.config.livyServerHeartbeatTimeOutSeconds | স্পার্কম্যাজিক লিভি সার্ভার হার্টবিট টাইমআউট সেকেন্ড | 0 |
sparkmagic.config.heartbeatRetrySeconds | স্পার্কম্যাজিক হৃদস্পন্দন সেকেন্ডের পুনঃচেষ্টা করুন | 10 |
sparkmagic.config.serverExtensionDefaultKernelName | Sparkmagic server extension ডিফল্ট কার্নেল নাম | Pysparkkernel |
sparkmagic.config.retryPolicy | Sparkmagic retry নীতি | কনফিগারযোগ্য |
sparkmagic.config.retrySecondsToSleepList | স্পার্কম্যাগিক ঘুমের তালিকায় সেকেন্ড পুনঃচেষ্টা করুন | [0.2, 0.5, 1, 3, 5] |
sparkmagic.config.config.configurableRetryPolicyMaxRetries | স্পার্কম্যাগিক পুনঃচেষ্টা নীতি সর্বাধিক পুনঃচেষ্টা | 8 |
রিলিজ ৬.১.২
বৈশিষ্ট্য
ইলুম এআইও চার্টে হাইভ মেটাস্টোর। এইচএমএস একটি রিলেশনাল ডাটাবেসে হাইভ টেবিল এবং পার্টিশনগুলির জন্য মেটাডেটার একটি কেন্দ্রীয় সংগ্রহস্থল,
এবং ক্লায়েন্টদের (হাইভ, ইম্পালা এবং স্পার্ক সহ) মেটাস্টোর পরিষেবা এপিআই ব্যবহার করে এই তথ্যে অ্যাক্সেস সরবরাহ করে।
ইলাম এআইও হেলমে মৌচাক মেটাস্টোর সক্ষম করে, ইলাম দ্বারা চালিত স্ট্যাক স্পার্ক কাজগুলি স্বতঃস্ফূর্তভাবে এটি অ্যাক্সেস করার জন্য কনফিগার করা যেতে পারে।
নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্ট পৃষ্ঠা
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
হাইভমেটাস্টোর.সক্ষম | ইলাম স্পার্ক জবস ফ্ল্যাগে হাইভ মেটাস্টোর কনফিগারেশন পাস করা | মিথ্যা |
হাইভমেটাস্টোর.ঠিকানা | মৌচাক মেটাস্টোর ঠিকানা | thrift://ilum-hive-metastore:9083 |
হাইভমেটাস্টোর.ওয়্যারহাউজডির | মৌচাক মেটাস্টোর গুদাম ডিরেক্টরি | s3a://ilum-data/ |
2. পোস্টগ্রেস এক্সটেনশন যোগ করা হয়েছে
বৈশিষ্ট্য
ইলাম এআইও সাবচারগুলির কয়েকটি পোস্টগ্রেএসকিউএল ব্যবহার করে, তাদের স্থাপনার পরিচালনা করা সহজ করার জন্য আমরা ইলাম সুপারচার্টগুলির জন্য পোস্টগ্রেএসকিউএল ডাটাবেস তৈরি করতে পোস্টগ্রেস এক্সটেনশন রিসোর্স যুক্ত করেছি।
মান যোগ করা হয়েছে - ইলুম-এআইও
PostgreSQL এক্সটেনশন প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
postgresExtensions.enabled | পোস্টগ্রেস এক্সটেনশন সক্ষম পতাকা | সত্য |
postgresExtensions.image | এক্সটেনশন চালানোর জন্য চিত্র | বিটনামি / পোস্টগ্রেএসকিউএল: 16 |
postgresExtensions.pullPolicy | চিত্র টান নীতি | IfNotPresent |
postgresExtensions.imagePullSecrets | ইমেজ টান সিক্রেটস | [] |
postgresExtensions.host | PostgreSQL ডাটাবেস হোস্ট | ilum-postgresql-0.ilum-postgresql-hl |
postgresExtensions.port | PostgreSQL ডাটাবেস পোর্ট | 5432 |
postgresExtensions.databasesToCreate | তৈরি করতে ডাটাবেসের কমা পৃথক তালিকা | মার্কেজ, এয়ারফ্লো, মেটাস্টোর |
postgresExtensions.auth.username | PostgreSQL অ্যাকাউন্ট ব্যবহারকারীর নাম | ইলুম |
postgresExtensions.auth.password | PostgreSQL অ্যাকাউন্ট পাসওয়ার্ড | দয়া করে আমাকে পরিবর্তন করুন |
postgresExtensions.nodeSelector | PostgreSQL Extensions pods node selector | {} |
পোস্টগ্রেস এক্সটেনশনস.টলারেশন | PostgreSQL এক্সটেনশন পডস সহনশীলতা | [] |
৩. ইলুম-এআইও চার্টে লোকি এবং প্রমটেল
বৈশিষ্ট্য
ইলুম এআইও চার্টে লোকি এবং প্রমটেল। লোকি একটি অনুভূমিকভাবে স্কেলেবল, অত্যন্ত উপলভ্য, মাল্টি-টেন্যান্ট লগ সমষ্টি সিস্টেম দ্বারা অনুপ্রাণিত প্রমিথিউস।
প্রমটেল হ'ল একটি এজেন্ট যা স্থানীয় লগের সামগ্রীগুলি গ্রাফানা লোকি দৃষ্টান্তে প্রেরণ করে। ইলাম এখন স্পার্ক জব পড থেকে লগগুলি একত্রিত করতে লোকি ব্যবহার করবে
কাজ শেষ হওয়ার পরে ক্লাস্টার সংস্থানগুলি পরিষ্কার করতে সক্ষম হওয়া। লোকি এবং প্রমটেল তাদের সমাপ্তির পরে কাজের লগগুলি আনার জন্য কেবল ইলাম দ্বারা চালিত স্পার্ক পডগুলি থেকে লগগুলি স্ক্র্যাপ করার জন্য প্রাক-কনফিগার করা হয়।
মান যোগ করা হয়েছে - ইলুম-কোর
লগ সমষ্টি কনফিগারেশন কনফিগারেশন
| নাম | বর্ণনা | মান |
|---|
গ্লোবাল.লগএগ্রিগেশন.সক্ষম | ইলাম লগ সমষ্টি পতাকা, যদি সক্ষম করা হয় তবে ইলাম লোকি থেকে সমাপ্ত কুবারনেটস স্পার্ক পডগুলির লগ আনবে | মিথ্যা |
global.logAggregation.loki.url | লগগুলি অ্যাক্সেস করতে Loki গেটওয়ে ঠিকানা | http://ilum-loki-gateway |
মান যোগ করা হয়েছে - ইলুম-এআইও
লগ সমষ্টি - Loki config
| নাম | বর্ণনা | মান |
|---|
loki.nameOverride | সাবচার্ট নাম ওভাররাইড | ইলুম-লোকি |
loki.monitoring.selfMonitoring.enabled | স্ব-পর্যবেক্ষণ সক্ষম পতাকা | মিথ্যা |
loki.monitoring.selfMonitoring.grafanaAgent.installOperator | স্ব-পর্যবেক্ষণ গ্রাফিনা এজেন্ট অপারেটর ইনস্টল পতাকা | মিথ্যা |
loki.monitoring.selfMonitoring.lokiCanary.enabled | স্ব-পর্যবেক্ষণ ক্যানারি সক্ষম পতাকা | মিথ্যা |
loki.test.enabled | পরীক্ষা সক্ষম পতাকা | মিথ্যা |
loki.loki.auth_enabled | প্রমাণীকরণ সক্ষম পতাকা | মিথ্যা |
loki.loki.storage.bucketNames.chunks | স্টোরেজ খণ্ড বালতি | ইলুম-ফাইল |
loki.loki.storage.bucketNames.ruler | স্টোরেজ শাসক বালতি | ইলুম-ফাইল |
loki.loki.storage.bucketNames.admin | স্টোরেজ অ্যাডমিন বালতি | ইলুম-ফাইল |
loki.loki.storage.type | স্টোরেজ টাইপ | এস৩ |
loki.loki.s3.endpoint | এস 3 স্টোরেজ এন্ডপয়েন্ট | http://ilum-minio:9000 |
loki.loki.s3.region | এস 3 স্টোরেজ এন্ডপয়েন্ট | ইউএস-ইস্ট-১ |
loki.loki.s3.secretAccessKey | S3 স্টোরেজ গোপন অ্যাক্সেস কী | মিনিওঅ্যাডমিন |
loki.loki.s3.accessKeyId | S3 স্টোরেজ অ্যাক্সেস কী ID | মিনিওঅ্যাডমিন |
loki.loki.s3.s3ForcePathStyle | এস 3 স্টোরেজ পাথ স্টাইল অ্যাক্সেস ফ্ল্যাগ | সত্য |
loki.loki.s3.insecure | এস 3 স্টোরেজ অনিরাপদ পতাকা | সত্য |
loki.loki.compactor.retention_enabled | লগ ধারণ সক্ষম পতাকা | সত্য |
loki.loki.compactor.deletion_mode | মোছার মোড | ফিল্টার-এবং-মুছুন |
loki.loki.compactor.shared_store | শেয়ার্ড স্টোর | এস৩ |
loki.loki.limits_config.অ্যালো_ডিলিট | লগ মোছার অনুমতি দিন পতাকা | সত্য |
লগ সমষ্টি - Loki config
| নাম | বর্ণনা | মান |
|---|
promtail.config.clients[0].url | প্রথম ক্লায়েন্ট URL | http://ilum-loki-write:3100/loki/api/v1/push |
promtail.snippets.pipelineStages[0].match.selector | নন আইলুম লগ সিলেক্টর ড্রপ করার জন্য পাইপলাইন পর্যায় | {ilum_logAggregation!="সত্য"} |
promtail.snippets.pipelineStages[0].match.action | পাইপলাইন স্টেজ ড্রপ নন আইএলএম লগ অ্যাকশন | নিক্ষেপ |
প্রোমটেল.স্নিপেটস.পাইপলাইনস্টেজ[0].match.drop_counter_reason | পাইপলাইন পর্যায় অ ইলুম লগ ড্রপ drop_counter_reason | non_ilum_log |
promtail.snippets.extraRelabelConfigs[0].action | ইলাম পড লেবেলগুলি ক্রিয়া রাখতে কনফিগ পুনরায় লেবেল করুন | লেবেলম্যাপ |
promtail.snippets.extraRelabelConfigs[0].regex | ইলাম পড লেবেল রেজেক্স রাখতে কনফিগ পুনরায় লেবেল করুন | __meta_kubernetes_pod_label_ilum(.*) |
promtail.snippets.extraRelabelConfigs[0].replacement | ইলাম পড লেবেল প্রতিস্থাপন রাখতে কনফিগ পুনরায় লেবেল করুন | ইলম ${1} |
promtail.snippets.extraRelabelConfigs[1].action | স্পার্ক পড লেবেল অ্যাকশন রাখতে কনফিগ পুনরায় লেবেল করুন | লেবেলম্যাপ |
promtail.snippets.extraRelabelConfigs[1].regex | স্পার্ক পড লেবেল রেজেক্স রাখতে কনফিগ পুনরায় লেবেল করুন | __meta_kubernetes_pod_label_spark(.*) |
promtail.snippets.extraRelabelConfigs[1].replacement | স্পার্ক পড লেবেল প্রতিস্থাপন রাখতে কনফিগ পুনরায় লেবেল করুন | স্পার্ক${1} |
রিলিজ ৬.১.১
1. ইলাম ইন্টারেক্টিভ কাজের জন্য স্বাস্থ্য পরীক্ষা যোগ করা হয়েছে
বৈশিষ্ট্য
ইলাম গ্রুপগুলির অপ্রত্যাশিত ক্রাশের পরিস্থিতি রোধ করতে আমরা স্বাস্থ্য পরীক্ষা যুক্ত করেছি যাতে তারা তাদের মতো কাজ করে তা নিশ্চিত করার জন্য।
মান যোগ করা হয়েছে - ইলুম-কোর
ইলাম-জব প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
জব.হেলথচেক.এনাল্ড | স্পার্ক ইন্টারেক্টিভ জবস হেলথচেক সক্ষম পতাকা | সত্য |
জব.হেলথচেক.ইন্টারভাল | স্পার্ক ইন্টারেক্টিভ জবস সেকেন্ডের মধ্যে বিরতি | 300 |
জব.হেলথচেক.টলারেন্স | স্পার্ক ইন্টারেক্টিভ জবস সেকেন্ডের মধ্যে প্রতিক্রিয়া সময় সহনশীলতা স্বাস্থ্য পরীক্ষা করুন | 120 |
2. আইলাম স্কেলেবল পরিষেবাগুলির জন্য প্যারামিটারাইজড প্রতিরূপ স্কেল
বৈশিষ্ট্য
ইলাম স্কেলেবল পরিষেবাগুলির জন্য প্রতিরূপগুলির সংখ্যার কনফিগারেশনটি হেলম মানগুলিতে বের করা হয়েছিল।
মান যোগ করা হয়েছে - ইলুম-কোর
আইলুম-কোর সাধারণ পরামিতি
| নাম | বর্ণনা | মান |
|---|
রেপ্লিকাগণনা | ইলুম-কোর প্রতিরূপের সংখ্যা | 1 |
মান যোগ করা হয়েছে - ইলুম-ইউআই
ilum-ui সাধারণ পরামিতি
| নাম | বর্ণনা | মান |
|---|
রেপ্লিকাগণনা | ইলুম-ইউআই প্রতিরূপের সংখ্যা | 1 |
রিলিজ ৬.১.০
1. ইলাম ক্লাস্টার ওয়াবস স্টোরেজ থেকে অপ্রয়োজনীয় পরামিতি মুছে ফেলা হয়েছে
বৈশিষ্ট্য
ডাব্লুএএসবিএস স্টোরেজ পাত্রে আর হেলমের মানগুলিতে সাস টোকেন পোরভিড করার দরকার নেই কারণ এটি অপ্রয়োজনীয় বলে প্রমাণিত হয়েছিল
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
ওয়াবস স্টোরেজ পরামিতি
| নাম | কারণে |
|---|
kubernetes.wasbs.sparkContainer.name | সরানো হয়েছে kubernetes.wasbs.sparkContainer মান |
kubernetes.wasbs.sparkContainer.sasToken | অপ্রয়োজনীয় হয়ে গেল |
kubernetes.wasbs.dataContainer.name | সরানো হয়েছে kubernetes.wasbs.dataContainer মান |
kubernetes.wasbs.dataContainer.sasToken | অপ্রয়োজনীয় হয়ে গেল |
মান যোগ করা হয়েছে - ইলুম-কোর
ওয়াবস স্টোরেজ পরামিতি
| নাম | বর্ণনা | মান |
|---|
kubernetes.wasbs.sparkContainer | ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম স্পার্ক সংস্থানগুলি সঞ্চয় করতে | ইলুম-ফাইল |
kubernetes.wasbs.dataContainer | ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম ইলাম টেবিলগুলি সংরক্ষণ করতে | ইলাম-টেবিল |
2. পরিষেবা প্রাপ্যতা পরীক্ষা করতে init ধারক যোগ করা হয়েছে
বৈশিষ্ট্য
ইলুম মোতায়েনকে আরও সুন্দরভাবে করার জন্য, এখন থেকে ইলুম পাত্রে তারা নির্ভর করে এমন পরিষেবাগুলির প্রাপ্যতার জন্য অপেক্ষা করছে।
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
mongo.statusProbe.enabled | মঙ্গো স্ট্যাটাস প্রোব সক্রিয় পতাকা | সত্য |
mongo.statusProbe.image | ইনিট ধারক যা মঙ্গোডব উপলভ্য চিত্রের জন্য অপেক্ষা করে | মঙ্গো:৭.০.৫ |
kafka.statusProbe.enabled | কাফকা স্ট্যাটাস প্রোব সক্রিয় পতাকা | সত্য |
kafka.statusProbe.image | ইনিট ধারক যা কাফকা উপলভ্য হওয়ার জন্য অপেক্ষা করে চিত্র | বিটনামি/কাফকা:৩.৪.১ |
historyServer.statusProbe.enabled | আইলুম ইতিহাস সার্ভার আইলুম-কোর স্থিতি প্রোব সক্ষম পতাকা | সত্য |
historyServer.statusProbe.image | আইলুম ইতিহাস সার্ভার ইনিট ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে | কার্লচিত্র / কার্ল: 8.5.0 |
মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি
| নাম | বর্ণনা | মান |
|---|
স্ট্যাটাসপ্রোব.সক্ষম | আইএলইউএম-কোর স্ট্যাটাস প্রোব সক্ষম পতাকা | সত্য |
স্ট্যাটাসপ্রোব.ইমেজ | আইএনআইটি ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে | কার্লচিত্র / কার্ল: 8.5.0 |
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
স্ট্যাটাসপ্রোব.সক্ষম | আইএলইউএম-কোর স্ট্যাটাস প্রোব সক্ষম পতাকা | সত্য |
স্ট্যাটাসপ্রোব.ইমেজ | আইএনআইটি ধারক যা আইএলইউএম-কোর উপলভ্য চিত্রের জন্য অপেক্ষা করে | কার্লচিত্র / কার্ল: 8.5.0 |
৩. ইলুম-কোর চার্টে প্যারামিটারাইজড কাফকা প্রযোজক
বৈশিষ্ট্য
কাফকা কমিউনিকেশন মোডে ইলুম ইন্টারেক্টিভ জব প্রতিক্রিয়া কাফকা প্রযোজকদের ব্যবহার করে ইন্টারেক্টিভ কাজের দৃষ্টান্ত। নতুন যোগ করা হেলম মান সঙ্গে, কাফকা প্রযোজক ব্যবহারকারীর চাহিদা মেলে অভিযোজিত করা যেতে পারে।
মান যোগ করা হয়েছে - ইলুম-কোর
কাফকা প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
kafka.maxPollRecords | কাফকা ম্যাক্স.পোল.রেকর্ডস ইলুম জবস কাফকা কনজিউমারের জন্য প্যারামিটার, এটি নির্ধারণ করে যে প্রতিটি পোলের সাথে ইলুম-জব কাফকা গ্রাহক কতটা অনুরোধ পাবেন | 500 |
kafka.maxPollInterval | কাফকা max.poll.interval.ms ইলুম জবস কাফকা ভোক্তার জন্য প্যারামিটার, এটি পোলের আহ্বানের মধ্যে সর্বাধিক বিলম্ব নির্ধারণ করে, যা আইএলইউএম-জব প্রসঙ্গে পোলে আনা অনুরোধগুলি প্রক্রিয়াকরণের জন্য সময়সীমা | 60000 |
রিলিজ 6.1.0-আরসি 1
1. পরিষেবা টীকা জন্য সমর্থন যোগ করা হয়েছে
বৈশিষ্ট্য
ইলাম হেলম চার্ট পরিষেবাদি টীকাগুলি এখন হেলম মানগুলির মাধ্যমে কনফিগার করা যেতে পারে
মান যোগ করা হয়েছে - ইলুম-কোর
পরিষেবা পরামিতি
| নাম | বর্ণনা | মান |
|---|
সার্ভিস.টীকা | পরিষেবা টীকা | {} |
grpc.service.annotations | জিআরপিসি পরিষেবা টীকা | {} |
historyServer.service.annotations | ইতিহাস সার্ভার পরিষেবা টীকা | {} |
মান যোগ করা হয়েছে - ইলুম-জুপিটার
পরিষেবা পরামিতি
| নাম | বর্ণনা | মান |
|---|
সার্ভিস.টীকা | পরিষেবা টীকা | {} |
মান যোগ করা হয়েছে - ইলুম-লিভি-প্রক্সি
পরিষেবা পরামিতি
| নাম | বর্ণনা | মান |
|---|
সার্ভিস.টীকা | পরিষেবা টীকা | {} |
মান যোগ করা হয়েছে - ইলুম-ইউআই
পরিষেবা পরামিতি
| নাম | বর্ণনা | মান |
|---|
সার্ভিস.টীকা | পরিষেবা টীকা | {} |
মান যোগ করা হয়েছে - ইলুম-জেপেলিন
পরিষেবা পরামিতি
| নাম | বর্ণনা | মান |
|---|
সার্ভিস.টীকা | পরিষেবা টীকা | {} |
2. গ্লোবাল ভ্যালুতে সিকিউরিটি ওঅথ 2 প্যারামিটার টানা
বৈশিষ্ট্য
Ilum Security oauth2 কনফিগারেশন এখন গ্লোবাল ভ্যালুর মাধ্যমে সেট করা হচ্ছে
মান যোগ করা হয়েছে - ইলুম-এআইও
নিরাপত্তা পরামিতি
| নাম | বর্ণনা | মান |
|---|
global.security.oauth2.clientId | oauth2 ক্লায়েন্ট ID | `` |
গ্লোবাল.সিকিউরিটি.ওউথ 2.ইস্যুআরইউরি | ওঅথ 2 ইউআরআই যা হয় একটি ওপেনআইডি কানেক্ট ডিসকভারি এন্ডপয়েন্ট বা আরএফসি 8414 দ্বারা সংজ্ঞায়িত একটি ওঅথ 2.0 অথরাইজেশন সার্ভার মেটাডেটা এন্ডপয়েন্ট হতে পারে | `` |
গ্লোবাল.সিকিউরিটি.ওউথ২.অডিয়েন্স | Oauth2 শ্রোতা | `` |
global.security.oauth2.clientSecret | OAUTH2 ক্লায়েন্ট সিক্রেট | `` |
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
নিরাপত্তা পরামিতি
| নাম | কারণে | মান |
|---|
security.oauth2.clientId | OAUTH2 সুরক্ষা পরামিতিগুলি এখন বিশ্বব্যাপী মানগুলির মাধ্যমে কনফিগার করা হয়েছে | `` |
security.oauth2.issuerUri | OAUTH2 সুরক্ষা পরামিতিগুলি এখন বিশ্বব্যাপী মানগুলির মাধ্যমে কনফিগার করা হয়েছে | `` |
3. ফ্রন্টএন্ডের জন্য রানটাইম পরিবেশ ভেরিয়েবল
বৈশিষ্ট্য
ফ্রন্টএন্ড এনভায়রনমেন্ট ভেরিয়েবলের জন্য কনফিগারেশন হেলম ইউআই মানগুলির মাধ্যমে।
মান যোগ করা হয়েছে - ইলুম-ইউআই
রানটাইম ভেরিয়েবল
| নাম | বর্ণনা | মান |
|---|
runtimeVars.defaultConfigMap.enabled | ফ্রন্টএন্ড রানটাইম এনভায়রনমেন্ট ভেরিয়েবলের জন্য ডিফল্ট কনফিগ মানচিত্র | সত্য |
runtimeVars.debug | ডিবাগ লগিং পতাকা | মিথ্যা |
runtimeVars.backenUrl | আইএলইউএম-কোর ব্যাকএন্ড ইউআরএল | http://ilum-core:9888 |
runtimeVars.historyServerUrl | ইতিহাস সার্ভার UI এর URL | http://ilum-history-server:9666 |
runtimeVars.jupyterUrl | Jupyter UI এর URL | http://ilum-jupyter:8888 |
runtimeVars.airflowUrl | এয়ারফ্লো ইউআই এর URL | http://ilum-webserver:8080 |
runtimeVars.minioUrl | MINIO UI এর URL | http://ilum-minio:9001 |
runtimeVars.mlflowUrl | MLFLOW UI এর URL | http://mlflow:5000 |
runtimeVars.historyServerPath | Ilum-ui প্রক্সি পাথ টু হিস্ট্রি সার্ভার ইউআই | /বহিরাগত/ইতিহাস-সার্ভার/ |
রানটাইমভার্স.জুপিটারপাথ | ইলুম-ইউআই প্রক্সি পাথ টু জুপিটার ইউআই | /বহিরাগত/জুপিটার/ল্যাব/ট্রি/ওয়ার্ক/ইলুমইন্ট্রো.আইপিএনবি |
রানটাইমভার্স.এয়ারফ্লোপাথ | ইলুম-ইউআই প্রক্সি পাথ টু এয়ারফ্লো ইউআই | / বাহ্যিক / বায়ু প্রবাহ / |
runtimeVars.dataPath | ইলুম-ইউআই মিনিও ইউআইয়ের প্রক্সি পাথ | /বাহ্যিক/মিনিও/ |
runtimeVars.mlflowPath | ইলুম-ইউআই প্রক্সি পাথ টু এমএলফ্লো ইউআই | / বাহ্যিক / এমএলফ্লো / |
মানগুলি মুছে ফেলা হয়েছে - ইলুম-ইউআই
| নাম | কারণে |
|---|
ডিবাগ | রানটাইমভার্স বিভাগে সরানো হয়েছে |
backenUrl | রানটাইমভার্স বিভাগে সরানো হয়েছে |
historyServerUrl | রানটাইমভার্স বিভাগে সরানো হয়েছে |
jupyterUrl | রানটাইমভার্স বিভাগে সরানো হয়েছে |
এয়ারফ্লো ইউআরএল | রানটাইমভার্স বিভাগে সরানো হয়েছে |
৪. ইলুম-এআইও চার্টে কুব-প্রমিথিউস-স্ট্যাক
বৈশিষ্ট্য
ইলুম এআইও চার্টে কুবে প্রমিথিউস স্ট্যাক। ইলাম পডগুলির মেট্রিক্স সংগ্রহ করতে ও ইলাম দ্বারা চালিত স্পার্ক জবগুলি সংগ্রহ করার জন্য স্বয়ংক্রিয়ভাবে ইলাম স্থাপনার সাথে কাজ করার জন্য প্রাক-কনফিগার করা।
ইলাম ইলাম এবং ইলাম ব্যাকএন্ড পরিষেবাদি দ্বারা চালিত স্পার্ক ড্রাইভার পডগুলি থেকে স্বয়ংক্রিয়ভাবে মেট্রিকগুলি স্ক্র্যাপ করতে প্রমিথিউস পরিষেবা মনিটর সরবরাহ করে।
অতিরিক্তভাবে, ilum_aio চার্টটি অন্তর্নির্মিত গ্রাফানা ড্যাশবোর্ড সরবরাহ করে যা এতে পাওয়া যাবে ইলুম ফোল্ডার।
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
Kube-prometheus-stack.enabled | কুব-প্রমিথিউস-স্ট্যাক সক্ষম পতাকা | মিথ্যা |
kube-prometheus-stack.releaseLabel | কুবে-প্রমিথিউস-স্ট্যাক পতাকা শুধুমাত্র ilum_aio রিলিজ থেকে রিসোর্স দেখতে | সত্য |
kube-prometheus-stack.kubeStateMetrics.enabled | কুব-প্রমিথিউস-স্ট্যাক কম্পোনেন্ট স্ক্র্যাপিং কুব স্টেট মেট্রিক্স সক্ষম পতাকা | মিথ্যা |
kube-prometheus-stack.nodeExporter.enabled | Kube-prometheus-stack node Exporter Daemon সেট স্থাপনার পতাকা | মিথ্যা |
Kube-prometheus-stack.alertmanager.enabled | Kube-prometheus-stack সতর্কতা ম্যানেজার পতাকা | মিথ্যা |
kube-prometheus-stack.grafana.sidecar.dashboards.folderAnnotation | কুব-প্রমিথিউস-স্ট্যাক, যদি নির্দিষ্ট করা হয় তবে সাইডকার ফোল্ডার তৈরি করতে এবং এখানে গ্রাফ রাখতে এই নামের সাথে টীকা সন্ধান করবে | grafana_folder |
kube-prometheus-stack.grafana.sidecar.dashboards.provider.foldersFromFilesStructure | Kube-prometheus-stack, গ্রাফিনাকে ফাইল সিস্টেম থেকে ড্যাশবোর্ড কাঠামো প্রতিলিপি করার অনুমতি দিন | সত্য |
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
জব.প্রমিথিউস.সক্ষম | প্রমিথিউস সক্ষম পতাকা, যদি ইলুম দ্বারা পরিচালিত সত্যিকারের স্পার্ক জব প্রমিথিউস ফর্ম্যাটে মেট্রিকগুলি ভাগ করে নেবে | সত্য |
৫. ইলুম-এআইও চার্টে মার্কেজ ওপেন লিনিয়েজ
বৈশিষ্ট্য
ইলুম এআইও চার্টে মার্কেজ ওপেনলিনিয়েজ। মার্কেজ একটি সংস্থা জুড়ে ওপেনলিনেজ মেটাডেটা গ্রহণ, সঞ্চয় এবং ভিজ্যুয়ালাইজ করতে সক্ষম করে,
ডেটা গভর্নেন্স, ডেটা কোয়ালিটি মনিটরিং এবং পারফরম্যান্স অ্যানালিটিক্স সহ ব্যবহারের ক্ষেত্রে পরিবেশন করা। ইলুম এআইও হেলম স্ট্যাক স্পার্ক জব ইলুম দ্বারা পরিচালিত মার্কেজ ব্যাকএন্ডের সাথে বংশের তথ্য ভাগ করে নেবে।
মার্কেজ ওয়েব ইন্টারফেস স্পার্ক জব থেকে সংগৃহীত ডেটা লিয়েনেজ তথ্য ভিজ্যুয়ালাইজ করে এবং এটি আইফ্রেম হিসাবে ইলাম ইউআই এর মাধ্যমে অ্যাক্সেসযোগ্য।
মান যোগ করা হয়েছে - ইলুম-এআইও
| নাম | বর্ণনা | মান |
|---|
গ্লোবাল.লিনিয়েজ.এনাল্ড | মার্কেজ সক্রিয় পতাকা | মিথ্যা |
মান যোগ করা হয়েছে - ইলুম-কোর
| নাম | বর্ণনা | মান |
|---|
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.টাইপ | মার্কেজ যোগাযোগের ধরন | এইচটিটিপি |
job.openLineage.transport.serverUrl | মার্কেজ ব্যাকএন্ড ইউআরএল | http://ilum-marquez:9555/ |
জব.ওপেনলিনিয়েজ.ট্রান্সপোর্ট.এন্ডপয়েন্ট | মার্কেজ ব্যাকএন্ড এন্ডপয়েন্ট | / বাহ্যিক / বংশ / এপিআই / ভি 1 / বংশ |
মান যোগ করা হয়েছে - ইলুম-মার্কেজ
নতুন যোগ করা পুরো চার্ট, এর মানগুলি পরীক্ষা করুন চার্ট পৃষ্ঠা
মান যোগ করা হয়েছে - ইলুম-ইউআই
| নাম | বর্ণনা | মান |
|---|
runtimeVars.lineageUrl | ইউআরএল মার্কেজ ওপেনলাইনেজ ইউআই আইফ্রেম সরবরাহ করার জন্য | http://ilum-marquez-web:9444 |
রানটাইমভার্স.লিনিয়েজপাথ | ইলুম-ইউআই প্রক্সি পাথ টু মার্কেজ ওপেনলাইনেজ ইউআই | /বহিরাগত/বংশানুক্রমিক/ |
রিলিজ ৬.০.৩
1. ইলুম-কোর চার্টে প্যারামিটারাইজড কাফকা প্রযোজক সর্বোচ্চ.অনুরোধ.আকার পরামিতি
বৈশিষ্ট্য
কাফকা কমিউনিকেশন মোডে ইলুম ইন্টারেক্টিভ জব প্রতিক্রিয়া কাফকা প্রযোজকদের ব্যবহার করে ইন্টারেক্টিভ কাজের দৃষ্টান্ত। নতুন যুক্ত হেলম মান সর্বোচ্চ.অনুরোধ.আকারের কাফকা প্রযোজক প্যারামিটারটি প্রতিক্রিয়া আকারের প্রয়োজনীয়তার সাথে মেলে অভিযোজিত হতে পারে।
মান যোগ করা হয়েছে - ইলুম-কোর
কাফকা প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
kafka.requestSize | ইলুম জবস কাফকা প্রযোজকদের জন্য কাফকা ম্যাক্স.রিকোয়েস্ট.সাইজ প্যারামিটার | 20000000 |
রিলিজ ৬.০.২
1. আইলুম-কোর চার্টে এইচডিএফএস, জিসিএস এবং অ্যাজুর ব্লব স্টোরেজের জন্য সমর্থন
বৈশিষ্ট্য
আইলাম ক্লাস্টারকে আর এস 3 স্টোরেজের সাথে সংযুক্ত করতে হবে না, এখন থেকে ডিফল্ট ক্লাস্টারটি স্টোরেজ হিসাবে এইচডিএফএস, জিসিএস অথবা অ্যাজুর ব্লব ব্যবহার করতে কনফিগার করা যেতে পারে। এটা আইলুম-কোর হেলম চার্টে নতুন যুক্ত হওয়া মানগুলি ব্যবহার করে অর্জন করা যেতে পারে।
মানগুলি মুছে ফেলা হয়েছে - ইলুম-কোর
| নাম | কারণে |
|---|
kubernetes.s3.bucket | এখন থেকে দুটি পৃথক বালতি নতুন মান সঙ্গে সেট করা আবশ্যক: kubernetes.s3.sparkBucket , kubernetes.s3.dataBucket |
মান যোগ করা হয়েছে - ইলুম-কোর
Kubernetes স্টোরেজ প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
kubernetes.upgradeClusterOnStartup | কনফিগারেশন মানচিত্র পতাকায় মানগুলি থেকে ডিফল্ট কুবারনেটস ক্লাস্টার আপগ্রেড | মিথ্যা |
kubernetes.storage.type | ডিফল্ট কুবারনেটস ক্লাস্টার স্টোরেজ টাইপ, উপলভ্য বিকল্পগুলি: এস৩ , জিসিএস , ওয়াবস , এইচডিএফএস | এস৩ |
এস 3 কুবারনেটস স্টোরেজ পরামিতি
| নাম | বর্ণনা | মান |
|---|
kubernetes.s3.host | স্পার্ক রিসোর্স স্টোর করার জন্য ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ হোস্ট | এস৩ |
kubernetes.s3.port | স্পার্ক সংস্থানগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ পোর্ট | 7000 |
kubernetes.s3.sparkBucket | স্পার্ক সংস্থানগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ বালতি | ইলুম-ফাইল |
kubernetes.s3.dataBucket | ইলাম টেবিলগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ বালতি | ইলাম-টেবিল |
kubernetes.s3.accessKey | স্পার্ক রিসোর্স স্টোর করার জন্য ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ অ্যাক্সেস কী | "" |
kubernetes.s3.secretKey | ডিফল্ট কুবারনেটস ক্লাস্টার এস 3 স্টোরেজ স্পার্ক সংস্থানগুলি সঞ্চয় করার জন্য গোপন কী | "" |
জিসিএস কুবারনেটস স্টোরেজ প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
kubernetes.gcs.clientEmail | default kubernetes cluster GCS Storage client email | "" |
kubernetes.gcs.sparkBucket | ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ বালতি স্পার্ক সংস্থানগুলি সঞ্চয় করতে | "ইলুম-ফাইলস" |
kubernetes.gcs.dataBucket | ডিফল্ট কুবারনেটস ক্লাস্টার জিসিএস স্টোরেজ বালতি ইলাম টেবিলগুলি সংরক্ষণ করতে | "ইলাম-টেবিল" |
kubernetes.gcs.privateKey | ডিফল্ট kubernetes cluster GCS স্টোরেজ ব্যক্তিগত কী টু স্টোর স্পার্ক রিসোর্স | "" |
kubernetes.gcs.privateKeyId | ডিফল্ট kubernetes cluster GCS স্টোরেজ ব্যক্তিগত কী আইডি টু স্টোর স্পার্ক রিসোর্স | "" |
WASBS Kubernetes স্টোরেজ পরামিতি
| নাম | বর্ণনা | মান |
|---|
kubernetes.wasbs.accountName | ডিফল্ট kubernetes cluster WASBS স্টোরেজ অ্যাকাউন্টের নাম | "" |
kubernetes.wasbs.accessKey | ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ অ্যাক্সেস কী স্পার্ক রিসোর্স সংরক্ষণ করতে | "" |
kubernetes.wasbs.sparkContainer.name | ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম স্পার্ক সংস্থানগুলি সঞ্চয় করতে | "ইলুম-ফাইলস" |
kubernetes.wasbs.sparkContainer.sasToken | ডিফল্ট kubernetes cluster WASBS স্টোরেজ container sas token to Store Spark Resources | "" |
kubernetes.wasbs.dataContainer.name | ডিফল্ট কুবারনেটস ক্লাস্টার ডাব্লুএএসবিএস স্টোরেজ ধারক নাম ইলাম টেবিলগুলি সংরক্ষণ করতে | "ইলাম-টেবিল" |
kubernetes.wasbs.dataContainer.sasToken | ডিফল্ট kubernetes cluster WASBS স্টোরেজ container sas token to store ilum tables | "" |
এইচডিএফএস কুবারনেটস স্টোরেজ প্যারামিটার
| নাম | বর্ণনা | মান |
|---|
kubernetes.hdfs.hadoopUsername | ডিফল্ট kubernetes cluster HDFS স্টোরেজ HADOOP ব্যবহারকারীর নাম | "" |
kubernetes.hdfs.config | ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ডিক্ট কনফিগ ফাইলগুলির নাম কী এবং বেস 64 এনকোডেড সামগ্রীকে মান হিসাবে ব্যবহার করে | "" |
kubernetes.hdfs.sparkCatalog | ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ক্যাটালগ স্পার্ক সংস্থানগুলি সঞ্চয় করতে | "ইলুম-ফাইলস" |
kubernetes.hdfs.dataCatalog | আইলাম-টেবিলগুলি সঞ্চয় করতে ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ক্যাটালগ | "ইলাম-টেবিল" |
kubernetes.hdfs.keyTab | ডিফল্ট kubernetes cluster HDFS স্টোরেজ কীট্যাব ফাইল base64 এনকোডেড সামগ্রী | "" |
kubernetes.hdfs.principal | ডিফল্ট kubernetes cluster HDFS স্টোরেজ প্রিন্সিপাল নাম | "" |
kubernetes.hdfs.krb5 | ডিফল্ট kubernetes cluster HDFS স্টোরেজ krb5 ফাইল base64 এনকোডেড সামগ্রী | "" |
kubernetes.hdfs.trustStore | ডিফল্ট kubernetes cluster HDFS storage trustStore ফাইল base64 এনকোডেড সামগ্রী | "" |
kubernetes.hdfs.logDirectory | ডিফল্ট কুবারনেটস ক্লাস্টার এইচডিএফএস স্টোরেজ ডিরেক্টরি ইভেন্ট স্টোর করার পরম পথইতিহাস সার্ভারের জন্য লগ করুন | "" |
গুরুত্বপূর্ণ! নিশ্চিত হয়ে নিন যে এস 3 / জিসিএস বালতি বা ডাব্লুএএসবিএস পাত্রে ইতিমধ্যে তৈরি এবং পৌঁছানো যায়!
2. ইলাম-কোর হেলম চার্ট স্পার্ক ইতিহাস সার্ভার যোগ করা হয়েছে
বৈশিষ্ট্য
স্পার্ক হিস্ট্রি সার্ভার এখন থেকে আইলুম-কোরের সাথে স্থাপন করা যেতে পারে। ইতিহাস সার্ভার কনফিগারেশন প্রতিটি স্পার্ক কাজ ইলুম রান পাস করা হচ্ছে।
ইতিহাস সার্ভার ইউআই এখন ইলুম ইউআই দ্বারা অ্যাক্সেস করা যেতে পারে। যদি সক্ষম করা থাকে তবে এটি কুবারনেটের সাথে কনফিগার করা ডিফল্ট কুবারনেটস ক্লাস্টার স্টোরেজ ব্যবহার করবে। [STORAGE_TYPE]। [প্যারামিটার] ইভেন্টলগ স্টোরেজ হিসাবে মানগুলি।
মান যোগ করা হয়েছে - ইলুম-কোর
ইতিহাস সার্ভার পরামিতি
| নাম | বর্ণনা | মান |
|---|
historyServer.enabled | স্পার্ক ইতিহাস সার্ভার পতাকা | সত্য |
হিস্ট্রিসার্ভার.ইমেজ | স্পার্ক ইতিহাস সার্ভারের চিত্র | ইলাম / স্পার্ক-লঞ্চার: স্পার্ক -3.5.3 |
historyServer.address | স্পার্ক ইতিহাস সার্ভারের ঠিকানা | http://ilum-history-server:9666 |
ইতিহাসসার্ভার.পুলনীতি | স্পার্ক ইতিহাস সার্ভার চিত্র টান নীতি | IfNotPresent |
historyServer.imagePullSecrets | স্পার্ক ইতিহাস সার্ভার চিত্র টান রহস্য | [] |
ইতিহাসসার্ভার.প্যারামিটার | স্পার্ক ইতিহাস সার্ভার কাস্টম স্পার্ক প্যারামিটার | [] |
হিস্ট্রিসার্ভার.রিসোর্সেস | স্পার্ক ইতিহাস সার্ভার পড রিসোর্স | সীমা: মেমোরি: "500 মাইল" অনুরোধ: মেমোরি: "300 মাইল" |
historyServer.service.type | স্পার্ক ইতিহাস সার্ভার পরিষেবার ধরণ | ক্লাস্টারআইপি |
historyServer.service.port | স্পার্ক ইতিহাস সার্ভার সার্ভিস পোর্ট | 9666 |
historyServer.service.nodePort | স্পার্ক ইতিহাস সার্ভার পরিষেবা নোডপোর্ট | "" |
historyServer.service.clusterIP | স্পার্ক ইতিহাস সার্ভার পরিষেবা ক্লাস্টারআইপি | "" |
historyServer.service.loadBalancerIP | স্পার্ক ইতিহাস সার্ভার পরিষেবা লোডব্যালেন্সারআইপি | "" |
historyServer.ingress.enabled | স্পার্ক ইতিহাস সার্ভার প্রবেশের পতাকা | মিথ্যা |
historyServer.ingress.version | স্পার্ক ইতিহাস সার্ভার প্রবেশ সংস্করণ | "v1" |
historyServer.ingress.className | স্পার্ক ইতিহাস সার্ভার প্রবেশ শ্রেণীর নাম | "" |
historyServer.ingress.host | স্পার্ক ইতিহাস সার্ভার প্রবেশ হোস্ট | "হোস্ট" |
historyServer.ingress.path | স্পার্ক ইতিহাস সার্ভার প্রবেশের পথ | "/(.*)" |
historyServer.ingress.pathType | স্পার্ক হিস্ট্রি সার্ভার ইনগ্রেস পাথটাইপ | উপসর্গ |
historyServer.ingress.annotations | স্পার্ক ইতিহাস সার্ভার টীকা | nginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 মি"
nginx.org/client-max-body-size: '৬০০ মিটার' |
সতর্কতা
- নিশ্চিত হয়ে নিন যে HDFS logDirectory (helm value kubernetes.hdfs.logDirectory) /ilum/logs প্রত্যয় সহ কনফিগার করা স্পার্কক্যাটালগের পরম পথ! যেমন জন্য kubernetes.hdfs.sparkCatalog=spark-catalog put hdfs://name-node/user/username/spark-catalog/ilum/logs
৩. ইলাম-কোর চার্টে জব রিটেনশন
বৈশিষ্ট্য
কনফিগার করা ধরে রাখার সময়কালের মেয়াদ শেষ হওয়ার পরে আইলাম চাকরিগুলি মুছে ফেলা হবে
মান যোগ করা হয়েছে - ইলুম-কোর
চাকরি ধরে রাখার পরামিতি
| নাম | বর্ণনা | মান |
|---|
জব.রিটেইন.আওয়ার্স | স্পার্ক জব রিটেনশন আওয়ার লিমিট | 168 |