ನಾವೆಲ್ಲ ಪ್ರತಿನಿತ್ಯ ಚಾಟ್ಜಿಪಿಟಿ, ಜೆಮಿನಿ, ಕ್ಲಾಡ್ಗಳೊಂದಿಗೆ ಚಾಟ್ ಮಾಡ್ತೇವೆ. ಆದರೆ ನಮ್ಮ ಚಾಟ್ ಉದ್ದವಾದಂತೆಲ್ಲ ಇವು ಕೆಲವೊಮ್ಮೆ ತಿಕ್ಕಲುಗಳಂತೆ ಏನೇನೋ ಒದರಲು ಆರಂಭಿಸುತ್ತವೆ. ಸಾಮಾನ್ಯವಾಗಿ ನಾವು ಇದನ್ನು ‘ಹ್ಯಾಲುಸಿನೇಷನ್’ ಅಥವಾ ‘ಭ್ರಮೆ’ ಎಂದು ಆಪಾದಿಸುತ್ತೇವೆ. ಅದು ನಿಜ ಸಹ.
ಆದರೆ ಪ್ರತಿಸಲವೂ ಅದು ‘ಭ್ರಮೆ’ಗಳಾಗಿರುವುದಿಲ್ಲ. ಇದರ ಹಿಂದೆ ‘ಟೋಕನ್’ ಎಂಬ ಚೌಕಾಸಿ ಲೆಕ್ಕಾಚಾರ, ‘ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ’ ಎಂಬ ನೆನಪಿನ ಮಿತಿಗಳ ಸಮಸ್ಯೆಯೂ ಇರುತ್ತವೆ. ಮಜಾ ಏನಂದರೆ ಅನೇಕ ಸಾಫ್ಟ್ವೇರ್ ಎಂಜಿನಿಯರ್ಗಳಿಗೂ ಈ ವಿಷಯ ಗೊತ್ತಿಲ್ಲ. ಇದೊಂಥರ ನಿಗೂಢ ಸಂಗತಿಯಾಗಿ ಉಳಿದಿದೆ.
ನಾವು ಎಐಗೆ ಒಂದು ವಾಕ್ಯ ಕೊಟ್ಟಾಗ, ಅದು ನಮ್ಮಂತೆ ಅಕ್ಷರಗಳನ್ನು ಓದುವುದಿಲ್ಲ. ಬದಲಿಗೆ ಆ ವಾಕ್ಯವನ್ನು ಸಣ್ಣ ಸಣ್ಣ ತುಣುಕುಗಳನ್ನಾಗಿ ವಿಭಜಿಸುತ್ತದೆ. ಈ ತುಣುಕುಗಳನ್ನೇ ನಾವು ‘ಟೋಕನ್’ ಎನ್ನುತ್ತೇವೆ. ಉದಾಹರಣೆಗೆ ʼರಾಮನು ಕಾಡಿಗೆ ಹೋದನುʼ ಎಂಬುದನ್ನು ಎಐ ಮೂರು ಟೋಕನ್ಗಳಾಗಿ ಓದಿಕೊಳ್ಳುತ್ತದೆ ಎಂದಿಟ್ಟುಕೊಳ್ಳೋಣ.
ನಮ್ಮ ಫೋನ್ ಅಥವಾ ಲ್ಯಾಪ್ಟಾಪ್ನ ಬ್ರೌಸರ್ನಲ್ಲಿ ತೆರೆದುಕೊಳ್ಳುವ ಚಾಟ್ಜಿಪಿಟಿ/ಜೆಮಿನಿ/ಕ್ಲಾಡ್ ಎಂಬ ಏನು ಆಪ್ ಇದಾವೋ ಅವು ವಾಟ್ಸಾಪ್ನಂತಹ ಒಂದು ‘ಆಪ್’ ಅಷ್ಟೇ. ಅವು ʼಎಐʼ ಅಲ್ಲ. ಅಸಲಿ ಎಐ ಮೆದುಳು(ಎಲ್ಎಲ್ಎಂ) ಎಲ್ಲೋ ದೂರದ ಡೇಟಾ ಸೆಂಟರ್ನಲ್ಲಿ ಕುಳಿತಿರುತ್ತದೆ. ಅಚ್ಚರಿಯ ವಿಷಯವೆಂದರೆ, ಈ ಮೆದುಳಿಗೆ ತನ್ನಿಂತಾನೇ ಯಾವ ನೆನಪೂ ಇರುವುದಿಲ್ಲ! ಇದೊಂಥರ ʼಘಜನಿʼ ಇದ್ದಂಗೆ. ತಾಂತ್ರಿಕ ಭಾಷೆಯಲ್ಲಿ ಇದನ್ನು ‘ಸ್ಟೇಟ್ಲೆಸ್’ (Stateless) ಎನ್ನುತ್ತಾರೆ — ಅಂದರೆ ನೀವು ಕಳುಹಿಸುವ ಪ್ರತಿಯೊಂದು ಸಂದೇಶವೂ ಅದಕ್ಕೆ ಹೊಸದಾಗಿರುತ್ತದೆ. ನೀವು ಸಹ ಹೊಸಬರಾಗಿರುತ್ತೀರಿ!
ಉದಾಹರಣೆಗೆ, ನಾನು ನೀವು ವಾಟ್ಸಾಪ್ನಲ್ಲಿ ಚಾಟ್ ಮಾಡ್ತೀವಿ ಅಂದುಕೊಳ್ಳೋಣ. ನಾನು ಹಾಯ್ ಅಂತೀನಿ. ನೀವು ಹಲೋ ಅಂತೀರಿ. ನಾನು ಊಟ ಆಯ್ತಾ ಕೇಳ್ತೀನಿ. ನೀವು ಆಯ್ತು ಅಂತೀರಿ. ನಾನು ಎಲ್ಲಿದ್ದೀರಿ? ಕೇಳ್ತೀನಿ. ನೀವು ಜೆಪಿನಗರದಲ್ಲಿದ್ದೀನಿ ಅಂತೀರಿ. ಮೂರನೆಯ ಪ್ರಶ್ನೆ ಕೇಳುವಷ್ಟರಲ್ಲಿ ನನಗೆ ನಿಮ್ಮ ಊಟ ಆಗಿರುವುದು ಗೊತ್ತಿರುತ್ತದೆ, ಮತ್ತು ನಾನು ನಿಮ್ಮೊಂದಿಗೇನೆ ಮಾತಾಡ್ತಿದ್ದೇನೆ ಎಂಬುದೂ ಗೊತ್ತಿರುತ್ತದೆ. ಅದೇ ನೀವು ಡೇಟಾಸೆಂಟರ್ನಲ್ಲಿರುವ ಎಲ್ಎಲ್ಎಂಗೆ ಒಂದಷ್ಟು ʼಮ್ಯಾಜಿಕ್ʼ ಮಾಡದೇ ʼಊಟ ಆಯ್ತಾ?ʼ ಅಂತ ಕೇಳಿಬಿಟ್ಟರೆ, ನೀನ್ಯಾರಪ್ಪ ಅನ್ನುತ್ತದೆ. ಅದಕ್ಕೂ ಮೊದಲು ʼನಾನ್ಯಾರು?ʼ ಅಂತಲೂ ಕೇಳಿಬಿಡುತ್ತದೆ!
ಹಾಗಾದರೆ ಇದೆಲ್ಲ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ? ಆ ಮ್ಯಾಜಿಕ್ ಅಂದೆನಲ್ಲ ಅದೇನು?
ನೀವು ಪ್ರತಿ ಬಾರಿ ಹೊಸ ಪ್ರಶ್ನೆ ಕೇಳ್ತೀರಲ್ಲ, ನೀವು ಟೈಪ್ ಮಾಡುವ ಫೋನಿನ ಅಥವಾ ಬ್ರೌಸರಿನ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ ನಿಮ್ಮ ಹಿಂದಿನ ಎಲ್ಲ ಮಾತುಕತೆಯನ್ನು ಅಕ್ಷರಶಃ ‘ಕಾಪಿ-ಪೇಸ್ಟ್’ ಮಾಡಿ, ಹೊಸ ಪ್ರಶ್ನೆಯ ಜೊತೆಗೆ ಸರ್ವರ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ! ಅರರೆ, ಇದೇನಿದು ಪ್ರತಿ ಸಲ ಪಾಪ ಎಐ ತಲೆಯೊಳಗೆ ಕಸ ಸುರಿದಂಗಾಯ್ತಲ್ಲ ಅನ್ನಿಸುತ್ತೆ ಅಲ್ಲವೇ? ಅದು ಹೌದು. ಅದು ಇರುವುದೇ ಹಾಗೆ.
ಮೇಲಿನ ಉದಾಹರಣೆಯಲ್ಲಿ ನೀವು ಎಐ ಆಗಿದ್ದು ನಾನು ʼಊಟ ಆಯ್ತಾ?ʼ ಅಂತ ಕೇಳುವಾಗ ನನ್ನ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ ನಿಮಗೆ ನನ್ನ ಹಿಂದಿನ ʼಹೈ ಹಲೋʼಗಳನ್ನೂ ಸೇರಿಸಿ ಕಳಿಸಿರುತ್ತದೆ. ನನ್ನ ನಂತರದ ಪ್ರಶ್ನೆ ʼಎಲ್ಲಿದ್ದೀರಿ?ʼನಲ್ಲಿ ʼಹೈ ಹಲೋ ಊಟ ಆಯ್ತಾ, ಹೂ ಆಯ್ತುʼಗಳನ್ನೂ ಸೇರಿಸಿ ಕಳಿಸಿರುತ್ತದೆ. ಈ ಲೇಖನ ಇಲ್ಲಿಗೆ ನಿಲ್ಲಿಸಿ ಹೋಗಿ ನಿಮ್ಮ ಎಐ ಚಾಟ್ ವಿಂಡೋ ಒಮ್ಮೆ ನೋಡಿಕೊಂಡು ನಾನು ಹೇಳಿದ್ದು ಅರಗಿಸಿಕೊಂಡು ಮತ್ತೆ ಬನ್ನಿ.
ಈಗ ಇನ್ನೊಂದು ಮುಖ್ಯ ವಿಷಯಕ್ಕೆ ಬರೋಣ.
ಇಂದು ಜಗತ್ತಿನ ಪ್ರಮುಖ ಎಐ ಕಂಪೆನಿಗಳು ತಮ್ಮ ಮಾಡೆಲ್ಗಳ ನೆನಪಿನ ಶಕ್ತಿಯನ್ನು ಹೆಚ್ಚಿಸಿಕೊಳ್ಳಲು ತೀವ್ರ ಪೈಪೋಟಿ ನಡೆಸುತ್ತಿವೆ. ಈ ನೆನಪಿನ ಶಕ್ತಿಯನ್ನು ‘ಟೋಕನ್’ಗಳಲ್ಲಿ ಅಳೆಯಲಾಗುತ್ತದೆ. ೨೦೨೬ರ ಮಾಹಿತಿಯ ಪ್ರಕಾರ ಜೆಮಿನಿ ಪ್ರಸ್ತುತ ಅತಿ ಹೆಚ್ಚು ನೆನಪಿನ ಶಕ್ತಿ ಹೊಂದಿರುವ ಮಾದರಿ. ಜೆಮಿನಿ ೨.೫ ಪ್ರೊ ಸುಮಾರು ೧೦ ಲಕ್ಷ ಟೋಕನ್ಗಳ ಮಿತಿ ಹೊಂದಿದೆ. ಇದು ಸಾವಿರಾರು ಪುಟಗಳ ಪುಸ್ತಕವನ್ನು ಏಕಕಾಲಕ್ಕೆ ಓದಬಲ್ಲದು ಎಂದರ್ಥ. ಜಿಪಿಟಿ-೫ ಸುಮಾರು ೪ ಲಕ್ಷ ಟೋಕನ್ಗಳ ಇನ್ಪುಟ್ ಮಿತಿ ಮತ್ತು ೧.೨೮ ಲಕ್ಷ ಟೋಕನ್ಗಳ ಔಟ್ಪುಟ್ ಮಿತಿ. ಆಂಥ್ರೋಪಿಕ್ನ ಕ್ಲಾಡ್ದು ೨ ಲಕ್ಷ ಟೋಕನ್ಗಳ ಮಿತಿ.
ಇರಲಿ, ಈಗ ಇವೆಲ್ಲವೂ ಇಷ್ಟು ಲಕ್ಷ ಟೋಕನ್ ಸಾಮರ್ಥ್ಯ ಇಟ್ಟುಕೊಂಡೂ ಯಾಕೆ ಅಷ್ಟು ಬೇಗ ನಮ್ಮ ಜೊತೆ ಮಾತಾಡಿದ್ದು ʼಮರೆತುಹೋಗುತ್ತವೆ?ʼ. ಮೇಲೆ ಹೇಳಿದ ಸಮಸ್ಯೆಯಿಂದಾಗಿ. ಅರ್ಥಾತ್ ಟೋಕನ್ಗಳು ಹೇರಳವಾಗಿದ್ದರೂ ಅವುಗಳ ಸದ್ಭಳಕೆಯಾಗದೇ ಇರುವುದರಿಂದ ಮಾಡೆಲ್ಗಳ ಮೆಮೊರಿಯನ್ನು ಅನಗತ್ಯವಾಗಿ ತುಂಬಿಸಿ ನಾವೇ ಅದರ ಶಕ್ತಿ ಕುಂದಿಸುತ್ತೇವೆ. ಸಾಮಾನ್ಯವಾಗಿ ಈ ಟೋಕನ್ ಮಿತಿ ಮೀರಿದಾಗ ಚಾಟಿಂಗ್ ಆಪ್ ಹಳೆಯ ಚಾಟ್ ಅನ್ನು ಕತ್ತರಿಸುತ್ತದೆ(truncate). ಪಾಪ ಅದು ಡೇಟಾಸೆಂಟರ್ನಲ್ಲಿರುವ ಎಐಗೆ ಹೇಗೆ ಗೊತ್ತಾಗಬೇಕು? ಆಗ ಎಐಗೆ ನೀವು ಮೊದಲು ಏನು ಹೇಳಿದ್ದಿರಿ(ಕತ್ತರಿಸಿದ ಭಾಗ) ಎಂಬುದು ಗೊತ್ತಾಗುವುದಿಲ್ಲ. ಆ ಭಾಗ ಅದು ಕೊಡುವ ಉತ್ತರದಿಂದ ಎಗರಿಹೋಗಿರುತ್ತದೆ.
ಇನ್ನೊಂದು ಗಮನಿಸಿರುತ್ತೀರಿ. ಕ್ಲಾಡ್ನಂತಹ ಆಪ್ಗಳಲ್ಲಿ ತುಂಬಾ ದೀರ್ಘವಾಗಿ ಚಾಟ್ ಮಾಡಿದಾಗ ʼಕಾಂಪ್ಯಾಕ್ಟಿಂಗ್ʼ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಹಾಗಂದರೇನು? ಅದು ಇದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ್ದೇ. ಇದರರ್ಥ, ಕ್ಲಾಡ್ ನಿಮ್ಮ ಹಳೆಯ ಚಾಟ್ ಅನ್ನು ಪೂರ್ತಿಯಾಗಿ ಅಳಿಸಿ, ಅದರ ಒಂದು ಸಣ್ಣ ‘ಸಾರಾಂಶ’ವನ್ನು ಮಾತ್ರ ಇಟ್ಟುಕೊಳ್ಳುತ್ತದೆ. ಇದರ ಸಮಸ್ಯೆ ಎಂದರೆ, ಆ ಸಾರಾಂಶದಲ್ಲಿ ನಿಮ್ಮ ಕೆಲವು ಮುಖ್ಯ ಸೂಚನೆಗಳು ಅಥವಾ ಸಣ್ಣ ವಿವರಗಳು ಮಾಯವಾಗಿಬಿಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ನೀವು ಮೊದಲೇ “ಕನ್ನಡದಲ್ಲೇ ಉತ್ತರಿಸು” ಎಂದು ಹೇಳಿದ್ದರೂ, ಕಾಂಪ್ಯಾಕ್ಟಿಂಗ್ ನಂತರ ಎಐ ಆ ಸೂಚನೆಯನ್ನು ಮರೆತು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ಉತ್ತರಿಸಲು ಶುರು ಮಾಡಬಹುದು.
ಈಗ ಕನ್ನಡದ ವಿಷಯಕ್ಕೆ ಬರುವ.
ಎಐ ಇಂಗ್ಲಿಷ್ ಪದಗಳನ್ನು ಎಐ ಅತ್ಯಂತ ಕಡಿಮೆ ಟೋಕನ್ಗಳಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಲ್ಲದು. ಆದರೆ ಕನ್ನಡದಂತಹ ಭಾರತೀಯ ಭಾಷೆಗಳ ಅಕ್ಷರಗಳು ಮತ್ತು ಒತ್ತಕ್ಷರಗಳು ಸಂಕೀರ್ಣವಾಗಿರುವುದರಿಂದ, ಎಐ ಅವುಗಳನ್ನು ಅನೇಕ ಸಣ್ಣ ಸಣ್ಣ ತುಣುಕುಗಳನ್ನಾಗಿ ಒಡೆಯಬೇಕಾಗುತ್ತದೆ. ಇದಕ್ಕೆ ತಾಂತ್ರಿಕ ಕಾರಣಗಳಿವೆ. ಎಐ ಮಾದರಿಗಳು ಯೂನಿಕೋಡ್ ಎಂಬ ಎನ್ಕೋಡಿಂಗ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸುತ್ತವೆ. ಈ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಇಂಗ್ಲಿಷ್ ಅಕ್ಷರಗಳಿಗೆ ೧ ಬೈಟ್ ಸಾಕಾಗುತ್ತದೆ, ಆದರೆ ಕನ್ನಡದಂತಹ ಭಾಷೆಗಳ ಅಕ್ಷರಗಳಿಗೆ ೨ ರಿಂದ ೩ ಬೈಟ್ಗಳು ಬೇಕಾಗುತ್ತವೆ. ಜೊತೆಗೆ, ಕನ್ನಡದ ಒತ್ತಕ್ಷರಗಳು ಮತ್ತು ಸಂಯುಕ್ತಾಕ್ಷರಗಳು ಇನ್ನಷ್ಟು ಹೆಚ್ಚು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ “Rama went to the forest.” – ಇದಕ್ಕೆ ಕೇವಲ ೫-೬ ಟೋಕನ್ಗಳು ಸಾಕು. ಅದೇ “ರಾಮನು ಕಾಡಿಗೆ ಹೋದನು.” ಇದನ್ನು ಎಐ ಸುಮಾರು ೧೨ ರಿಂದ ೧೫ ಟೋಕನ್ಗಳಾಗಿ ಒಡೆಯುತ್ತದೆ! ಅಂದರೆ, ಅರ್ಥ ಒಂದೇ ಆದರೂ ಕನ್ನಡದ ವಾಕ್ಯ ಎಐನ ಮೆಮೊರಿಯಲ್ಲಿ ಮೂರರಿಂದ ನಾಲ್ಕು ಪಟ್ಟು ಹೆಚ್ಚು ಜಾಗವನ್ನು ಆಕ್ರಮಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಒಬ್ಬ ಇಂಗ್ಲಿಷ್ ಬಳಕೆದಾರ ೧೦೦ ಪುಟಗಳ ಮಾಹಿತಿ ನೀಡಬಹುದಾದ ಸಂದರ್ಭದಲ್ಲಿ, ಒಬ್ಬ ಕನ್ನಡ ಬಳಕೆದಾರ ಕೇವಲ ೨೫-೩೦ ಪುಟಗಳ ಮಾಹಿತಿ ನೀಡುವಷ್ಟರಲ್ಲೇ ಎಐನ ‘ನೆನಪಿನ ಚೀಲ’ ತುಂಬಿ ಹೋಗಬಹುದು.
ಕೊನೆಯದಾಗಿ, ಈ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಸಮಸ್ಯೆ ಪರಿಹರಿಸಿಕೊಳ್ಳಲು ಕೆಲವು ಸಲಹೆಗಳು:
೧. ಒಂದು ವಿಷಯದ ಚರ್ಚೆ ಮುಗಿದ ನಂತರ ಇನ್ನೊಂದು ವಿಷಯಕ್ಕೆ ಹೊಸ ಚಾಟ್ ವಿಂಡೋ ಬಳಸಿ.
೨. ಅನಗತ್ಯ ಪೀಠಿಕೆ ಬಿಟ್ಟು ನೇರ ವಿಷಯಕ್ಕೆ ಬನ್ನಿ. ಅದು ಮಷೀನು. ಮನುಷ್ಯ ಅಲ್ಲ. ಸಾಧ್ಯವಾದಷ್ಟೂ ಮೊದಲ ಪ್ರಶ್ನೆಯಲ್ಲೇ ಇಡೀ ಪ್ರಶ್ನೆಯ ಹಿನ್ನೆಲೆ ಕೊಟ್ಟುಬಿಡಿ.
೩. ನಿಮ್ಮ ಚಾಟ್ ಉದ್ದವಾಗುತ್ತ ಹೋದರೆ ಆಗಾಗ್ಗೆ ಹಳೆಯ ಸೂಚನೆಗಳನ್ನು ನೆನಪಿಸುತ್ತಿರಿ.
೪. “ಇಲ್ಲಿಯವರೆಗೆ ನಾವು ಚರ್ಚಿಸಿದ ವಿಷಯದ ಸಾರಾಂಶ ನೀಡು” ಎಂದು ಕೇಳಿ ಆ ಸಾರಾಂಶವನ್ನು ಎತ್ತಿಕೊಂಡು ಹೊಸ ಚಾಟ್ನಲ್ಲಿ ಹಾಕಿ ಹೊಸದಾಗಿ ಮಾತುಕತೆ ಆರಂಭಿಸಿ.
೫. ಎಐ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಇಂಗ್ಲಿಷ್ಗೆ ಜಾರಿದರೆ ಅಥವಾ ಹಿಂದೆ ಹೇಳಿದ ಮಾತನ್ನು ಮರೆತಂತೆ ತೋರಿದರೆ, ಅದರ ಟೋಕನ್ ಮಿತಿ ಮುಗಿಯುತ್ತಿದೆ ಎಂದು ಅರ್ಥ ಮಾಡಿಕೊಳ್ಳಿ. ಆಗ ಹೊಸ ಚಾಟ್ ಆರಂಭಿಸಿ.
ಎಐ ಕಾಂಟೆಕ್ಸ್ಟ್ ಗಾತ್ರ ಮಿತಿ
