���[�J���Ő���AI�����s�ł�������uOpen WebUI�v�uOllama�v�uKubernetes�v�ō\�z���Ă݂悤�F�N���E�h�T�[�r�X��������Ȃ��I�@���[�J��PC��T�[�o�AKubernetes�Ő���AI�i2�j
�C�y�Ɏ����郉�b�v�g�b�v���ŁA�`���b�gbot�����I�[���C�������̐���AI���\�z����n�߁AKubernetes�����p�����{�i�I��GPU�N���X�^�̍\�z��f���̃t�@�C���`���[�j���O�܂ʼn������{�A�ځB����́A�uOpen WebUI�v�uOllama�v�uKubernetes�v�����p���Đ���AI�ƑΘb�ł���������[�J���ō\�z������@��������܂��B
�@�C�y�Ɏ����郉�b�v�g�b�v���ŁA�`���b�gbot�����I�[���C�������̐���AI�i�l�H�m�\�j���\�z����n�߁AKubernetes�����p�����{�i�I��GPU�N���X�^�̍\�z��f���̃t�@�C���`���[�j���O�܂ʼn������{�A�ځB��1���ł́A�����Ő���AI��LLM�i��K�͌��ꃂ�f���j���\�z���邽�߂ɉ������Ă����ׂ��A�[�L�e�N�`�����T�ς��܂����B
�@��2��́A�uOpen WebUI�v�����p���āA�uChatGPT�v�̂悤�Ƀu���E�U�Ő���AI�ƑΘb�ł���������[�J���ō\�z������@��������܂��B�ꌩ����Ɠ�����Ɋ����邩������܂��A�{�L����ʂ��ĊȒP�ɍ\�z�A�f�v���C�ł��邱�Ƃ������ł���ł��傤�B
�ڎ�
�u���E�U��Ő���AI��������Open WebUI�Ƃ�
�@��1��ŏЉ���uOllama�v�͐���AI��������I�[�v���\�[�X��AI�c�[���̈�ł����A�R���\�[���Ő���AI�Ƃ��Ƃ肷�邾���ł́A����AI����������Ƃ��ĕ�����Ȃ��Ɗ����邱�Ƃ�����ł��傤�BChatGPT�̂悤��Web�C���^�t�F�[�X�����uOpen WebUI�v�����p���邱�ƂŁA�{�i�I�Ȑ���AI������y�ɍ\�z�ł��܂��B
�@Open WebUI�́A���Ƃ��ƃI�[�v���\�[�X�̐��_�t���[�����[�N�ł���Ollama��Web�C���^�t�F�[�X�Ƃ��ĊJ������܂������AOllama����Ɨ����AOpenAI API���͂��߂Ƃ��邳�܂��܂Ȑ���AI�T�[�r�X��c�[���ƘA�g�ł���ėp�i�͂�悤�j�I�Ȑ��_�t���[�����[�N�ւƐi�����Ă��܂��B
�@���Ɍy�ʂȂ���ARAG�iRetrieval-Augmented Generation�F�����g�������j��A�摜�^�����������}���`���[�_���@�\�����ڂ��Ă���A�摜�F����摜�����Ƃ����������ɂ��Ή��\�ł��B
�@�@�\�ȊO�Œ��ڂ��ׂ��_�́AOpen WebUI�R�~���j�e�B�[�T�C�g�ł�������̃v���O�C����X�N���v�g������Ă���A�uVisual Studio Code�v�̂悤�Ƀv���O�C����X�N���v�g�ŊȒP�Ɋg���ł��邱�Ƃł��B
�@�R�~���j�e�B�[�T�C�g�ł́A���R�Ƀ��[�U�[���v���O�C����X�N���v�g���A�b�v���[�h�ł���悤�ɂȂ��Ă���A���[�U�[�ɂ��G�R�V�X�e���̍\�z�ɗ͂����Ă��܂��B���������Ӗ��ł́A�P�Ȃ�A�v���P�[�V�����ł͂Ȃ��A����AI�t���[�����[�N�ł���Ƃ�������ł��傤�B
�@���̑��A���L�̂悤�ȓ���������܂��B
- �v���C�o�V�[�̕ی�F���[�J���̐���AI�c�[���Ƒg�ݍ��킹��A�N���E�h�T�[�r�X�ɏ��𑗐M���邱�ƂȂ��A����AI�@�\��\�i���N���E�h�Ƀf�[�^�𑗐M����ݒ肪���邽�߁A�ύX����K�v������܂��j
- RAG�@�\�FWeb�̃T�[�`�G���W����o�^�����h�L�������g��RAG�̓��̓f�[�^�Ƃ��ė��p�\�BPDF��uMicrosoft Office�v�����Ȃǂ�RAG�ŗ��p�\
- ������Ή��F�p��ȊO�ɂ����{����܂ޕ����Ȍ�����T�|�[�g
- �ȒP�ȃZ�b�g�A�b�v�FDocker��Kubernetes�N���X�^�ɊȒP�Ƀf�v���C�\
- RBAC�i���[���x�[�X�A�N�Z�X����j�F�Ǘ��҂ƃ��[�U�[�Ɍ������ăA�N�Z�X����\
�@���M���_�̍ŐV�o�[�W�����́A0.5.4�Ɛ��������[�X�ɂ͎����Ă��܂��A�R�~���j�e�B�[�ɂ�芈���ɋ@�\���lj�����Ă���A��ɏq�ׂ��ʂ�G�R�V�X�e���̍\�z�ɗ͂����Ă��邽�߁A����̔��W�ɂ����҂ł��܂��B
����AI���ɂ�����Kubernetes�̗��p
�@�{�A�ڂł́A�R���e�i�I�[�P�X�g���[�V�����́uKubernetes�v�𗘗p���Đ���AI���\�z�A�f�v���C��������\�z���Ă����܂��B�R���e�i��Kubernetes�𗘗p���邱�ƂŁA���L�̂悤�ȃ����b�g������ł��܂��B
- ����AI�ɕK�v�ȃR���|�[�l���g���uHelm�`���[�g�v��}�j�t�F�X�g�Ȃǂ𗘗p���Ĉꊇ�C���X�g�[�����\
- OS�iWindows/macOS/Linux�j��PC�^�N���E�h�A�A�[�L�e�N�`���iIntel/ARM�j�ȂNJ����ς���Ă������菇�ŊǗ��\
- Kubernetes�A�R���e�i�̃G�R�V�X�e�������p�\�i�Z�L�����e�B�^�l�b�g���[�N�@�\�̗��p�A�����i�̃R���e�i�AHelm�`���[�g�Ƃ̘A�g�ɑΉ��j
�@����A�f�����b�g�Ƃ��ẮAGPU���t�����p���邽�߂̃m�E�n�E���K�v�ɂȂ�܂��BGPU�����p����m�E�n�E�͎��X��ȍ~�A�{�A�ڂł�������Ă����܂��B
��Open WebUI/Ollama���\�z����R���e�i�C���[�W�́AARM�iaarch64�j�AIntel�iamd64�j�p�̃C���[�W������Ă��܂��BIntel/AMD�̃v���Z�b�T�̃}�V���̑��AmacOS��AWS Graviton�Ȃǂ�ARM�}�V���iARM�A�[�L�e�N�`��v8�ȍ~�j�̊��ł����p�ł��܂��B
Kubernetes�N���X�^�̏���
�@����ł́AKubernetes�N���X�^���Ollama�𗘗p����Open WebUI�����R���e�i�ō\�z���Ă����܂��B�{�e�ŗ��p����Kubernetes�͂ǂ�ł��\���܂��A�����ł́A���[�J������Kubernetes�N���X�^��R���e�i��e�ՂɊǗ��ł���uRancher Desktop�v�𗘗p����Kubernetes�N���X�^��p���ĉ�����܂��B
�@����Kubernetes�N���X�^���i�p�u���b�N�N���E�h�̃}�l�[�W�hKubernetes�T�[�r�X�A�uminikube�v�uKind�v�uK3s�v�umicrok8s�v�Ȃǁj������l�́A�����̊��Ƀf�v���C���Ă��\���܂���B�������A�ȉ��̓_�ɂ����ӂ��������B
- LLM�삳����X�y�b�N�Ƃ���10GB���x�̃������Ƃł��邾��������CPU���K�v�ƂȂ�܂��B���Ƀ��������s������Ǝ��s���ɃG���[���������܂�
- Web�C���^�t�F�[�X�ɃA�N�Z�X���邽�߁A�uIngress�v�����s�ł�������K�v�ł��BIngress�o�R�ŃR���e�i���Web�A�v���ɂȂ���悤�Z�b�g�A�b�v���Ă��������iRancher Desktop�ł̓f�t�H���g�q�����l�r��Ingress�����p�ł���悤�ɃZ�b�g�A�b�v����܂��j
Rancher Desktop�̃C���X�g�[��
�@Rancher Desktop��Web�T�C�g����AOS��I�����ăC���X�g�[�����܂��BWindows��Mac�̓C���X�g�[���^DMG�t�@�C�����_�E�����[�h�����̂ŁA�ʏ�̃A�v���P�[�V�������C���X�g�[������̂Ɠ��l�ɃC���X�g�[�����Ă��������B
�@Linux�̏ꍇ�́A�\�������菇�ɉ����ăC���X�g�[�����Ă��������B
Rancher Desktop�̃������ACPU�g�p�ʂ̒���
�@�f�t�H���g�ł̓�������CPU�̊��蓖�Ă����Ȃ��ALLM�삳����̂Ɍ��������߁A��������CPU�̐ݒ��ύX���܂��B
- macOS�̏ꍇ
�@Rancher Desktop�̃A�C�R�����N���b�N���A�����́mPreferences�n�i���}①�j����uVirtual Machine�v�i���}②�j��I�����ă�������10GB�ɕύX���܂��BCPU�̓}�V���̃R�A��-2���炢��ݒ�i8�R�A�̏ꍇ6�R�A���x�j���܂��B����ɂ��R���e�i�����삷��VM�i���z�}�V���j�ɏ\���ȃ�������CPU�����蓖�Ă邱�Ƃ��ł��܂��B
�@�ݒ��ύX������ARancher Desktop���ċN�����Ă��������B�ċN������ƕύX�����f����܂��B
- Windows�̏ꍇ
�@Windows�̏ꍇ�ARancher Desktop��WSL�iWindows Subsystem for Linux�j�𗘗p����Linux OS���N�����āA���̏�ŃR���e�i�����s���Ă��܂��B���̂��߁AWSL�̐ݒ�Ɉˑ����邱�ƂɂȂ�܂��B�f�t�H���g�ł̓V�X�e���������̔����̃��������R���e�i�Ɋ��蓖�Ă��܂��B���[�U�[�t�H���_�iC:\Users\<���[�U�[��>�j�́u.wslconfig�v�t�@�C���ňȉ��̂悤�ɐݒ肵�܂��B
[wsl2] memory=10GB swap=0
�@��������HDD�ւ̃X���b�v����������Ɣ��ɏd���Ȃ�̂ŁA�����ł̓X���b�v���ɂ��Ă��܂��B
�@�ݒ芮����A�}�V�����ċN������Rancher Desktop���N�����Ă��������B
- ���̑��̊�
�@���̑��̊��ł́A���̊��̐ݒ�ɏ]���Ă��������B�������s���Ɋׂ�₷���̂ł��̓_�͒��ӂ��Ă��������B
Open WebUI��Ollama�̃C���X�g�[��
�@Kubernetes�̏������I�������AOpen WebUI��Ollama�ɂ�鐶��AI�̃`���b�gbot��������Ă����܂��傤�B���́AKubernetes�Ƀ`���[�g�i�p�b�P�[�W�j���C���X�g�[�����邽�߂�helm�R�}���h�𗘗p���܂��B
�@���Ȃ݂ɍ���̍\���ł́A�C���X�g�[�����郉�b�v�g�b�v��PC��GPU�����ڂ���Ă���ꍇ�ł��AGPU�͗��p���܂���BGPU�̗��p�ɂ��Ă͎��������܂��B
�@�܂��AOpen WebUI��Helm�`���[�g�̐ݒ�t�@�C��values.yaml��p�ӂ��܂��B�C�ӂ̏ꏊ�Ɉȉ��̓��e��values.yaml��V���ɍ쐬���܂��B
ingress: enabled: true host: null # ����̃z�X�g����Web�y�[�W�ɃA�N�Z�X����ɂ͏�Lhost�̒l��open-webui.local�̂悤�Ƀz�X�g����FQDN�ɂ���B # host: "open-webui.local" extraEnvVars: # �f�o�b�O���b�Z�[�W�̏o�͐ݒ� - name: GLOBAL_LOG_LEVEL value: "DEBUG" - name: OLLAMA_DEBUG value: "1" # �p�t�H�[�}���X�̌���̐ݒ� - name: ENABLE_AUTOCOMPLETE_GENERATION value: "false" - name: ENABLE_TAGS_GENERATION value: "false" - name: ENABLE_SEARCH_QUERY_GENERATION value: "false" - name: ENABLE_RETRIEVAL_QUERY_GENERATION value: "false" # Arena���f���̖����� - name: ENABLE_EVALUATION_ARENA_MODELS value: "false" # pipeline��OpenAPI Key(�g�ݍ���pipeline��default�l) - name: OPENAI_API_KEY value: "0p3n-w3bu!" # Ollama(���_�G���W��)�̐ݒ� ollama: enabled: true # Ollama���ꏏ�ɃC���X�g�[�� persistentVolume: # �i�����X�g���[�W�𗘗p enabled: true # Apache Tika�ɂ��t�@�C���̃p�[�X��ݒ� tika: image: tag: 3.1.0.0-full enabled: true
�@helm�R�}���h��Open WebUI�̃��|�W�g�����w�肵�āA��قǍ쐬����values.yaml���w�肵�Ď��s����`���b�gbot�����\�z�ł��܂��B
% helm repo add open-webui https://helm.openwebui.com/ % helm repo update % helm upgrade --install --version 5.20.0 --create-namespace open-webui open-webui/open-webui -nopen-webui -f values.yaml
�@�{�A�ڂł́A�o�[�W����5.20.0���C���X�g�[�����܂����A--version�I�v�V�������ȗ����邱�ƂŁA�ŐV�ł��C���X�g�[���ł��܂��B
�@Rancher Desktop�𗘗p���Ă���Ahelm�R�}���h�������I�ɓ�������܂����ARancher Desktop�ȊO�̊���helm�R�}���h���Ȃ��ꍇ�́A���L�L�����Q�l�ɂ���helm���C���X�g�[�����Ă��������B
�@kubectl get pods�R�}���h��Pod�����s����Ă��邱�Ƃ��m�F�ł���A���\�z�ɐ������Ă��܂��B
$ kubectl get pods -nopen-webui NAME READY STATUS RESTARTS AGE open-webui-0 1/1 Running 0 14d open-webui-ollama-68685c946-6lgw6 1/1 Running 0 9h open-webui-pipelines-764d5c7cb8-gdzsg 1/1 Running 0 14d open-webui-tika-7b5d7c757c-5f426 1/1 Running 0 14d
�@STATUS�̕������uRunning�v�łȂ��ꍇ�́A1�A2���҂��Ă���ēx�m�F���Ă݂Ă��������B�܂��A����̊��̓�������16GB���x�̃}�V���Ŏ��s���邱�Ƃ�z�肵�Ă��܂��B������Ⴂ�X�y�b�N�̃}�V����T�[�o�̏ꍇ�A�������G���[�ɂ�蓮�삵�Ȃ��\��������̂ŁA���ӂ��Ă��������B
�@�S��Running�ɂȂ�����u���E�U��http://localhost/�i�T�[�o��ŋN�����APC����ڑ�����ꍇ�́A�T�[�o��IP�A�h���X�^�z�X�g���Ȃǂ��w��j���J���Ċm�F���܂��B
�@�Ȃ��A�ݒ�ύX��o�[�W�����A�b�v�̍ۂɂ́Ahelm upgrade�R�}���h��--version�I�v�V������ύX���Ahelm repo update/helm upgrade�R�}���h�����s���邱�ƂŊȒP�ɍX�V�A�ύX�ł��܂��B
�@��L��Open WebUI�̃Z�b�g�A�b�v�ɂ��A���L�̐}�ɂ���R���|�[�l���g���C���X�g�[������܂��B
- Open WebUI�F����AI�𗘗p���ă��[�U�[�ƑΘb���邽�߂̃C���^�t�F�[�X
- Ollama�F����AI�̐��_�G���W���BOpen WebUI����e�L�X�g�����A�w�肵�����f�����g���ĉ����e�L�X�g��
- Hugging Face�F���f�����擾���郂�f�����|�W�g���Ƃ��ė��p
- Ollama Hub�FOllama��p�̃��f�����|�W�g���BHugging Face�ɔ�׃��f�����͏��Ȃ����AOllama�ŗ��p�ł��郂�f���݂̂��A�b�v���[�h����Ă���iHugging Face��Ollama�����p�ł��Ȃ����f�����܂�ł���j
- Search Engine�FRAG�ŗ��p���邽�߂̌����G���W���BGoogle�ABing�Ȃǂ����p�\�i�������j
- Apache Tika�FPDF��Microsoft Office�����Ȃǂ���e�L�X�g�𒊏o����p�[�T�i�������j
- Open WebUI Community�F���܂��܂�Open WebUI�g���R���|�[�l���g�A�X�N���v�g�����J����Ă���R�~���j�e�B�[�T�C�g�i�������j
- Open WebUI Pipeline�F�p�C�v���C���G���W���B���x�ȏ����ɗ��p
Open WebUI���g���Ă݂悤
�@���āA�C���X�g�[�����ł����瑁���AOpen WebUI���g���Ă݂܂��傤�B
�Ǘ��҃A�J�E���g���쐬
�@Open WebUI�𗘗p����O�ɁA�Ǘ��҃A�J�E���g���쐬����K�v������܂��BOpen WebUI�̃T�C�g�ɃA�N�Z�X���A�uGet started�v���N���b�N����ƊǗ��҃A�J�E���g�̍쐬��ʂɂȂ�̂ŁA�����ŊǗ��҃A�J�E���g���쐬���܂��B
�@���O�A���[���A�h���X�A�p�X���[�h����͂��āuCreate Admin Account�v���N���b�N���Ă��������B
���p���郂�f���̑I��
�@Open WebUI�Ń��f���𗘗p����ɂ́A�w�K�ς݂̃��f����I��Ŏw�肷��K�v������܂��B
�@�L���ȃ��f���Ƃ��ẮuLlama�v������A���{��̈����������������f���Ƃ��āuELYZA�v�uSwallow�v�A�R�[�f�B���O�ɓ��������uCodeQwen�v�A�}���`���[�_���i�e�L�X�g�Ɖ摜�≹���ȂǕ����̃��f�B�A��������j���f���Ƃ��āuLlaVa�v�Ȃǂ�����܂��B
�@�{�e�ł́A16GB���x�̃�������ς�PC�Ŏ��s�\�ȃ��f���Ƃ��āA����ɑ��Ă���Ȃ�̉�������Swallow�̗ʎq�����f���o�[�W�����𗘗p���܂��BSwallow�͓����Ȋw��w�i�������H�Ƒ�w�j�ƎY�ƋZ�p�����������i�Y�����j���J�����Ă���ALlama3���x�[�X�ɓ��{������̒lj��w�K���������f���ł��B
�@�������ASwallow�̗ʎq�����f���́AHugging Face�ŗL�u�����J���Ă��������̃��f���ƂȂ�܂��B
Open WebUI�ł̃��f���̃_�E�����[�h�i�v���j
�@Open WebUI�̉�ʂ���m���f����I���n���N���b�N����ƁA���f��������ʂ��\������܂��B���f��������ʂŁA�uhf.co/okamototk/Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf:Q4_K_M�v�Ɠ��͂��܂��B
�@����ƁA�u���ʂ�������܂���v�ƕ\������܂��̂ŁA���̉��ɂ���mOllama.com���烂�f�������v���n��I�����܂��B
�@����ŁA���f���̃_�E�����[�h���n�܂�܂��B�u�����f������������Ƀ_�E�����[�h�ł��܂����v�ƃ��b�Z�[�W���\�����ꂽ��A���f���̃_�E�����[�h�͊����ł��B
�@�m���f����I���n����A�_�E�����[�h�������f����I�����܂��B
���f���ƃ`���b�g���Ă݂悤�I
�@�e�L�X�g�{�b�N�X�Ƀ��b�Z�[�W������ƁAChatGPT�̂悤�ɐ���AI�ƑΘb�ł��܂��B�u�������������̃u�����h�������Ă��������v�Ǝ��₷��ƁA�ڍׂȏ������߂���̂œ��͂���ƁA���L�̂悤�ɂ��E�߂̂����������Ă���܂��B
�@�Ȃ��A�������f���𗘗p���Ă���L�Ƃ͈قȂ铚���ɂȂ�ꍇ������܂��B�܂��A�ŏ��̃`���b�g�́A�������Ƀ��f�������[�h����̂Ɏ��Ԃ������邽�߁A�e�L�X�g��\�����͂��߂�܂łɎ��Ԃ�������܂��̂ŁA�����ӂ��������B
�@2��ڂ���͂����Ƀe�L�X�g���\�������悤�ɂȂ�܂����A���炭���s���Ȃ��ƃ��������烂�f�����������邽�߁A����A�N�Z�X�ł܂����Ԃ�������悤�ɂȂ�܂��B
�`���b�g���ŃC���^���N�e�B�u�ȃR�[�h���s�����Ă݂悤
�@2025�N2��13���Ƀ����[�X���ꂽOpen WebUI 0.5.11�ɂāACode Interpreter�@�\���lj�����܂����BCode Interpreter�ɂ��APython�R�[�h�̍쐬�x���ƃ`���b�g���ł̃R�[�h���s���ł���悤�ɂȂ�܂��B
�@Code Interpreter�𗘗p����ɂ́A�`���b�g�{�b�N�X�̉��ɂ���mCode Interpreter�n���N���b�N���܂��B����ƁA�̃����v�ƁuExecute code for analysis�v���\������܂��B
�@���̏�ԂŁA�w������͂���ƁA�R�[�h���쐬���Ă���܂��B�R�[�h�ɂ���mRun�n�{�^�����N���b�N���邱�Ƃɂ��A�R�[�h�̎��s���ʂ��`���b�g��ʓ��ő����ɓ��邱�Ƃ��ł��܂��B
�@�Ȃ��A�M���ł��Ȃ����[�U�[�ɂ��`���b�g���ł̃R�[�h���s�̓Z�L�����e�B�̐Ǝ�i�������Ⴍ�j���ɂ��Ȃ��邽�߁ACode Interpreter�@�\�͖��������邱�Ƃ��ł��܂��B
�`���b�g���s���̃g���u���V���[�e�B���O
�@�`���b�g�Ŏ������͂����ۂɃG���[�ƂȂ萳�����������Ȃ����Ƃ�����܂��B���̏ꍇ�́A�ȉ��̎菇�Ō�������肵�܂��B
�@�܂��A���삵�Ă���Pod���m�F���܂��B
% kubectl get pods -nopen-webui NAME READY STATUS RESTARTS AGE open-webui-0 1/1 Running 0 8m55s open-webui-ollama-7b54598f9d-gvdnp 1/1 Running 0 8m55s open-webui-pipelines-7f6cc498fc-7h8mt 1/1 Running 0 8m55s open-webui-tika-74c4c4fc6-x4hmz 1/1 Running 0 93s
�@open-webui-ollama-xxxxx�Ƃ������O��Pod��LLM�����s���Ă���Ollama��Pod�ł��B����Pod�̃��O���m�F���Ă݂܂��B
% kubectl logs -nopen-webui open-webui-ollama-7b54598f9d-gvdnp ... time=2024-12-21T09:25:37.914Z level=INFO source=server.go:104 msg="system memory" total="5.8 GiB" free="3.4 GiB" free_swap="0 B" time=2024-12-21T09:25:37.915Z level=WARN source=server.go:136 msg="model request too large for system" requested="6.2 GiB" available=3668729856 total="5.8 GiB" free="3.4 GiB" swap="0 B" time=2024-12-21T09:25:37.915Z level=INFO source=sched.go:428 msg="NewLlamaServer failed" model=/root/.ollama/models/blobs/sha256-44aa7f50ddbb6350baabff84a761f3fc27860a017eca703eb7aa08e8311120e9 error="model requires more system memory (6.2 GiB) than is available (3.4 GiB)" ...
�@���O���b�Z�[�W���m�F����ƁA�V�X�e����������6.2GiB�K�v�irequested="6.2 GiB"�j�����A���p�\�ȃ�������3.4GiB�i=3.65GB�j�ifree="3.4 GiB"�j�ŕs�����Ă���Ƃ����G���[���b�Z�[�W���o�͂���Ă��邱�Ƃ�������܂��B
�@Rancher Desktop�̃R���e�i�ւ̃������ݒ�̓f�t�H���g��4GB���x�ƂȂ邽�߁A�G���[���������Ă��܂��B�uKubernetes�N���X�^�\�z�v���m�F���āA�N���X�^�ŗ��p�ł��郁�����𑝂₷�ȂǑΉ����Ă݂܂��傤�B
���̃��f���������ۂɒm���Ă��������|�C���g
�@�����܂łŁA���[�J���Ń_�E�����[�h�������f�������s���ă`���b�g�ł���悤�ɂȂ�܂����B���f���͂��܂��܂ȃt�H�[�}�b�g�Œ���Ă��܂����A�{�e�ŗ��p����Ollama�́ugguf�v�ƌĂ��t�@�C���t�H�[�}�b�g���T�|�[�g���Ă��܂��B
�@gguf�͌��̃��f���Ɣ�ׂ�菭�Ȃ��r�b�g���\�������ʎq�����ꂽ���f�����������߂̃t�H�[�}�b�g�ŁACPU��ᐫ�\��GPU�ɂ����Č����I�Ȑ��_���ł���悤�ɐv����Ă��܂��B
�@Swallow�̗ʎq�����f���ȊO�����[�J���Ŏ��������Ȃ�����A�ȉ��̃|�C���g���Q�l�ɑI�ԂƂ悢�ł��傤�B�Ȃ�Hugging Face�Ń��f����T�����@�ɂ��Ắu���f���n�u�̕������v�ʼn�����܂��B
�p�����[�^�[���i���f���K�́j
�@���f���ɂ́A�p�����[�^�[���ƌĂ�郂�f���̕\���͂����߂�l������A��ʓI�Ƀ��f���K�͂ȂǂƌĂ�Ă��܂��B�p�����[�^�[�������Ń��f���̐��\�����܂�킯�ł͂���܂��A�ʏ킱�̃p�����[�^�[�����傫���قǃ��f���������\�ƂȂ�A���f���K�͂��u7B�v�ƋL�ڂ���Ă���A70���̃p�����[�^�[�����Ƃ����Ӗ��ɂȂ�܂��B
�@�p�����[�^�[�����傫���Ȃ�Ȃ�قǁA��ʂ̌v�Z���\�[�X�iCPU/GPU/RAM�j���K�v�ƂȂ�܂��B
�ʎq���iQuantize�j
�@���f���́u�ʎq���v�ƌĂ���@�ɂ��A���f���T�C�Y���������ł��܂��B�ᐫ�\��PC���œ��삳����ꍇ�A�ʎq���ɂ�萄�_�̃������g�p�ʂ̍팸�Ƒ��x���オ���҂ł��܂��B���p���Ă���Ollama�̏ꍇ�AGitHub���|�W�g���ɋL�ڂ���Ă���ʎq�����T�|�[�g���Ă��܂��B�ʎq�����f���́uQ4�v�Ȃǂ̐����́A�ʎq�������r�b�g����\���Ă���A�������������قǏ��Ȃ��r�b�g���Ń��f�����ʎq������T�C�Y���������Ȃ邱�Ƃ������Ă��܂����A���f���T�C�Y���������Ȃ�ƁA���̃��f���ɑ��鐫�\���傫���Ȃ�܂��B
�@�܂��A�ʎq�����ꂽ���f���ɂ́AL�i��j�AM�i���j�AS�i���j�ƃT�C�Y������A���������f���قǃT�C�Y�͏������Ȃ�܂����A���\���傫���Ȃ�܂��B
�@�܂��uiMatrix�v�ƌĂ��A�d�v�x�������p�����[�^�[�ɑ����̃r�b�g�����蓖�āA�d�v�x�̏������p�����[�^�[�ɏ��Ȃ��r�b�g�����蓖�Ă��@������܂��BiMatrix�𗘗p���邱�Ƃɂ��A���x�𗎂Ƃ����Ɍ����I�ɗʎq���ł��܂��B���f������iMatrix�AiMat�Ai1�̕������܂܂��ꍇ�́AiMatrix�łł��邱�Ƃ������Ă��܂��B
�@���M���_�Ŏ嗬�ƂȂ��Ă����@���uK-Quants�v�ł��B���̎�@�́A�d�݂̗ʎq�����u���b�N���Ƃɕ����ėʎq��������̂ŁA�u���b�N���̐��\��}���邱�Ƃ��ł��܂��B
�@�R�~���j�e�B�[���ł́A�uQ4_K_M�v�uQ5_K_M�v�����\�������T�C�Y���������ł���o�����X�̎�ꂽ�ʎq�����ƕ]������Ă��܂��i�Q�l�FDifference in different quantization methods�j�B���̂��ߖ{�e�ł́A�ł��邾�����f�����\�𗎂Ƃ����ɃT�C�Y���������Ȃ���Swallow��iMatrix�Ń��f���iQ4_K_M�j�𗘗p���Ă��܂��B
�����iDistillation�j
�@�{�e�ł͗��p���܂���ł������AOpenAI�́uGPT-4o-mini�v��DeepSeek�̃��f���Œ��ڂ���Ă���̂��A�u�����v�Ƃ����T�O�ł��B�����́A�傫�ȋ��t���f���̒m���������Ȑ��k���f���ɓ]�ڂ���Z�p�ł��B���t���f������������o�͂k���f���̊w�K�ɗ��p���A���k���f�������t���f���ɋ߂��o�͂����悤�ɒ������邱�Ƃɂ��A���k���f���̐��\�����サ�܂��B���f�����ɁuDistill�v�Ƃ����������܂܂��ꍇ�́A�������f���ł��邱�Ƃ������Ă��܂��B
�@�Ⴆ�A�����\��LLM�Ƃ��Ē��ڂ��ꂽDeepSeek�̏������f���̈�ł���uDeepSeek-R1-Distill-Llama-8B�v�́A�uLlama-8B�v���x�[�X���f���Ƃ��A���������Ă��邱�Ƃ������Ă��܂��B
���f���n�u�̕�����
�@�V��������AI���f�������J�����ƃj���[�X�ȂǂŘb��ɂȂ�܂����A�����̃��f���͑����̏ꍇ�AHugging Face�Ō��J����܂��BHugging Face�͂����郂�f���ɓ�������GitHub�̂悤�Ȃ��̂ŁA�I���W�i���̃��f���̑��A���[�U�[���ʎq�������t�@�C���`���[�j���O�������f����A�g���[�j���O�f�[�^�Ȃǂ����J����Ă��܂��B
�@�{�e�ł́ASwallow�̗ʎq�����f���𗘗p���܂����B���̃��f����T���C���[�W���ɁAHugging Face�ŗ��p���������f����T�����@���Љ�܂��B
�@�܂��AHugging Face�����f�������y�[�W�ŁuModels�v�̉E�̌����{�b�N�X�ɁuSwallow�v�����Č������܂��B
�@�������ʂŊ���̃t�@�C����README.md���\������܂��B���ڂɕ\������Ă���̂́u���[�U�[����|�W�g���̑g�D���^���f�����^�t�@�C�����v�̏��ԂŁA������I������ƃ��f����t�@�C�������J���Ă��郆�[�U�[��g�D�̃y�[�W���m�F�ł��܂��B
�@�����ł́A�utokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3�v�̃��f����I�����A�N�Z�X���܂��B�Ȃ��utokyotech-llm�v�̃y�[�W���J���Ă݂�ƁA�������ɁA�����Ȋw��w�̃��|�W�g���ł���|���L�ڂ���Ă��܂��B
�@�t�@�C�����Ɋ܂܂��Instruct�́A�v�����v�g�ɂ��w���i�Θb�A�|��A�v��Ȃǁj�ɂ��A����̃^�X�N�ɑ��Đ��\�����シ��悤�Ƀ`���[�j���O���ꂽ���f���ł��邱�Ƃ��w���Ă��܂��BInstruct�̑��Ƀ`���b�g�p�Ƀ`���[�j���O���ꂽChat�A�R�[�f�B���O�p�ɍœK�����ꂽCoder�Ȃǂ̖��O���܂܂�邱�Ƃ�����܂��B
�@���f���T�C�g�ɃA�N�Z�X���A�T�C�g�̉E�����m�F����ƁuQuantizations�v�Ƃ������ڂ�����A�u<����> models�v�ƁAHugging Face�Ō��J����Ă���ʎq�����f�����m�F�ł��܂��B
�@�u<����> models�v�̕������N���b�N����ƁA�ʎq�����ꂽ���f���ꗗ���\������܂��B
�@5�̃��f�������ꂼ��m�F���Ă݂܂��Bgguf�t�H�[�}�b�g�Œ���Ă��郂�f���𗘗p�������̂ŁAGGUF�̕������܂܂�Ă��郂�f����I�����܂��B�܂��A�ʎq���ɂ�iMatrix�𗘗p���Ă��郂�f���͐��\���ǂ����߁Ai1�̕��������Ă���umradermacher/Llama-3.1-Swallow-8B-Instruct-v0.3-i1-GGUF�v��I�����܂��B
�@�I������ƁA���f���̏ڍׂ��\������A�E���ɗ��p�ł���ʎq�����f�����\������Ă��܂��B
�@���f���̗����Ȃ��T�C�Y��������Q4_K_M��I�����܂��B���f���̏ڍׂ��\�������̂ŁA���e���m�F���A�mUse this model�n��I������ƁA�T�|�[�g���Ă��郉�C�u������c�[���ꗗ���\������܂��B�����ł́uOllama�v��I�����܂��B
�@����ƁAollama�Ń��f���𗘗p���邽�߂̃R�}���h���\������܂��B
�@�����ŁAollama run�R�}���h�����������f�������R�s�[���܂��B
- hf.co/mradermacher/Llama-3.1-Swallow-8B-Instruct-v0.3-i1-GGUF:Q4_K_M
�@���ꂪ�AOpen WebUI��Ollama���o�b�N�G���h�ɗ��p����ۂ̃��f�����Ƃ��ĕK�v�ɂȂ�܂��B�Ȃ��A��L�̗ʎq�����f���́A�����Ȋw��w�������ɔz�z���Ă�����̂ł͂Ȃ��A�umradermacher�v�Ƃ������[�U�[�����J�������f���ƂȂ�̂ł����ӂ��������B�����Ō��������f���́A���C�Z���X�ւ̏��炪���S�ł͂Ȃ����߁A�{�e�ł͒��҂��ʎq���������f���𗘗p���Ă��܂��B�r�W�l�X�ŗ��p����ꍇ�́A���f���̃��C�Z���X�ɂ����ӂ��Ă��������B
�@���̂悤�ȗ���ŁA���[�J���œ��������f�����AHugging Face��Ollama Hub�Ȃǂ̃��f���n�u�ŒT�����Ƃ��ł��܂��BSwallow�����łȂ��A���̃��f�����g�������l�͏�L�̎菇���Q�l�ɒT���Ď��s���Ă݂Ă��������B
������
�@����AI�͊w�K�f�[�^����ɉ����Ă��邽�߁A�w�K�f�[�^�ɂȂ����ƁA�Ⴆ�u2025�N�����̓����̓V�C�́H�v�Ƃ������ŐV�̎���ɂ͓������Ȃ��̂Œ��ӂ��Ă��������B
�@����́ARAG�𗘗p���Đ���AI�������Ȃ��O���f�[�^�����p������AGPU�𗘗p���ĉ������x�����コ�����肷����@���Љ�܂��B
Copyright © ITmedia, Inc. All Rights Reserved.