����
�A��

���[�J���Ő���AI�����s�ł���‹����uOpen WebUI�v�uOllama�v�uKubernetes�v�ō\�z���Ă݂悤�F�N���E�h�T�[�r�X��������Ȃ��I�@���[�J��PC��T�[�o�AKubernetes�Ő���AI�i2�j

�C�y�Ɏ����郉�b�v�g�b�v�‹��ŁA�`���b�gbot��񋟂���I�[���C�������̐���AI�‹��\�z����n�߁AKubernetes�����p�����{�i�I��GPU�N���X�^�̍\�z�⃂�f���̃t�@�C���`���[�j���O�܂ʼn������{�A�ځB����́A�uOpen WebUI�v�uOllama�v�uKubernetes�v�����p���Đ���AI�ƑΘb�ł���‹������[�J���ō\�z������@��������܂��B

Share
Tweet
LINE
Hatena

�@�C�y�Ɏ����郉�b�v�g�b�v�‹��ŁA�`���b�gbot��񋟂���I�[���C�������̐���AI�i�l�H�m�\�j�‹��\�z����n�߁AKubernetes�����p�����{�i�I��GPU�N���X�^�̍\�z�⃂�f���̃t�@�C���`���[�j���O�܂ʼn������{�A�ځB��1���ł́A�����Ő���AI��LLM�i��K�͌��ꃂ�f���j���\�z���邽�߂ɉ������Ă����ׂ��A�[�L�e�N�`�����T�ς��܂����B

�@��2��́A�uOpen WebUI�v�����p���āA�uChatGPT�v�̂悤�Ƀu���E�U�Ő���AI�ƑΘb�ł���‹������[�J���ō\�z������@��������܂��B�ꌩ����Ɠ�����Ɋ����邩������܂��񂪁A�{�L����ʂ��ĊȒP�ɍ\�z�A�f�v���C�ł��邱�Ƃ������ł���ł��傤�B

�u���E�U��Ő���AI��������Open WebUI�Ƃ�

�@��1��ŏЉ���uOllama�v�͐���AI��������I�[�v���\�[�X��AI�c�[���̈�‚ł����A�R���\�[���Ő���AI�Ƃ��Ƃ肷�邾���ł́A����AI��������‹��Ƃ��ĕ�����Ȃ��Ɗ����邱�Ƃ�����ł��傤�BChatGPT�̂悤��Web�C���^�t�F�[�X��񋟂���uOpen WebUI�v�����p���邱�ƂŁA�{�i�I�Ȑ���AI�‹�����y�ɍ\�z�ł��܂��B

�@Open WebUI�́A���Ƃ��ƃI�[�v���\�[�X�̐��_�t���[�����[�N�ł���Ollama��Web�C���^�t�F�[�X�Ƃ��ĊJ������܂������AOllama����Ɨ����AOpenAI API���͂��߂Ƃ��邳�܂��܂Ȑ���AI�T�[�r�X��c�[���ƘA�g�ł���ėp�i�͂�悤�j�I�Ȑ��_�t���[�����[�N�ւƐi�����Ă��܂��B

�@���Ɍy�ʂȂ���ARAG�iRetrieval-Augmented Generation�F�����g�������j��A�摜�^�����������}���`���[�_���@�\�����ڂ��Ă���A�摜�F����摜�����Ƃ����������ɂ��Ή��”\�ł��B

�@�@�\�ȊO�Œ��ڂ��ׂ��_�́AOpen WebUI�R�~���j�e�B�[�T�C�g�ł�������̃v���O�C����X�N���v�g���񋟂���Ă���A�uVisual Studio Code�v�̂悤�Ƀv���O�C����X�N���v�g�ŊȒP�Ɋg���ł��邱�Ƃł��B

Open WebUIR~jeB[TCg
Open WebUI�R�~���j�e�B�[�T�C�g

�@�R�~���j�e�B�[�T�C�g�ł́A���R�Ƀ��[�U�[���v���O�C����X�N���v�g���A�b�v���[�h�ł���悤�ɂȂ��Ă���A���[�U�[�ɂ��G�R�V�X�e���̍\�z�ɗ͂����Ă��܂��B���������Ӗ��ł́A�P�Ȃ�A�v���P�[�V�����ł͂Ȃ��A����AI�t���[�����[�N�ł���Ƃ�������ł��傤�B

�@���̑��A���L�̂悤�ȓ���������܂��B

  1. �v���C�o�V�[�̕ی�F���[�J���̐���AI�c�[���Ƒg�ݍ��킹��΁A�N���E�h�T�[�r�X�ɏ��𑗐M���邱�ƂȂ��A����AI�@�\��񋟉”\�i���N���E�h�Ƀf�[�^�𑗐M����ݒ肪���邽�߁A�ύX����K�v������܂��j
  2. RAG�@�\�FWeb�̃T�[�`�G���W����o�^�����h�L�������g��RAG�̓��̓f�[�^�Ƃ��ė��p�”\�BPDF��uMicrosoft Office�v�����Ȃǂ�RAG�ŗ��p�”\
  3. ������Ή��F�p��ȊO�ɂ����{����܂ޕ����Ȍ�����T�|�[�g
  4. �ȒP�ȃZ�b�g�A�b�v�FDocker��Kubernetes�N���X�^�ɊȒP�Ƀf�v���C�”\
  5. RBAC�i���[���x�[�X�A�N�Z�X����j�F�Ǘ��҂ƃ��[�U�[�Ɍ����𕪂��ăA�N�Z�X����”\

�@���M���_�̍ŐV�o�[�W�����́A0.5.4�Ɛ��������[�X�ɂ͎����Ă��܂��񂪁A�R�~���j�e�B�[�ɂ�芈���ɋ@�\���lj�����Ă���A��ɏq�ׂ��ʂ�G�R�V�X�e���̍\�z�ɗ͂����Ă��邽�߁A����̔��W�ɂ����҂ł��܂��B

����AI�‹��ɂ�����Kubernetes�̗��p

�@�{�A�ڂł́A�R���e�i�I�[�P�X�g���[�V�����́uKubernetes�v�𗘗p���Đ���AI���\�z�A�f�v���C����‹����\�z���Ă����܂��B�R���e�i��Kubernetes�𗘗p���邱�ƂŁA���L�̂悤�ȃ����b�g������ł��܂��B

  1. ����AI�ɕK�v�ȃR���|�[�l���g���uHelm�`���[�g�v��}�j�t�F�X�g�Ȃǂ𗘗p���Ĉꊇ�C���X�g�[�����”\
  2. OS�iWindows/macOS/Linux�j��PC�^�N���E�h�A�A�[�L�e�N�`���iIntel/ARM�j�ȂNJ‹����ς���Ă������菇�ŊǗ��”\
  3. Kubernetes�A�R���e�i�̃G�R�V�X�e�������p�”\�i�Z�L�����e�B�^�l�b�g���[�N�@�\�̗��p�A�����i�̃R���e�i�AHelm�`���[�g�Ƃ̘A�g�ɑΉ��j

�@����A�f�����b�g�Ƃ��ẮAGPU���t�����p���邽�߂̃m�E�n�E���K�v�ɂȂ�܂��BGPU�����p����m�E�n�E�͎��X��ȍ~�A�{�A�ڂł�������Ă����܂��B

��Open WebUI/Ollama���\�z����R���e�i�C���[�W�́AARM�iaarch64�j�AIntel�iamd64�j�p�̃C���[�W���񋟂���Ă��܂��BIntel/AMD�̃v���Z�b�T�̃}�V���̑��AmacOS��AWS Graviton�Ȃǂ�ARM�}�V���iARM�A�[�L�e�N�`��v8�ȍ~�j�̊‹��ł����p�ł��܂��B


Kubernetes�N���X�^�̏���

�@����ł́AKubernetes�N���X�^���Ollama�𗘗p����Open WebUI�‹����R���e�i�ō\�z���Ă����܂��B�{�e�ŗ��p����Kubernetes�͂ǂ�ł��\���܂��񂪁A�����ł́A���[�J���‹���Kubernetes�N���X�^��R���e�i��e�ՂɊǗ��ł���uRancher Desktop�v�𗘗p����Kubernetes�N���X�^��p���ĉ�����܂��B

�@����Kubernetes�N���X�^�‹��i�p�u���b�N�N���E�h�̃}�l�[�W�hKubernetes�T�[�r�X�A�uminikube�v�uKind�v�uK3s�v�umicrok8s�v�Ȃǁj������l�́A�����̊‹��Ƀf�v���C���Ă��\���܂���B�������A�ȉ��̓_�ɂ����ӂ��������B

  • LLM�𓮍삳����X�y�b�N�Ƃ���10GB���x�̃������Ƃł��邾��������CPU���K�v�ƂȂ�܂��B���Ƀ��������s������Ǝ��s���ɃG���[���������܂�
  • Web�C���^�t�F�[�X�ɃA�N�Z�X���邽�߁A�uIngress�v�����s�ł���‹����K�v�ł��BIngress�o�R�ŃR���e�i���Web�A�v���ɂ‚Ȃ���悤�Z�b�g�A�b�v���Ă��������iRancher Desktop�ł̓f�t�H���g�q�����l�r��Ingress�����p�ł���悤�ɃZ�b�g�A�b�v����܂��j

Rancher Desktop�̃C���X�g�[��

�@Rancher Desktop��Web�T�C�g����AOS��I�����ăC���X�g�[�����܂��BWindows��Mac�̓C���X�g�[���^DMG�t�@�C�����_�E�����[�h�����̂ŁA�ʏ�̃A�v���P�[�V�������C���X�g�[������̂Ɠ��l�ɃC���X�g�[�����Ă��������B

�@Linux�̏ꍇ�́A�\�������菇�ɉ����ăC���X�g�[�����Ă��������B

Rancher Desktop�̃������ACPU�g�p�ʂ̒���

�@�f�t�H���g�ł̓�������CPU�̊��蓖�Ă����Ȃ��ALLM�𓮍삳����̂Ɍ��������߁A��������CPU�̐ݒ��ύX���܂��B

  • macOS�̏ꍇ

�@Rancher Desktop�̃A�C�R�����N���b�N���A�����́mPreferences�n�i���}①�j����uVirtual Machine�v�i���}②�j��I�����ă�������10GB�ɕύX���܂��BCPU�̓}�V���̃R�A��-2���炢��ݒ�i8�R�A�̏ꍇ6�R�A���x�j���܂��B����ɂ��R���e�i�����삷��VM�i���z�}�V���j�ɏ\���ȃ�������CPU�����蓖�Ă邱�Ƃ��ł��܂��B

Rancher Desktop̃^CPU̐ݒ
Rancher Desktop�̃������^CPU�̐ݒ���

�@�ݒ��ύX������ARancher Desktop���ċN�����Ă��������B�ċN������ƕύX�����f����܂��B

  • Windows�̏ꍇ

�@Windows�̏ꍇ�ARancher Desktop��WSL�iWindows Subsystem for Linux�j�𗘗p����Linux OS���N�����āA���̏�ŃR���e�i�����s���Ă��܂��B���̂��߁AWSL�̐ݒ�Ɉˑ����邱�ƂɂȂ�܂��B�f�t�H���g�ł̓V�X�e���������̔����̃��������R���e�i�Ɋ��蓖�Ă��܂��B���[�U�[�t�H���_�iC:\Users\<���[�U�[��>�j�́u.wslconfig�v�t�@�C���ňȉ��̂悤�ɐݒ肵�܂��B

[wsl2]
memory=10GB
swap=0

�@��������HDD�ւ̃X���b�v����������Ɣ��ɏd���Ȃ�̂ŁA�����ł̓X���b�v�𖳌��ɂ��Ă��܂��B

�@�ݒ芮����A�}�V�����ċN������Rancher Desktop���N�����Ă��������B

  • ���̑��̊‹�

�@���̑��̊‹��ł́A���̊‹��̐ݒ�ɏ]���Ă��������B�������s���Ɋׂ�₷���̂ł��̓_�͒��ӂ��Ă��������B

Open WebUI��Ollama�̃C���X�g�[��

�@Kubernetes�̏������I�������AOpen WebUI��Ollama�ɂ�鐶��AI�̃`���b�gbot�‹�������Ă����܂��傤�B�‹��́AKubernetes�Ƀ`���[�g�i�p�b�P�[�W�j���C���X�g�[�����邽�߂�helm�R�}���h�𗘗p���܂��B

�@���Ȃ݂ɍ���̍\���ł́A�C���X�g�[�����郉�b�v�g�b�v��PC��GPU�����ڂ���Ă���ꍇ�ł��AGPU�͗��p���܂���BGPU�̗��p�ɂ‚��Ă͎��������܂��B

�@�܂��AOpen WebUI��Helm�`���[�g�̐ݒ�t�@�C��values.yaml��p�ӂ��܂��B�C�ӂ̏ꏊ�Ɉȉ��̓��e��values.yaml��V���ɍ쐬���܂��B

ingress:
  enabled: true
  host: null
  # ����̃z�X�g����Web�y�[�W�ɃA�N�Z�X����ɂ͏�Lhost�̒l��open-webui.local�̂悤�Ƀz�X�g����FQDN�ɂ���B
  # host: "open-webui.local"
extraEnvVars:
# �f�o�b�O���b�Z�[�W�̏o�͐ݒ�
- name: GLOBAL_LOG_LEVEL
  value: "DEBUG"
- name: OLLAMA_DEBUG
  value: "1"
# �p�t�H�[�}���X�̌���̐ݒ�
- name: ENABLE_AUTOCOMPLETE_GENERATION
  value: "false"
- name: ENABLE_TAGS_GENERATION
  value: "false"
- name: ENABLE_SEARCH_QUERY_GENERATION
  value: "false"
- name: ENABLE_RETRIEVAL_QUERY_GENERATION
  value: "false"
# Arena���f���̖�����
- name: ENABLE_EVALUATION_ARENA_MODELS
  value: "false"
# pipeline��OpenAPI Key(�g�ݍ���pipeline��default�l)
- name: OPENAI_API_KEY
  value: "0p3n-w3bu!"
# Ollama(���_�G���W��)�̐ݒ�
ollama:
  enabled: true # Ollama���ꏏ�ɃC���X�g�[��
  persistentVolume: # �i�����X�g���[�W�𗘗p
    enabled: true
# Apache Tika�ɂ��t�@�C���̃p�[�X��ݒ�
tika:
  image:
    tag: 3.1.0.0-full
  enabled: true
values.yaml�̓��e

�@helm�R�}���h��Open WebUI�̃��|�W�g�����w�肵�āA��قǍ쐬����values.yaml���w�肵�Ď��s����΃`���b�gbot�‹����\�z�ł��܂��B

% helm repo add open-webui https://helm.openwebui.com/
% helm repo update
% helm upgrade --install --version 5.20.0 --create-namespace  open-webui open-webui/open-webui -nopen-webui -f values.yaml

�@�{�A�ڂł́A�o�[�W����5.20.0���C���X�g�[�����܂����A--version�I�v�V�������ȗ����邱�ƂŁA�ŐV�ł��C���X�g�[���ł��܂��B

�@Rancher Desktop�𗘗p���Ă���΁Ahelm�R�}���h�������I�ɓ�������܂����ARancher Desktop�ȊO�̊‹���helm�R�}���h���Ȃ��ꍇ�́A���L�L�����Q�l�ɂ���helm���C���X�g�[�����Ă��������B

�@kubectl get pods�R�}���h��Pod�����s����Ă��邱�Ƃ��m�F�ł���΁A�‹��\�z�ɐ������Ă��܂��B

$ kubectl get pods -nopen-webui
NAME                                    READY   STATUS      RESTARTS   AGE
open-webui-0                            1/1     Running     0          14d
open-webui-ollama-68685c946-6lgw6       1/1     Running     0          9h
open-webui-pipelines-764d5c7cb8-gdzsg   1/1     Running     0          14d
open-webui-tika-7b5d7c757c-5f426        1/1     Running     0          14d

�@STATUS�̕������uRunning�v�łȂ��ꍇ�́A1�A2���҂��Ă���ēx�m�F���Ă݂Ă��������B�܂��A����̊‹��̓�������16GB���x�̃}�V���Ŏ��s���邱�Ƃ�z�肵�Ă��܂��B������Ⴂ�X�y�b�N�̃}�V����T�[�o�̏ꍇ�A�������G���[�ɂ�蓮�삵�Ȃ��”\��������̂ŁA���ӂ��Ă��������B

�@�S��Running�ɂȂ�����u���E�U��http://localhost/�i�T�[�o��ŋN�����APC����ڑ�����ꍇ�́A�T�[�o��IP�A�h���X�^�z�X�g���Ȃǂ��w��j���J���Ċm�F���܂��B

Open WebUIN
Open WebUI�N�����

�@�Ȃ��A�ݒ�ύX��o�[�W�����A�b�v�̍ۂɂ́Ahelm upgrade�R�}���h��--version�I�v�V������ύX���Ahelm repo update/helm upgrade�R�}���h�����s���邱�ƂŊȒP�ɍX�V�A�ύX�ł��܂��B

�@��L��Open WebUI�̃Z�b�g�A�b�v�ɂ��A���L�̐}�ɂ���R���|�[�l���g���C���X�g�[������܂��B

Open WebUĨA[LeN`
Open WebUI�̃A�[�L�e�N�`��
  • Open WebUI�F����AI�𗘗p���ă��[�U�[�ƑΘb���邽�߂̃C���^�t�F�[�X
  • Ollama�F����AI�̐��_�G���W���BOpen WebUI����e�L�X�g���󂯎��A�w�肵�����f�����g���ĉ����e�L�X�g�𐶐�
  • Hugging Face�F���f�����擾���郂�f�����|�W�g���Ƃ��ė��p
  • Ollama Hub�FOllama��p�̃��f�����|�W�g���BHugging Face�ɔ�׃��f�����͏��Ȃ����AOllama�ŗ��p�ł��郂�f���݂̂��A�b�v���[�h����Ă���iHugging Face��Ollama�����p�ł��Ȃ����f�����܂�ł���j
  • Search Engine�FRAG�ŗ��p���邽�߂̌����G���W���BGoogle�ABing�Ȃǂ����p�”\�i�������j
  • Apache Tika�FPDF��Microsoft Office�����Ȃǂ���e�L�X�g�𒊏o����p�[�T�i�������j
  • Open WebUI Community�F���܂��܂�Open WebUI�g���R���|�[�l���g�A�X�N���v�g�����J����Ă���R�~���j�e�B�[�T�C�g�i�������j
  • Open WebUI Pipeline�F�p�C�v���C���G���W���B���x�ȏ����ɗ��p

Open WebUI���g���Ă݂悤

�@���āA�C���X�g�[�����ł����瑁���AOpen WebUI���g���Ă݂܂��傤�B

�Ǘ��҃A�J�E���g���쐬

�@Open WebUI�𗘗p����O�ɁA�Ǘ��҃A�J�E���g���쐬����K�v������܂��BOpen WebUI�̃T�C�g�ɃA�N�Z�X���A�uGet started�v���N���b�N����ƊǗ��҃A�J�E���g�̍쐬��ʂɂȂ�̂ŁA�����ŊǗ��҃A�J�E���g���쐬���܂��B

Ǘ҃AJEg̍쐬
�Ǘ��҃A�J�E���g�̍쐬

�@���O�A���[���A�h���X�A�p�X���[�h����͂��āuCreate Admin Account�v���N���b�N���Ă��������B

���p���郂�f���̑I��

�@Open WebUI�Ń��f���𗘗p����ɂ́A�w�K�ς݂̃��f����I��Ŏw�肷��K�v������܂��B

�@�L���ȃ��f���Ƃ��ẮuLlama�v������A���{��̈����������������f���Ƃ��āuELYZA�v�uSwallow�v�A�R�[�f�B���O�ɓ��������uCodeQwen�v�A�}���`���[�_���i�e�L�X�g�Ɖ摜�≹���ȂǕ����̃��f�B�A��������j���f���Ƃ��āuLlaVa�v�Ȃǂ�����܂��B

�@�{�e�ł́A16GB���x�̃�������ς�PC�Ŏ��s�”\�ȃ��f���Ƃ��āA����ɑ΂��Ă���Ȃ�̉񓚂�������Swallow�̗ʎq�����f���o�[�W�����𗘗p���܂��BSwallow�͓����Ȋw��w�i�������H�Ƒ�w�j�ƎY�ƋZ�p�����������i�Y�����j���J�����Ă���ALlama3���x�[�X�ɓ��{������̒lj��w�K���������f���ł��B

�@�������ASwallow�̗ʎq�����f���́AHugging Face�ŗL�u�����J���Ă��������̃��f���ƂȂ�܂��B

Open WebUI�ł̃��f���̃_�E�����[�h�i�v���j

�@Open WebUI�̉�ʂ���m���f����I���n���N���b�N����ƁA���f��������ʂ��\������܂��B���f��������ʂŁA�uhf.co/okamototk/Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf:Q4_K_M�v�Ɠ��͂��܂��B

�@����ƁA�u���ʂ����‚���܂���v�ƕ\������܂��̂ŁA���̉��ɂ���mOllama.com���烂�f�������v���n��I�����܂��B

f̌ƃvLʂł̓fāuvv\Ă܂
���f���̌����ƃv���@����L��ʂł̓��f�������������āu���v���v���\������Ă��܂���

�@����ŁA���f���̃_�E�����[�h���n�܂�܂��B�u�����f������������Ƀ_�E�����[�h�ł��܂����v�ƃ��b�Z�[�W���\�����ꂽ��A���f���̃_�E�����[�h�͊����ł��B

�@�m���f����I���n����A�_�E�����[�h�������f����I�����܂��B

���f���ƃ`���b�g���Ă݂悤�I

�@�e�L�X�g�{�b�N�X�Ƀ��b�Z�[�W������ƁAChatGPT�̂悤�ɐ���AI�ƑΘb�ł��܂��B�u�������������̃u�����h�������Ă��������v�Ǝ��₷��ƁA�ڍׂȏ������߂���̂œ��͂���ƁA���L�̂悤�ɂ��E�߂̂����������Ă���܂��B

`bg
�`���b�g���

�@�Ȃ��A�������f���𗘗p���Ă���L�Ƃ͈قȂ铚���ɂȂ�ꍇ������܂��B�܂��A�ŏ��̃`���b�g�́A�������Ƀ��f�������[�h����̂Ɏ��Ԃ������邽�߁A�e�L�X�g��\�����͂��߂�܂łɎ��Ԃ�������܂��̂ŁA�����ӂ��������B

�@2��ڂ���͂����Ƀe�L�X�g���\�������悤�ɂȂ�܂����A���΂炭���s���Ȃ��ƃ��������烂�f�����������邽�߁A����A�N�Z�X�ł܂����Ԃ�������悤�ɂȂ�܂��B

�`���b�g���ŃC���^���N�e�B�u�ȃR�[�h���s�����Ă݂悤

�@2025�N2��13���Ƀ����[�X���ꂽOpen WebUI 0.5.11�ɂāACode Interpreter�@�\���lj�����܂����BCode Interpreter�ɂ��APython�R�[�h�̍쐬�x���ƃ`���b�g���ł̃R�[�h���s���ł���悤�ɂȂ�܂��B

�@Code Interpreter�𗘗p����ɂ́A�`���b�g�{�b�N�X�̉��ɂ���mCode Interpreter�n���N���b�N���܂��B����ƁA�΂̃����v�ƁuExecute code for analysis�v���\������܂��B

Code Interpreter̗p
Code Interpreter�̗��p

�@���̏�ԂŁA�w������͂���ƁA�R�[�h���쐬���Ă���܂��B�R�[�h�ɂ���mRun�n�{�^�����N���b�N���邱�Ƃɂ��A�R�[�h�̎��s���ʂ��`���b�g��ʓ��ő����ɓ��邱�Ƃ��ł��܂��B

Code InterpreterɂR[h̎s
Code Interpreter�ɂ��R�[�h�̎��s����

�@�Ȃ��A�M���ł��Ȃ����[�U�[�ɂ��`���b�g���ł̃R�[�h���s�̓Z�L�����e�B�̐Ǝ�i�������Ⴍ�j���ɂ��‚Ȃ��邽�߁ACode Interpreter�@�\�͖��������邱�Ƃ��ł��܂��B

�`���b�g���s���̃g���u���V���[�e�B���O

�@�`���b�g�Ŏ������͂����ۂɃG���[�ƂȂ萳�����񓚂������Ȃ����Ƃ�����܂��B���̏ꍇ�́A�ȉ��̎菇�Ō�������肵�܂��B

�@�܂��A���삵�Ă���Pod���m�F���܂��B

% kubectl get pods -nopen-webui
NAME                                    READY   STATUS    RESTARTS   AGE
open-webui-0                            1/1     Running   0          8m55s
open-webui-ollama-7b54598f9d-gvdnp      1/1     Running   0          8m55s
open-webui-pipelines-7f6cc498fc-7h8mt   1/1     Running   0          8m55s
open-webui-tika-74c4c4fc6-x4hmz         1/1     Running   0          93s

�@open-webui-ollama-xxxxx�Ƃ������O��Pod��LLM�����s���Ă���Ollama��Pod�ł��B����Pod�̃��O���m�F���Ă݂܂��B

% kubectl logs -nopen-webui open-webui-ollama-7b54598f9d-gvdnp
...
time=2024-12-21T09:25:37.914Z level=INFO source=server.go:104 msg="system memory" total="5.8 GiB" free="3.4 GiB" free_swap="0 B"
time=2024-12-21T09:25:37.915Z level=WARN source=server.go:136 msg="model request too large for system" requested="6.2 GiB" available=3668729856 total="5.8 GiB" free="3.4 GiB" swap="0 B"
time=2024-12-21T09:25:37.915Z level=INFO source=sched.go:428 msg="NewLlamaServer failed" model=/root/.ollama/models/blobs/sha256-44aa7f50ddbb6350baabff84a761f3fc27860a017eca703eb7aa08e8311120e9 error="model requires more system memory (6.2 GiB) than is available (3.4 GiB)"
...

�@���O���b�Z�[�W���m�F����ƁA�V�X�e����������6.2GiB�K�v�irequested="6.2 GiB"�j�����A���p�”\�ȃ�������3.4GiB�i=3.65GB�j�ifree="3.4 GiB"�j�ŕs�����Ă���Ƃ����G���[���b�Z�[�W���o�͂���Ă��邱�Ƃ�������܂��B

�@Rancher Desktop�̃R���e�i�ւ̃������ݒ�̓f�t�H���g��4GB���x�ƂȂ邽�߁A�G���[���������Ă��܂��B�uKubernetes�N���X�^�\�z�v���m�F���āA�N���X�^�ŗ��p�ł��郁�����𑝂₷�ȂǑΉ����Ă݂܂��傤�B

���̃��f���������ۂɒm���Ă��������|�C���g

�@�����܂łŁA���[�J���Ń_�E�����[�h�������f�������s���ă`���b�g�ł���悤�ɂȂ�܂����B���f���͂��܂��܂ȃt�H�[�}�b�g�Œ񋟂���Ă��܂����A�{�e�ŗ��p����Ollama�́ugguf�v�ƌĂ΂��t�@�C���t�H�[�}�b�g���T�|�[�g���Ă��܂��B

�@gguf�͌��̃��f���Ɣ�ׂ�菭�Ȃ��r�b�g���\�������ʎq�����ꂽ���f�����������߂̃t�H�[�}�b�g�ŁACPU��ᐫ�\��GPU�ɂ����Č����I�Ȑ��_���ł���悤�ɐ݌v����Ă��܂��B

�@Swallow�̗ʎq�����f���ȊO�����[�J���Ŏ��������Ȃ�����A�ȉ��̃|�C���g���Q�l�ɑI�ԂƂ悢�ł��傤�B�Ȃ�Hugging Face�Ń��f����T�����@�ɂ‚��Ắu���f���n�u�̕������v�ʼn�����܂��B

�p�����[�^�[���i���f���K�́j

�@���f���ɂ́A�p�����[�^�[���ƌĂ΂�郂�f���̕\���͂����߂�l������A��ʓI�Ƀ��f���K�͂ȂǂƌĂ΂�Ă��܂��B�p�����[�^�[�������Ń��f���̐��\�����܂�킯�ł͂���܂��񂪁A�ʏ킱�̃p�����[�^�[�����傫���قǃ��f���������\�ƂȂ�A���f���K�͂��u7B�v�ƋL�ڂ���Ă���΁A70���̃p�����[�^�[�����‚Ƃ����Ӗ��ɂȂ�܂��B

�@�p�����[�^�[�����傫���Ȃ�΂Ȃ�قǁA��ʂ̌v�Z���\�[�X�iCPU/GPU/RAM�j���K�v�ƂȂ�܂��B

�ʎq���iQuantize�j

�@���f���́u�ʎq���v�ƌĂ΂���@�ɂ��A���f���T�C�Y���������ł��܂��B�ᐫ�\��PC�‹��œ��삳����ꍇ�A�ʎq���ɂ�萄�_�̃������g�p�ʂ̍팸�Ƒ��x���オ���҂ł��܂��B���񗘗p���Ă���Ollama�̏ꍇ�AGitHub���|�W�g���ɋL�ڂ���Ă���ʎq�����T�|�[�g���Ă��܂��B�ʎq�����f���́uQ4�v�Ȃǂ̐����́A�ʎq�������r�b�g����\���Ă���A�������������قǏ��Ȃ��r�b�g���Ń��f�����ʎq������T�C�Y���������Ȃ邱�Ƃ������Ă��܂����A���f���T�C�Y���������Ȃ�ƁA���̃��f���ɑ΂��鐫�\�򉻂��傫���Ȃ�܂��B

�@�܂��A�ʎq�����ꂽ���f���ɂ́AL�i��j�AM�i���j�AS�i���j�ƃT�C�Y������A���������f���قǃT�C�Y�͏������Ȃ�܂����A���\�򉻂��傫���Ȃ�܂��B

�@�܂��uiMatrix�v�ƌĂ΂��A�d�v�x�������p�����[�^�[�ɑ����̃r�b�g�����蓖�āA�d�v�x�̏������p�����[�^�[�ɏ��Ȃ��r�b�g�����蓖�Ă��@������܂��BiMatrix�𗘗p���邱�Ƃɂ��A���x�𗎂Ƃ����Ɍ����I�ɗʎq���ł��܂��B���f������iMatrix�AiMat�Ai1�̕������܂܂��ꍇ�́AiMatrix�łł��邱�Ƃ������Ă��܂��B

�@���M���_�Ŏ嗬�ƂȂ��Ă����@���uK-Quants�v�ł��B���̎�@�́A�d�݂̗ʎq�����u���b�N���Ƃɕ����ėʎq��������̂ŁA�u���b�N���̐��\�򉻂�}���邱�Ƃ��ł��܂��B

�@�R�~���j�e�B�[���ł́A�uQ4_K_M�v�uQ5_K_M�v�����\�򉻂������T�C�Y���������ł���o�����X�̎�ꂽ�ʎq�����ƕ]������Ă��܂��i�Q�l�FDifference in different quantization methods�j�B���̂��ߖ{�e�ł́A�ł��邾�����f�����\�𗎂Ƃ����ɃT�C�Y���������Ȃ���Swallow��iMatrix�Ń��f���iQ4_K_M�j�𗘗p���Ă��܂��B

�����iDistillation�j

�@�{�e�ł͗��p���܂���ł������AOpenAI�́uGPT-4o-mini�v��DeepSeek�̃��f���Œ��ڂ���Ă���̂��A�u�����v�Ƃ����T�O�ł��B�����́A�傫�ȋ��t���f���̒m���������Ȑ��k���f���ɓ]�ڂ���Z�p�ł��B���t���f������������o�͂𐶓k���f���̊w�K�ɗ��p���A���k���f�������t���f���ɋ߂��o�͂����‚悤�ɒ������邱�Ƃɂ��A���k���f���̐��\�����サ�܂��B���f�����ɁuDistill�v�Ƃ����������܂܂��ꍇ�́A�������f���ł��邱�Ƃ������Ă��܂��B

�@�Ⴆ�΁A�����\��LLM�Ƃ��Ē��ڂ��ꂽDeepSeek�̏������f���̈�‚ł���uDeepSeek-R1-Distill-Llama-8B�v�́A�uLlama-8B�v���x�[�X���f���Ƃ��A���������Ă��邱�Ƃ������Ă��܂��B

���f���n�u�̕�����

�@�V��������AI���f�������J�����ƃj���[�X�ȂǂŘb��ɂȂ�܂����A�����̃��f���͑����̏ꍇ�AHugging Face�Ō��J����܂��BHugging Face�͂����郂�f���ɓ�������GitHub�̂悤�Ȃ��̂ŁA�I���W�i���̃��f���̑��A���[�U�[���ʎq�������t�@�C���`���[�j���O�������f����A�g���[�j���O�f�[�^�Ȃǂ����J����Ă��܂��B

�@�{�e�ł́ASwallow�̗ʎq�����f���𗘗p���܂����B���̃��f����T���C���[�W���ɁAHugging Face�ŗ��p���������f����T�����@���Љ�܂��B

�@�܂��AHugging Face�����f�������y�[�W�ŁuModels�v�̉E�̌����{�b�N�X�ɁuSwallow�v�����Č������܂��B

Swallow̌
Swallow�̌������

�@�������ʂŊ�‚��̃t�@�C����README.md���\������܂��B���ڂɕ\������Ă���̂́u���[�U�[���⃊�|�W�g���̑g�D���^���f�����^�t�@�C�����v�̏��ԂŁA������I������ƃ��f����t�@�C�������J���Ă��郆�[�U�[��g�D�̃y�[�W���m�F�ł��܂��B

�@�����ł́A�utokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3�v�̃��f����I�����A�N�Z�X���܂��B�Ȃ��utokyotech-llm�v�̃y�[�W���J���Ă݂�ƁA�������ɁA�����Ȋw��w�̃��|�W�g���ł���|���L�ڂ���Ă��܂��B

�@�t�@�C�����Ɋ܂܂��Instruct�́A�v�����v�g�ɂ��w���i�Θb�A�|��A�v��Ȃǁj�ɂ��A����̃^�X�N�ɑ΂��Đ��\�����シ��悤�Ƀ`���[�j���O���ꂽ���f���ł��邱�Ƃ��w���Ă��܂��BInstruct�̑��Ƀ`���b�g�p�Ƀ`���[�j���O���ꂽChat�A�R�[�f�B���O�p�ɍœK�����ꂽCoder�Ȃǂ̖��O���܂܂�邱�Ƃ�����܂��B

�@���f���T�C�g�ɃA�N�Z�X���A�T�C�g�̉E�����m�F����ƁuQuantizations�v�Ƃ������ڂ�����A�u<����> models�v�ƁAHugging Face�Ō��J����Ă���ʎq�����f�����m�F�ł��܂��B

f̉
���f���̉��

�@�u<����> models�v�̕������N���b�N����ƁA�ʎq�����ꂽ���f���ꗗ���\������܂��B

ʎqꂽfꗗ
�ʎq�����ꂽ���f���ꗗ

�@5�‚̃��f�������ꂼ��m�F���Ă݂܂��Bgguf�t�H�[�}�b�g�Œ񋟂���Ă��郂�f���𗘗p�������̂ŁAGGUF�̕������܂܂�Ă��郂�f����I�����܂��B�܂��A�ʎq���ɂ�iMatrix�𗘗p���Ă��郂�f���͐��\���ǂ����߁Ai1�̕����񂪓����Ă���umradermacher/Llama-3.1-Swallow-8B-Instruct-v0.3-i1-GGUF�v��I�����܂��B

�@�I������ƁA���f���̏ڍׂ��\������A�E���ɗ��p�ł���ʎq�����f�����\������Ă��܂��B

ʎqꂽfꗗ
�ʎq�����ꂽ���f���ꗗ

�@���f���̗򉻂����Ȃ��T�C�Y��������Q4_K_M��I�����܂��B���f���̏ڍׂ��\�������̂ŁA���e���m�F���A�mUse this model�n��I������ƁA�T�|�[�g���Ă��郉�C�u������c�[���ꗗ���\������܂��B�����ł́uOllama�v��I�����܂��B

f̏ڍ
���f���̏ڍ�

�@����ƁAollama�Ń��f���𗘗p���邽�߂̃R�}���h���\������܂��B

OllamaŃf𗘗pR}h
Ollama�Ń��f���𗘗p����R�}���h

�@�����ŁAollama run�R�}���h�����������f�������R�s�[���܂��B

  • hf.co/mradermacher/Llama-3.1-Swallow-8B-Instruct-v0.3-i1-GGUF:Q4_K_M

�@���ꂪ�AOpen WebUI��Ollama���o�b�N�G���h�ɗ��p����ۂ̃��f�����Ƃ��ĕK�v�ɂȂ�܂��B�Ȃ��A��L�̗ʎq�����f���́A�����Ȋw��w�������ɔz�z���Ă�����̂ł͂Ȃ��A�umradermacher�v�Ƃ������[�U�[�����J�������f���ƂȂ�̂ł����ӂ��������B�����Ō��‚������f���́A���C�Z���X�ւ̏��炪���S�ł͂Ȃ����߁A�{�e�ł͒��҂��ʎq���������f���𗘗p���Ă��܂��B�r�W�l�X�ŗ��p����ꍇ�́A���f���̃��C�Z���X�ɂ����ӂ��Ă��������B

�@���̂悤�ȗ���ŁA���[�J���œ��������f�����AHugging Face��Ollama Hub�Ȃǂ̃��f���n�u�ŒT�����Ƃ��ł��܂��BSwallow�����łȂ��A���̃��f�����g�������l�͏�L�̎菇���Q�l�ɒT���Ď��s���Ă݂Ă��������B

������

�@����AI�͊w�K�f�[�^����ɉ񓚂𐶐����Ă��邽�߁A�w�K�f�[�^�ɂȂ����ƁA�Ⴆ�΁u2025�N�����̓����̓V�C�́H�v�Ƃ������ŐV�̎���ɂ͓������Ȃ��̂Œ��ӂ��Ă��������B

�@����́ARAG�𗘗p���Đ���AI�������Ȃ��O���f�[�^�����p������AGPU�𗘗p���ĉ������x�����コ�����肷����@���Љ�܂��B

Copyright © ITmedia, Inc. All Rights Reserved.

�y�[�W�g�b�v�ɖ߂�
OSZAR »