Intro

• 8.0 에서 InnoDB 엔진으로 전문 검색이 가능해짐
• 형태소 분석, n-gram 검색 기능 (어원에 관계없는 특정 길이 조각으로 인덱싱, 한글에 이용가치 높음)
  • 통계 쪽 용어기 때문에 나중에 언어 모델 (딥러닝, 머신러닝, 통계) 에 관심이 있을 경우 보는게 맞을 것 같음
  • https://web.stanford.edu/~jurafsky/slp3/3.pdf

12.1.1 전문 검색 인덱스의 생성과 검색

• 2가지 알고리즘
  • 형태소 분석 (서구권 언어의 경우 어근 분석)
    • mysql 에서는 공백 같은 띄어쓰기 기준으로 오큰을 분리해 인덱싱 (어근 분석, 형태소 분석 미구현)
  • n-gram 파서 (해당 위주로 볼 예정)
    • 띄어쓰기 단위로 단어 분리 후 주어진 길이 (n: 1~10) 로 쪼개 인덱싱
    • 의미 분석 X → 통계적 접근
    • ngram_token_size 설정 값으로 토큰 사이즈 결정 (재시작 필요, default:2)
    • 토큰 사이즈보다 작은 텍스트의 검색은 불가
    • 각 단어별로 n 개 단위로 쪼개짐
      • tri-gram 예제: ‘어서오십시오’
        • token: ‘어서오', ‘서오십', ‘오십시', ‘십시오’
    • 검색 쿼리의 스트링도 토큰별로 쪼개서 각 토큰별로 검색하게 됨

/* DDL */
CREATE TABLE tb_bi_gram (
	...
	title VARCHAR(100),
	body TEXT,
	...
	FULLTEXT INDEX fx_msg(title, body) WITH PARSER ngram
);

12.1.2 전문 검색 쿼리 모드

• 전문 검색 모드
  • 자연어 (NATURAL LANGUAGE)
  • 불리언 (BOOLEAN)
• 문장도 검색 가능: 마찬가지 n-gram 방식 적용)
  • 그냥 문장 통으로 검색하면 토큰 중 하나라도 있으면 검색이 됨
• wild card (*) 패턴 검색도 가능
• 검색어 확장 (QUERY EXPANSION)
  • 어떤 검색을 하였을 때, 검색 성공 대상 중 공통되는 패턴을 가진 단어를 다시 검색하는 기능
  • ex: ‘database’ 를 검색했으면, 검색 대상 중 ‘mysql’, ‘oracle’ 단어가 많이 나와 다시 검색하는 기능
  • blind query expansion 알고리즘 사용
    • 공통된 단어들로 다시 전문 쿼리 검색을 실행
    • 불필요한 전문 쿼리를 많이 실행할 수 있음

/* **natural language mode** - 단어 포함 미포함만 확인 */
SELECT id, title, body,
	MATCH(title, body) AGAINST ('MySQL' IN NATURAL LANGUAGE MODE) AS score
FROM tb_bi_gram
WHERE MATCH(title, body) AGAINST ('MySQL' IN NATURAL LANGUAGE MODE)

/* **boolean mode** */
SELECT COUNT(*) FROM tb_bi_gram
WHERE MATCH(title, body) AGAINST ('단편' IN BOOLEAN MODE);

/* boolean mode 의 논리적 연산 */
/* 포함, 미포함 기능 - '+': 포함, '-': 미포함 */
SELECT id, title, body,
	MATCH(title, body) AGAINST('+MySQL -manual' IN BOOLEAN MODE) AS score
FROM tb_bi_gram
WHERE MATCH(title, body) AGAINST('+MySQL -manual' IN BOOLEAN MODE)

/* "" 는 하나의 단어 취급 */
SELECT id, title, body,
	MATCH(title, body) AGAINST('+"MySQL man"' IN BOOLEAN MODE) AS score
FROM tb_bi_gram
WHERE MATCH(title, body) AGAINST('+"MySQL man"' IN BOOLEAN MODE)

/* query expansion */
SELECT * FROM tb_bi_gram
WHERE MATCH(TITLE, BODY) AGAINST('database' WITH QUERY EXPANSION)