September
September week4
*research(ai/bio/nlp-papers/lectrues/projects)
** plan biosyn(EA? or AC)
** diffusion+text for bio(EA? or IC (or AC or EC))
** bias additionally audio
** fair vllm bench+Label bias(additionally EA?, WA->CV(some updates?))
*** additionally for MOVIE?(EA? no time.. i guess)
** ssl for dna?(PA?)
** qiita -> emb -> setT(PA?) (JofBio?) (acmbcb-pseudo-OTU COMPARISON(later for bio journal?) )
** robust dna(PA?)
MAYBE FUTURE WORKS
** Ideation(with conference?)-please keep the ideas...
* dif gen lm?(future..?)
** unlearning?
** LLM app for gene (wait?)
*** (check nucl with blast--->check real nicl whether sim or not) (??description?)
** advAttack_verification and geneLMs (wait?)
** Aug focus(B)
** deep hierarchy
(future pro+nu)
** generative benchmark
(gf+rm+dc--->nucl)
** using drug bank web or db(good for using)
## eng v/q/w first and.. ( reading/listening/speaking/writing(paper) )
## math? code? (lecture/assignment/project) Monday, September 29, 2025
- research
o
Tuesday, September 30, 2025
-
research
o -
new 학회
** distilation 흠: contrastiv learning처럼 skew KL 과 reverse skew KL을 사용한 티처-스튜던트 디스틸레이션 효과적, 스케일로우 성립..?
** transformer와 graph모델을 동시에 잘 사용하자(특히 여러 접근방법 많다).. 근데 생각해보니 이미 전에도 보았두아.ㅎ.ㅎ
** uncertainty quantification은 엔트로피를 이용하거나, 같은 질문에 대한 반복적인 대답이 얼마나 유지되는지, 컨피던스 스코어, 어텐션 맵 기반 스코어링(어텐션스코어)로 측정되며 그 외에 신뢰도 측정을 위해 여러 모델들의 답과 얼마나 겹치는지, 정답지와 비교, 외부 문서 없이도 잘 하는지 등을 본다.
- new new
** 여기서의 alignment는 모델이 인간의 의도(intention), 가치(value), 기대(expectation)와 잘 일치하도록 만드는 과정을 의미합니다. 즉, 모델이 단순히 언어를 예측하는 데 그치지 않고, 사용자의 요청을 정확히 이해하고, 해롭지 않으며, 유익하고 바람직한 방식으로 응답하도록 만드는 것
** 스케일링의 시대에서 이제는 변화하는건지..
** synthetic data의 diversity가 중요
*** long tail 재현이 중요?
** KV cache 관련된거 꽤 보이네.. 캐시는 속도 측면인데 트레이드 오프 아무래도 있어서 해결 시도들인듯
** 근데 acl은 생물이나 dna ㄹㅇ택도 없음
** 뇌파가 핫한가? 멀티모달 측면의 한 축인가.. 왤케 브레인 뇌파 eeg가 꽤 보이넹
** 멀티모달? 멀티 에이전트에서 논문이나 아티클 쓰는 거 같이 해도 좋을듯?
** 이미지를 디퓨전 사용해서 만든다음에 그 이미지로 분류기에 줘서 또 다른 소스로 사용
*** 이거 아주 재밌는 아이디어인듯!!
- 학회에서의 인사이트들?
이미 clip, llm 다 씀 for med ai..wow
contrastive learning, generation for aug 등 생각할만한 거 다 하는 느낌..
bio도 금방일듯
federated learning 좀 흥미로웠네(학습한 피처만 보내는거..중앙으로..병원등 개인정보땜에)
unlearning-> 잊게 만드는거.. 요즘 많이 다루는 분야인듯(이것도 개인정보 관련)
diffusion기반(랜덤기반) 디엔에이?
co-scientist? multi agent..llms with other apis(collaborator)..별건아닌거같아..
새로운 신기한거 많네 causal model들이나 hypergraph? heterophilly?
평소같으면 전혀 안 찾아볼 것들 보게되는 것도 아주 굿
그래프네트워크랑 언어모델이랑(트랜스포머)를 함께 사용하는 접근법도 아주 많네..!
트랜스포머에 모종의 확률의 추가하여 약간의 변화를 주는 방법도 많은듯
시퀀스랑 텍스트랑도 많이들 생각하는…
fidelity? 충실도?
fidelity는 모델이 원래 데이터, 원본 모델, 혹은 목표 함수와 얼마나 잘 일치하는지를 나타내는 개념이며, 다양한 머신러닝 응용에서 중요한 품질 평가 기준이 됩니다.
->여러 메트릭을 포함하는 개념인듯.. comsine sim, KL divergence, robust accuracy, 등등
-여기서부터 이어서… 이미지로부터 dna seq추출 신기(사실은 seq분류였음)
이미 rna모델은 엄청 많이 다루네.. 미생물로 확장해서 소타보다 강함을 보이거나
특이한 테스크로 프리트레인하거나 뭐 k mer에 스트라이드를 줘서 최적화하거나…
vector quantization으로 토큰화하는거 진짜 신기하네.. 이걸로 protein 생성모델 만드는거 오오 신기
E(3)-동변량 그래프 신경망(EGNN) 라는 단백질 3d구조 기반의(기울기 등 space정보 포함) 벡터롤 또 얻어서 PLM 벡터랑 합쳐서 뭐 예측 모델에 사용하기도 하네.. 이것도 특이….
rna LM + protein LM도 있는데 각각의 임베딩을 다시 입력으로 받아서 트랜스포머 써서 특정 테스크를 위한 파인튜닝하여 새로 임베딩 얻어서 사용하는… 그것도 인상적이었음
- 테스크 인사이트??
** Drug Target Discovery (유전자 발현 수준에서 특정 바이오마커를 찾는??)
** Disease Trajectory Reconstruction Using EHRs(유전체 데이터(GWAS, RNA-seq)를 포함할 수도..유전자 변이나 발현 패턴이 질병 진행과 연관될 경우)
** identifying pathogen(병원체)
** 좀 다르지만 생물학 문제(뭐 수능문제같은거)로 LLM평가해도 될 듯 … novelty랑 creativity랑 좀 더 depth한 개념들 갖고…
** 바로 위와 연관지어서 라우팅으로 생물과 화학을 나눈다던지, 또 연산부분은 나눈다던지 등..
** 또 좀 다르지만 t-SNE 대체재 또는 보완재로 UMAP, NCVis, It-SNE, 그리고 PaCMAP(with Differential Expression of Genes Between Clusters), LocalMAP
** interpretable neural networks..ProtoPNet? 이건 잘 모르겠군 도입하기가 ㅎㅎ
** 연관해서 causual 연구들도 관련이 있을듯… 분야가 확실히 많더라
September week4
*research(ai/bio/nlp-papers/lectrues/projects)
** plan biosyn(EA? or AC)
** diffusion+text for bio(EA? or IC (or AC or EC))
*** additionally for MOVIE?(EA? no time.. i guess)
** fair vllm bench+Label bias(additionally EA?, WA->CV(some updates?))
** ssl for dna?(PA?)
** qiita -> emb -> setT(PA?) (JofBio?) (acmbcb-pseudo-OTU COMPARISON(later for bio journal?) )
** robust dna(PA?)
MAYBE FUTURE WORKS
** Ideation(with conference?)-please keep the ideas...
* dif gen lm?(future..?)
** unlearning?
** LLM app for gene (wait?)
*** (check nucl with blast--->check real nicl whether sim or not) (??description?)
** advAttack_verification and geneLMs (wait?)
** Aug focus(B)
** deep hierarchy
(future pro+nu)
** generative benchmark
(gf+rm+dc--->nucl)
** using drug bank web or db(good for using)
## eng v/q/w first and.. ( reading/listening/speaking/writing(paper) )
## math? code? (lecture/assignment/project) Monday, September 22, 2025
- research
o
Tuesday, September 23, 2025
- research
o
Wednesday, September 24, 2025
- research
o
Thursday, September 25, 2025
- research
o
Friday, September 26, 2025
- research
o
Saturday, September 27, 2025
- research
o
Sunday, September 28, 2025
- research
o
September week3
*research(ai/bio/nlp-papers/lectrues/projects)
** fair vllm bench+Label bias(WA)
** diffusion+text for bio(WA->IC or EA?)
** plan biosyn(EA)
** ssl for dna?(IC?)
** Label bias(EA)
** diffusion+text for mov(EA)
** qiita -> emb (JofBio?) (acmbcb-pseudo-OTU COMPARISON(later for bio journal?) )
MAYBE FUTURE WORKS
** Ideation(with conference?)-please keep the ideas...
* dif gen lm?(future..?)
** unlearning?
** LLM app for gene (wait?)
*** (check nucl with blast--->check real nicl whether sim or not) (??description?)
** advAttack_verification and geneLMs (wait?)
** Aug focus(B)
** deep hierarchy
(future pro+nu)
** generative benchmark
(gf+rm+dc--->nucl)
** using drug bank web or db(good for using)
## eng v/q/w first and.. ( reading/listening/speaking/writing(paper) )
## math? code? (lecture/assignment/project) Monday, September 15, 2025
- research
o
Tuesday, September 16, 2025
- research
o
Wednesday, September 17, 2025
- research
o
Thursday, September 18, 2025
- research
o
Friday, September 19, 2025
- research
o
Saturday, September 20, 2025
- research
o
Sunday, September 21, 2025
- research
o
September week2
*research(ai/bio/nlp-papers/lectrues/projects)
** diffusion+text for bio(WA)
** fair vllm bench(WA)
** ssl for dna?(IC?)
** Label bias(EA)
** diffusion+text for mov(EA)
** plan biosyn(EA)
** qiita -> emb (JofBio?)
MAYBE FUTURE WORKS
** Ideation(with conference?)-please keep the ideas...
** unlearning?
** LLM app for gene (wait?)
*** (check nucl with blast--->check real nicl whether sim or not) (??description?)
** advAttack_verification and geneLMs (wait?)
** Aug focus(B)
** deep hierarchy
(future pro+nu)
** generative benchmark
(gf+rm+dc--->nucl)
** using drug bank web or db(good for using)
## eng v/q/w first and.. ( reading/listening/speaking/writing(paper) )
## math? code? (lecture/assignment/project) Monday, September 08, 2025
- research
o
Tuesday, September 09, 2025
- research
o
Wednesday, September 10, 2025
- research
o
Thursday, September 11, 2025
- research
o
Friday, September 12, 2025
- research
o
Saturday, September 13, 2025
- research
o
Sunday, September 14, 2025
- research
o
September week1
*research(ai/bio/nlp-papers/lectrues/projects)
** diffusion+text for bio(WA)
** fair vllm bench(WA)
** ssl for dna?(IC?)
** Label bias(EA)
** diffusion+text for mov(EA)
** plan biosyn(EA)
** qiita -> emb (JofBio?)
MAYBE FUTURE WORKS
** Ideation(with conference?)-please keep the ideas...
** unlearning?
** LLM app for gene (wait?)
*** (check nucl with blast--->check real nicl whether sim or not) (??description?)
** advAttack_verification and geneLMs (wait?)
** Aug focus(B)
** deep hierarchy
(future pro+nu)
** generative benchmark
(gf+rm+dc--->nucl)
** using drug bank web or db(good for using)
## eng v/q/w first and.. ( reading/listening/speaking/writing(paper) )
## math? code? (lecture/assignment/project) Monday, September 01, 2025
- research
o
Tuesday, September 02, 2025
- research
o
Wednesday, September 03, 2025
- research
o
Thursday, September 04, 2025
- research
o
Friday, September 05, 2025
- research
o
Saturday, September 06, 2025
- research
o
Sunday, September 07, 2025
- research
o
