Are My Preferences Really Mine? - Choice, Personalization, and Algorithmic Influence

 A person stands before two paths, one shaped by familiar recommendations and the other opening toward unfamiliar possibilities, questioning where preference ends and influence begins.

Are My Preferences Really Mine? - Choice, Personalization, and Algorithmic Influence

Explore when algorithmic influence becomes part of autonomous preference and when personalization begins to constrain our choices.

When Does a Recommendation Become My Choice?

Imagine that I search for Nietzsche once. Afterward, I encounter more lectures, quotations, books, and videos about Nietzsche. I click on some of them. The system now has additional evidence that Nietzsche-related material is relevant to me, and similar material may appear again.

At first glance, the sequence seems simple. I expressed an interest, the system responded to it, and I chose among the resulting recommendations.

But where, exactly, is my preference in this sequence?

The first search may have reflected an existing interest. The later clicks may also reflect that interest. Yet they occurred within an environment partly organized by previous behavior. Something had to become visible before I could choose it.

This does not make the choice unreal. Human choice has never taken place in an empty environment. Friends recommend books. Teachers introduce philosophers. Families transmit tastes. Publishers decide which books reach stores. Cultural institutions determine which works remain visible across generations.

Influence, therefore, is not the opposite of choice. The more difficult philosophical question is what kinds of influence remain compatible with autonomy.

Is an Influenced Preference Still Mine?

Suppose a friend recommends a novel that I would never have discovered alone. I read it and eventually become deeply interested in its author. Few people would conclude that my new preference is false merely because someone else introduced it.

The same basic problem becomes more complicated with algorithmic recommendation. A recommender can operate repeatedly, at enormous scale, and often without users knowing precisely why particular items were selected or ranked.

This creates an important distinction between having a preference and having a preference about that preference.

A person may repeatedly watch sensational videos while simultaneously wishing to spend less time watching them. Another person may rarely encounter classical music but wish to understand and appreciate it more deeply. Observed behavior alone does not necessarily reveal which direction a person endorses for their own development.

Philosophers have long distinguished between immediate desires and higher-order attitudes toward those desires. In contemporary discussion of recommender systems, this distinction becomes especially relevant because systems frequently infer preference from behavioral signals such as clicks, likes, viewing time, or previous selections.

Étienne Brown argues that authenticity in algorithmically filtered environments should be considered partly in terms of volitional alignment and self-understanding. A system that successfully predicts what attracts my attention may still fail to represent what I want to want.

The philosophical problem is therefore not simply whether an algorithm influenced me. It is whether the resulting pattern of choice remains connected to preferences and commitments that I can recognize and endorse as my own.

Does Behavior Reveal What I Really Want?

Recommendation systems require observable information. Human intention, however, is not always directly observable.

I may finish a video because I value it. I may also finish it because I am irritated, surprised, distracted, or simply unwilling to begin another task. The observable action can be identical while its meaning differs.

This creates a problem when behavior is treated as evidence of preference.

Research on recommender systems has shown another complication. Recommendations can influence which items users encounter, and responses to those recommendations can then enter the data used for subsequent predictions. Sinha, Gleich, and Ramani describe this as a feedback loop and investigate whether recommendation effects can be distinguished from intrinsic preference.

The philosophical significance of this loop is substantial. If a system learns from choices made inside an environment that the system itself helped organize, observed behavior cannot automatically be treated as a neutral window into an independent preference.

Yet the opposite conclusion would also be excessive. We cannot assume that every choice following a recommendation was produced by the recommendation. A person may encounter something through an algorithm and genuinely discover an interest that becomes important to them.

The boundary between discovery and influence is therefore not visible from the click alone.

Can Personalization Help Me Discover Myself?

Personalization is usually criticized when it narrows possibilities, but the opposite possibility deserves attention.

Other people often help us discover aspects of ourselves that we had not previously recognized. A teacher may identify an ability, a friend may introduce a form of music, and an unexpected book may reveal an intellectual interest that had no previous name.

Recommendation can sometimes function similarly.

Brown argues that algorithmic recommendations can contribute to self-understanding when they prompt users to question their own identities and preferences. A surprising recommendation may produce the thought, “Why was this shown to me?” or, more importantly, “Why am I interested in this?”

In that case, an imperfect model can become an occasion for reflection.

But this possibility depends partly on our relationship with the system. If recommendations are opaque and difficult to control, users may mistake a computational inference for an authoritative description of themselves. If the system instead allows people to understand and modify the basis of recommendation, personalization can become more compatible with reflective self-direction.

The distinction is subtle but important. A system can offer a possibility without determining what that possibility must mean to the person who encounters it.

When Does Influence Become Manipulation?

Not every influence is manipulation.

If all influence destroyed autonomy, almost no human preference could count as autonomous. Language, education, friendship, advertising, social norms, institutions, and previous experience all shape the environments within which preferences develop.

Manipulation requires a more demanding account.

Ashton and Franklin point to a particular difficulty in iterative AI systems: it can become hard to distinguish whether the system has learned what users prefer, whether users themselves have changed, or whether interaction with the system has taught users to behave in ways that advance the system's objective.

This does not prove that recommender systems necessarily manipulate users. It identifies a structural problem that makes the source of observed preference difficult to determine.

The question therefore shifts from “Was I influenced?” to more precise questions. Could I recognize the influence? Could I resist it? Could I revise the resulting preference? Does the system respond only to what captures my attention, or can it accommodate what I deliberately want to become interested in?

These questions concern autonomy because autonomy does not require a life without causes. It concerns the person's capacity to participate reflectively in the formation and revision of their own commitments.

What Makes a Preference Mine?

Perhaps no preference has a completely isolated origin.

We inherit languages we did not invent. We encounter books other people preserved. Our tastes emerge within cultures that existed before us. Even deliberate rebellion begins with something against which to rebel.

Algorithmic recommendation adds another influence to this already crowded field, but it introduces unusual properties: scale, repetition, personalization, automated prediction, and feedback.

Those properties make scrutiny necessary, but they do not settle the philosophical question in advance.

A preference does not cease to be mine merely because something outside me helped it begin. Nor does a preference automatically become authentically mine merely because my behavior repeatedly displays it.

The stronger criterion may lie in the relationship I can establish with that preference. Can I examine it? Can I reject it? Can I revise it? Can I understand enough about its formation to decide whether I want it to remain part of my life?

This makes the question “Are my preferences really mine?” less a search for an uncontaminated origin than a question about continuing authorship.

We cannot choose every influence that reaches us. But we can ask what we do with the preferences those influences help produce.

The final question is therefore not simply, “Did I choose this?”

It is, “Can I still participate in choosing the person whose preferences these are becoming?”

References

Brown, Étienne. “Recommended Selves: Authenticity and Algorithmic Filtering.” ‘Journal of the American Philosophical Association’, vol. 12, no. 1, 2026, pp. 15–34. DOI: 10.1017/apa.2025.10009.

This article was used to examine algorithmic recommendation through volitional alignment, second-order desires, self-understanding, authenticity, controllability, and explainability. The article was published online in 2025 and appears in the March 2026 issue.

Ashton, Hal, and Matija Franklin. “The Problem of Behaviour and Preference Manipulation in AI Systems.” ‘Proceedings of the Workshop on Artificial Intelligence Safety 2022’, CEUR Workshop Proceedings, vol. 3087, 2022.

This paper was used to examine the difficulty of distinguishing learned preferences, changing users, and behavior shaped through iterative interaction with AI systems.

Sinha, Ayan, David F. Gleich, and Karthik Ramani. “Deconvolving Feedback Loops in Recommender Systems.” ‘Advances in Neural Information Processing Systems’, vol. 29, 2016, pp. 3243–3251.

This study was used to establish the feedback problem between recommendation and subsequent behavior and the distinction between recommender influence and intrinsic preference.

Chaney, Allison J. B., Brandon M. Stewart, and Barbara E. Engelhardt. “How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility.” ‘Proceedings of the 12th ACM Conference on Recommender Systems’, 2018, pp. 224–232. DOI: 10.1145/3240323.3240370.

This study was used to delimit the empirical claim about feedback effects: its homogenization finding derives from simulations and should not be generalized to every recommender system or user.

한 사람이 익숙한 추천으로 형성된 길과 낯선 가능성으로 열린 길 앞에 서서, 자신의 취향과 외부의 영향이 어디에서 나뉘는지를 묻습니다.

나의 취향은 정말 나의 것인가? - 선택, 개인화, 알고리즘의 영향

알고리즘의 영향이 언제 자율적인 취향의 일부가 되고, 개인화가 언제 우리의 선택을 제한하기 시작하는지 살펴봅니다.

추천은 언제 나의 선택이 될까?

제가 니체를 한 번 검색했다고 가정해 보겠습니다. 그 뒤로 니체에 관한 강의와 인용문, 책과 영상이 더 많이 나타납니다. 저는 그 가운데 일부를 선택합니다. 이제 시스템에는 니체와 관련된 자료가 저에게 적합하다고 판단할 추가적인 근거가 생기고, 비슷한 자료가 다시 나타날 수 있습니다.

처음 보면 이 과정은 단순합니다. 제가 관심을 표현했고, 시스템이 그것에 반응했으며, 저는 그렇게 제시된 추천 가운데 선택했습니다.

그러나 이 과정에서 정확히 어디까지가 저의 취향일까요?

첫 번째 검색은 이미 존재하던 관심을 반영했을 수 있습니다. 이후의 클릭도 그 관심을 반영했을 수 있습니다. 그러나 그 선택들은 이전 행동에 의해 부분적으로 구성된 환경 안에서 이루어졌습니다. 제가 무엇인가를 선택하려면 먼저 그것이 제 눈앞에 나타나야 했습니다.

그렇다고 그 선택이 거짓이 되는 것은 아닙니다. 인간의 선택은 애초부터 아무것도 없는 환경에서 이루어진 적이 없습니다. 친구가 책을 추천하고, 교사가 철학자를 소개하며, 가족이 취향을 전달합니다. 출판사는 어떤 책이 서점에 도달할지 결정하고, 문화적 제도는 어떤 작품이 세대를 넘어 계속 보일지를 결정합니다.

따라서 영향은 선택의 반대말이 아닙니다. 철학적으로 더 어려운 문제는 어떤 종류의 영향까지 자율성과 양립할 수 있는가입니다.

영향을 받아 형성된 취향도 나의 것일까?

친구가 제가 혼자서는 발견하지 못했을 소설을 추천했다고 가정해 보겠습니다. 그 책을 읽고 결국 그 작가를 매우 좋아하게 되었습니다. 다른 사람이 처음 소개했다는 이유만으로 새로 생긴 취향이 거짓이라고 판단할 사람은 많지 않을 것입니다.

알고리즘 추천에서는 동일한 기본 문제가 더 복잡해집니다. 추천 시스템은 반복적으로, 엄청난 규모로 작동할 수 있으며, 사용자가 특정 항목이 왜 선택되고 어떤 순위로 제시되었는지 정확하게 알지 못하는 경우도 많습니다.

여기에서 어떤 취향을 갖는 것과 그 취향 자체에 대해 어떤 취향을 갖는 것을 구별할 필요가 생깁니다.

어떤 사람은 자극적인 영상을 반복해서 보면서도 동시에 그런 영상을 보는 시간을 줄이고 싶어 할 수 있습니다. 다른 사람은 클래식 음악을 거의 접하지 않으면서도 그것을 더 깊이 이해하고 좋아하게 되기를 원할 수 있습니다. 관찰된 행동만으로는 한 사람이 자신의 발전을 위해 어느 방향을 승인하고 있는지 반드시 알 수 있는 것은 아닙니다.

철학자들은 오래전부터 즉각적인 욕구와 그 욕구에 대한 고차적인 태도를 구별해 왔습니다. 현대의 추천 시스템 논의에서 이러한 구별은 특히 중요해집니다. 시스템은 클릭, 좋아요, 시청 시간 또는 이전 선택과 같은 행동 신호에서 취향을 추론하는 경우가 많기 때문입니다.

에티엔 브라운은 알고리즘으로 필터링된 환경에서 진정성을 판단할 때 ‘의지의 정렬’과 ‘자기이해’를 함께 고려해야 한다고 주장합니다. 나의 주의를 무엇이 끄는지 성공적으로 예측하는 시스템이라도 내가 무엇을 좋아하고 싶어 하는지를 제대로 나타내지 못할 수 있습니다.

따라서 철학적 문제는 단순히 알고리즘이 나에게 영향을 주었는지가 아닙니다. 그 결과 나타난 선택의 패턴이 내가 나의 것으로 인정하고 승인할 수 있는 취향과 신념에 계속 연결되어 있는지가 문제입니다.

행동은 내가 정말 원하는 것을 보여 줄까?

추천 시스템에는 관찰할 수 있는 정보가 필요합니다. 그러나 인간의 의도는 언제나 직접 관찰할 수 있는 것은 아닙니다.

저는 어떤 영상이 가치 있기 때문에 끝까지 볼 수도 있습니다. 짜증이 나거나, 놀랐거나, 다른 데 정신이 팔렸거나, 단순히 다른 일을 시작하기 싫어서 끝까지 볼 수도 있습니다. 관찰되는 행동은 동일하지만 그 의미는 다를 수 있습니다.

행동을 취향의 증거로 사용할 때 여기에서 문제가 발생합니다.

추천 시스템 연구는 또 다른 복잡성도 보여 줍니다. 추천은 사용자가 어떤 항목을 접하는지에 영향을 줄 수 있고, 그 추천에 대한 반응은 이후의 예측에 사용되는 데이터에 다시 들어갈 수 있습니다. 신하, 글라이히와 라마니는 이를 피드백 루프로 설명하며 추천의 영향을 내재적 선호와 구별할 수 있는지를 연구했습니다.

이러한 순환이 갖는 철학적 의미는 상당합니다. 시스템이 스스로 부분적으로 구성한 환경 안에서 이루어진 선택으로부터 다시 학습한다면, 관찰된 행동을 독립적으로 존재하는 취향을 들여다보는 중립적인 창으로 자동 간주할 수 없습니다.

그러나 반대의 결론 역시 지나칩니다. 추천 뒤에 이루어진 모든 선택이 추천 때문에 만들어졌다고 가정할 수도 없습니다. 알고리즘을 통해 무언가를 처음 접한 사람이 실제로 자신의 중요한 관심사를 발견할 수도 있습니다.

따라서 발견과 영향의 경계는 클릭 하나만으로는 알 수 없습니다.

개인화는 나 자신을 발견하도록 도울 수도 있을까?

개인화는 가능성을 좁힐 때 흔히 비판받지만 반대의 가능성도 살펴볼 필요가 있습니다.

다른 사람들은 종종 우리가 이전에는 알지 못했던 자신의 모습을 발견하도록 돕습니다. 교사가 능력을 발견할 수도 있고, 친구가 새로운 음악을 소개할 수도 있으며, 우연히 만난 책이 이전에는 이름조차 없었던 지적 관심을 드러낼 수도 있습니다.

추천 역시 때로는 비슷한 역할을 할 수 있습니다.

브라운은 알고리즘 추천이 사용자로 하여금 자신의 정체성과 취향을 질문하게 함으로써 자기이해에 기여할 수 있다고 주장합니다. 뜻밖의 추천은 “왜 이것을 나에게 보여 주었을까?”라는 질문을 만들 수도 있고, 더 중요하게는 “나는 왜 이것에 관심이 생기는가?”라는 질문을 불러올 수도 있습니다.

그런 경우 불완전한 모형이 오히려 성찰의 계기가 될 수 있습니다.

그러나 이러한 가능성은 시스템과 우리가 맺는 관계에 부분적으로 달려 있습니다. 추천 과정이 불투명하고 통제하기 어렵다면 사용자는 컴퓨터가 만든 추론을 자신에 대한 권위 있는 설명으로 오해할 수 있습니다. 반대로 추천의 근거를 이해하고 수정할 수 있다면 개인화는 성찰적인 자기결정과 더 잘 양립할 수 있습니다. Brown 역시 통제 가능하고 설명 가능한 추천 시스템을 진정성에 더 적합한 방향으로 제시합니다.

여기에는 미묘하지만 중요한 차이가 있습니다. 시스템은 하나의 가능성을 제시할 수 있지만, 그 가능성이 그것을 접한 사람에게 무엇을 의미해야 하는지까지 결정할 필요는 없습니다.

영향은 언제 조작이 될까?

모든 영향이 조작은 아닙니다.

모든 영향이 자율성을 파괴한다면 인간의 취향 가운데 자율적이라고 부를 수 있는 것은 거의 남지 않을 것입니다. 언어와 교육, 우정, 광고, 사회적 규범, 제도와 과거 경험은 모두 취향이 발달하는 환경을 형성합니다.

조작이라고 부르기 위해서는 그보다 더 엄격한 기준이 필요합니다.

애슈턴과 프랭클린은 반복적으로 작동하는 AI 시스템에서 나타나는 특별한 어려움을 지적합니다. 시스템이 사용자의 취향을 학습한 것인지, 사용자 자신이 변화한 것인지, 아니면 시스템과의 상호작용이 시스템의 목적을 달성하는 방향으로 사용자의 행동을 변화시킨 것인지 구별하기 어려워질 수 있습니다.

이것이 추천 시스템이 반드시 사용자를 조작한다는 것을 입증하지는 않습니다. 관찰된 취향의 기원을 판별하기 어렵게 만드는 구조적 문제를 보여 줄 뿐입니다.

따라서 질문은 “나는 영향을 받았는가?”에서 더 정확한 질문으로 이동합니다. 나는 그 영향을 알아차릴 수 있었는가? 거부할 수 있었는가? 그 결과 생긴 취향을 다시 수정할 수 있는가? 시스템은 단지 나의 주의를 끄는 것에만 반응하는가, 아니면 내가 의도적으로 관심을 갖고 싶어하는 것도 반영할 수 있는가?

이 질문들이 자율성과 관련되는 이유는 자율성이 원인이 없는 삶을 요구하지 않기 때문입니다. 자율성은 자신의 신념과 취향이 형성되고 수정되는 과정에 인간 자신이 성찰적으로 참여할 수 있는 능력과 관련됩니다.

무엇이 하나의 취향을 나의 것으로 만들까?

어쩌면 완전히 고립된 기원을 가진 취향은 존재하지 않을지도 모릅니다.

우리는 자신이 만들지 않은 언어를 물려받습니다. 다른 사람들이 보존한 책을 만납니다. 우리의 취향은 우리가 태어나기 전부터 존재했던 문화 속에서 생겨납니다. 의도적인 반항조차 먼저 반항할 대상이 있어야 시작됩니다.

알고리즘 추천은 이미 수많은 영향이 존재하는 이 환경에 또 하나의 영향을 추가합니다. 그러나 여기에는 규모, 반복성, 개인화, 자동화된 예측과 피드백이라는 특수한 성질이 있습니다.

그러한 성질 때문에 면밀한 검토가 필요하지만, 그것만으로 철학적 결론이 미리 결정되는 것은 아닙니다.

어떤 취향은 외부의 무엇인가가 그 시작에 기여했다는 이유만으로 나의 것이 아니게 되지는 않습니다. 반대로 나의 행동에서 반복적으로 나타난다는 이유만으로 자동으로 진정한 나의 취향이 되는 것도 아닙니다.

더 강한 기준은 내가 그 취향과 어떤 관계를 맺을 수 있는가에 있을지도 모릅니다. 나는 그것을 검토할 수 있는가? 거부할 수 있는가? 수정할 수 있는가? 그것이 어떻게 형성되었는지를 충분히 이해하고 앞으로도 내 삶의 일부로 남기를 원하는지 결정할 수 있는가?

그러면 “나의 취향은 정말 나의 것인가?”라는 질문은 오염되지 않은 기원을 찾는 문제가 아니라 계속되는 자기 형성의 문제에 가까워집니다.

우리에게 도달하는 모든 영향을 선택할 수는 없습니다. 그러나 그러한 영향이 형성하는 데 관여한 취향을 가지고 무엇을 할 것인지는 물을 수 있습니다.

따라서 마지막 질문은 단순히 “내가 이것을 선택했는가?”가 아닙니다.

더 정확한 질문은 이것입니다. “이러한 취향을 갖게 되어 가는 사람이 누구인지를 선택하는 과정에 나는 여전히 참여할 수 있는가?”

참고문헌

에티엔 브라운. “추천된 자아: 진정성과 알고리즘적 필터링.” ‘Journal of the American Philosophical Association’, 제12권 제1호, 2026, 15–34쪽. DOI: 10.1017/apa.2025.10009.

의지적 정렬, 2차 욕구, 자기이해, 진정성, 통제 가능성과 설명 가능성을 중심으로 알고리즘 추천을 검토하는 데 사용했습니다. 이 논문은 2025년에 온라인으로 먼저 출판되었으며, 2026년 3월호에 수록되었습니다. 논문 제목은 이해를 돕기 위해 한글로 옮겼습니다.

할 애슈턴, 마티야 프랭클린. “AI 시스템의 행동 및 선호 조작 문제.” ‘2022 인공지능 안전 워크숍 논문집’, CEUR Workshop Proceedings, 제3087권, 2022.

반복적인 AI 시스템과의 상호작용에서 시스템이 사용자의 기존 선호를 학습한 것인지, 사용자가 변화한 것인지, 또는 시스템과의 상호작용을 통해 사용자의 행동이 형성된 것인지를 구별하기 어려운 문제를 검토하는 데 사용했습니다. 논문 제목과 학술대회명은 이해를 돕기 위해 한글로 옮겼습니다.

아얀 신하, 데이비드 F. 글라이히, 카르티크 라마니. “추천 시스템의 피드백 루프 분리.” ‘Advances in Neural Information Processing Systems’, 제29권, 2016, 3243–3251쪽.

추천과 이후의 사용자 행동 사이에서 발생하는 피드백 문제와 추천 시스템의 영향을 사용자의 내재적 선호와 구별하는 문제를 검토하는 데 사용했습니다. 논문 제목은 이해를 돕기 위해 한글로 옮겼습니다.

앨리슨 J. B. 체이니, 브랜던 M. 스튜어트, 바버라 E. 엥겔하르트. “추천 시스템의 알고리즘 교란은 어떻게 동질성을 높이고 효용을 낮추는가.” ‘제12회 ACM 추천 시스템 학술대회 논문집’, 2018, 224–232쪽. DOI: 10.1145/3240323.3240370.

추천의 영향을 이미 받은 행동을 다시 학습 데이터로 사용할 때 나타날 수 있는 알고리즘 교란과 행동 동질화를 검토하는 데 사용했습니다. 해당 연구의 동질화 결과가 시뮬레이션에서 나온 것이므로 모든 추천 시스템이나 사용자에게 일반화하지 않는 근거로 사용했습니다. 논문 제목은 이해를 돕기 위해 한글로 옮겼습니다.

Previous Episode - How Do We Know What Is Real? - Perception, Consistency, and the Verification of Reality

Related Label - Philosophy

Next Episode -