Тема: Статья о рейтинге
|
Александр Курлович Статья о рейтинге |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Вот, встретил на лайне текст. Интересный, по-моему. Публикую здесь с разрешения автора.
ПРОБЛЕМЫ ПОСТРОЕНИЯ РЕЙТИНГАСодержание Проблема №1 - количество критериев оценки снимка Проблема №4 - существенно неравномерное количество просмотров снимков. Проблема №5 - построение рейтинга снимка Проблема №6 - построение рейтинга участника Проблема №7 - представление рейтинга участника
Экспертология - наука о методах получения и обработки экспертной информации. В рамках этой дисциплины эксперт, упрощенно говоря, рассматривается как некий "измерительный прибор". Такая аналогия позволяет сразу представить себе возможные проблемы. Например, ясно, что прибор может измерять не все, что угодно; существует погрешность измерения и т.д. Оценка фотоснимков на фотосайтах (фотофорумах) достаточно хорошо укладывается в эту модель. Посмотрев, как устроены системы оценок фотоснимков на нескольких популярных российских сайтах, я убедился, что они (системы) не только далеки от совершенства, но содержат грубые методические ошибки, которые фактически во многом лишают смысла саму затею с оценкой снимков. Разумеется, в этом нельзя винить авторов этих систем - они хотели как лучше... Предвижу естественное возражение: "В чем, собственно дело? Сайты работают. Популярность их даже растет! Действительно хорошие снимки имеют высокие рейтинги, откровенно плохие - низкие. К чему сыр-бор?" Причины есть. Поверьте, я с уважением отношусь к авторам, администраторам и модераторам фотосайтов! Это, как правило, люди увлеченные, неравнодушные, иногда даже самоотверженные. Они тратят свое время и силы во многом, как говориться, "из любви к искусству". Их деятельность достойна, без сомнения, всяческого уважения. Именно поэтому важно и нужно помочь им в их благородном деле. На то есть, как минимум, 3 причины:
Первоначально я планировал написать небольшую заметку, в которой собирался просто перечислить замеченные методические ошибки и кратко обрисовать пути их возможного исправления. Приступив к работе, быстро понял, что такая форма изложения не подходит. Одна деталь цеплялась за другую, та - за третью. Приходилось отвлекаться от основной темы и вдаваться в обсуждение важных для понимания сопутствующих моментов и т.д. Волей-неволей я пришел к необходимости описания целостной концепции фотосайта, ориентированного на коллективную численную оценку снимков. В описании концепции профессиональные моменты оказались перемешаны с общими, но я надеюсь, что большинство читателей сумеют отделить одно от другого. Особое внимание в описании уделено проблемам, которые приходится решать при проектировании сайта. Большинство проблем общего характера почерпнуто из форумов. Важно подчеркнуть, что речь идет именно о численных оценках снимков, хотя это вовсе и не обязательная деталь фотосайтов. Например, на известном англоязычном ресурсе www.photocritique.net численная оценка снимков вообще не предусмотрена. Допускаются только комментарии. Основу концепции составляет понятие КЛУБ, как объединение людей по интересу. Понятно, что основная цель клуба - удовлетворение потребности в самовыражении посредством фотографии и общении на эту тему. Но, как говорят французы - "дьявол прячется в деталях". Именно детали реализации этой основной потребности могут сделать два клуба радикально различными до такой степени, что один может быть очень привлекательным, а другой - отталкивающим. Сверхзадача предлагаемого мной клуба - максимальный комфорт для всех членов, в том числе для новичков. Существующие сайты этому требованию НЕ удовлетворяют (что является одной из основных проблем, как будет видно далее). Достигается эта благая цель комплексом мер, центральная из которых - введение обязанностей для членов клуба (наряду с правами). Именно отсутствие обязанностей у посетителей действующих сайтов порождает ряд неразрешимых проблем. Увы, за все приходится платить. Хочешь иметь комфорт - соглашайся на некие обязательные действия, как увидим, не столь уж и обременительные. Итак, перейдем к проблемам. Проблема №1 - количество критериев оценки снимка Все виденные мной сайты предлагают одну единственную оценку снимка (кроме "photoforum.ru"). Один из модераторов объяснил это так: "А вы попробуйте заставить посетителя нажать более чем на одну кнопку!" И он абсолютно прав в том смысле, что посетителей его сайта, видимо, действительно нельзя заставить нажимать больше одной кнопки. Потенциальных членов предлагаемого мной Клуба абсолютно не должно устраивать такое упрощенчество. Снимок может и должен быть оценен, например, по следующим критериям (прошу не придираться к терминам, я ведь экспертолог, а не фотограф):
Разумеется, если речь идет о критериях типа "художественная ценность", то имеется в виду ценность с точки зрения членов данного Клуба и не более того. Набор критериев может быть и другим - сейчас не это важно. Важно, что оценка должна быть многокритериальной (в разумных пределах). Набор критериев и их число - это выбор Клуба. Не удивлюсь, если члены одного из подобных клубов решат раскрыть критерий "техника" такими параметрами как "свет", "цвет", и т.п. Разделы Клуба могут отличатся набором критериев. Так, в разделах "репортаж" и/или "жанр" может отсутствовать "художественная ценность". Все сайты используют для оценки равномерную шкалу, что порождает перекос в сторону высоких оценок. Этой "болезнью" болеют все сайты. Не спасает и введение промежуточных оценок (типа 4+). Здесь я могу дать первый профессиональный совет: в подобных случаях необходима шкала с "растянутым верхом". Например, шкала оценок для критерия "художественная ценность" может выглядеть так:
Набор и название градаций - опять-таки выбор Клуба. Здесь достаточный простор для творчества. И снова прошу не придираться к словам в названии градаций - не в этом сейчас суть. Важна сама идея (кстати, достаточно старая) растяжки диапазона в верхней части. Обратите внимание на самую нижнюю строку. Логично было бы увидеть там описание градации вроде "отсутствует". Однако, только растяжка шкалы, к сожалению, не способна полностью решить проблему перекоса в сторону высоких оценок. Здесь есть еще психологический момент - боязнь обидеть. Как не растягивай шкалу, а у многих не поднимается рука на то, чтобы "влепить кол". Еще один психологический момент хорошо выражается английской поговоркой "человек, живущий в стеклянном доме, не должен бросать в соседей камнями". По указанным причинам, на большинстве фотосайтов стандартом "de facto" стало невыставление оценки вместо выставления плохой оценки. Так не лучше ли решить эту проблему путем замены обидного "кола" на дипломатичное "для домашнего альбома"? Эта идея, спонтанно практикуемая на ряде сайтов, и проведена в жизнь в предлагаемой шкале. Здесь все достаточно просто. Международная практика фотоконкурсов предполагает только анонимную оценку снимков. Членам проектируемого Клуба предлагается полностью поддержать принятую практику. Применяемую на ряде фотосайтов неанонимную оценку следует считать, увы, следствием отсутствия элементарной культуры. Нужно смотреть правде в глаза: "магия имени" - психологический феномен, известный и понятный всем здравомыслящим людям, имеющим мало-мальский жизненный опыт. Предвижу естественное возражение: есть авторы, которые угадываются и без подписи. Яркий пример из области поэзии - Маяковский. Но давайте подумаем, много ли маяковских среди пишущих стихи? Таких уникальных авторов следует считать исключением, которое только подтверждает наличие правила. Если среди членов Клуба появится такой самобытный, узнаваемый автор, то его без сомнения следует считать гордостью Клуба. Но, при этом, анонимность оценки остается жестким правилом. Здесь не должно быть послаблений. Отсутствие анонимности чревато разными уродливыми явлениями, в частности, мне пришлось наблюдать, так сказать, "дедовщину", когда "старики" (признанные лидеры сайта) "давят" новобранцев. Разумеется, анонимность действует только в период, когда новый снимок подвергается оценке. После завершения этого периода авторство раскрывается. После этого допустимы только комментарии. Новые оценки выставлять нельзя. Полученный в период оценки рейтинг уже не может измениться. Сколько должен длиться период оценки и когда его следует считать завершенным - решение Клуба. Можно предложить, например, такую простую схему: период оценки завершается тогда, когда снимок получит ровно N оценок. Конкретное значение числа N - выбор Клуба. Вот здесь-то и должна выручить одна из основных идей Клуба - введение обязанности членов. Вступающий в члены Клуба, принимает на себя обязанность оценить не менее Х снимков при каждом посещении Клуба. Причем, ему для оценки принудительно подаются снимки, имеющие на момент посещения минимальное количество оценок. Дополнительно можно оговорить минимально допустимое для членов количество посещений Клуба в месяц. Этим чрезвычайно простым механизмом решается попутно еще одна очень болезненная Проблема №4 - существенно неравномерное количество просмотров снимков. В предлагаемом Клубе, все вновь поступившие снимки достаточно быстро наберут нужное количество оценок, поскольку в период анонимности (он же период оценки) для членов Клуба должна быть реализована технология запрещения просмотра без выставления оценки. При этом, под словом "оценка" подразумевается многокритериальная оценка, т.е. набор оценок по всем принятым в Клубе критериям. Кстати, проблема неравномерности порождает подпроблему: как учесть разное количество просмотров при расчете рейтинга? На некоторых сайтах ее пытаются решить путем подбора функции расчета рейтинга, в которую количество просмотров входит как один из аргументов. При этом, автор функции вольно или невольно должен принять волюнтаристское решение - какое дополнительное количество просмотров дает приращение рейтинга, скажем, на 1%? В нашем Клубе и этой проблемы попросту нет, т.к. в период оценки каждая работа получает ровно N оценок. Проблема №5 - построение рейтинга снимка Если критериев несколько, то что же такое рейтинг? Обычно под этим термином понимают некую интегральную (обобщенную) оценку. В прикладной дисциплине "Поддержка принятия решений" - в английском варианте "Decision Making" - процедура или функция получения интегрального параметра на базе критериальных оценок получила название "решающее правило". При проектировании решающего правила нужно учесть 2 основных задачи:
Рассмотрим эти задачи по очереди. Прежде всего, необходимо решить - а нужна ли нам вообще интегральная оценка? Как правило, на фотосайтах интегральная оценка (рейтинг) используется для сравнения результатов участников. Набор оценок по нескольким критериям, вообще говоря, непосредственно годится для этой цели. Пусть, например, у нас имеются 2 участника и 3 критерия. И пусть оценки участников по критериям представлены в следующей таблице.
Пусть, далее, с точки зрения членов клуба, критерий 1 важнее критерия 2, а последний, в свою очередь, важнее критерия 3. Можно ли сравнить успехи участников, только на основе информации из приведенной таблицы и информации о сравнительной важности критериев? Можно, и разными методами. Самый простой называется "лексикографическое упорядочение". Он сводится просто к упорядочению строк таблицы сначала по критерию 1, затем (при равенстве оценок по первому критерию) по критерию 2 и, наконец, по критерию 3. Этот метод реализует следующую простую идею: если снимок 1 лучше снимка 2 по критерию 1, то он считается лучшим (в этой паре), вне зависимости от оценок по остальным критериям. При равенстве оценок по критерию 1 в силу вступает критерий 2. Тот снимок считается лучшим, который имеет более высокую оценку по критерию 2. И т.д. Справедлив ли такой подход? Это зависит от мнения членов Клуба. Есть и более сложные методы. Самым известным, "классическим" методом упорядочения участников на основе качественной информации о сравнительной важности критериев является метод, основанный на понятии "единая порядковая шкала" (ЕПШ). Для простоты объяснения, пусть ставится задача упорядочить снимки по оценкам, полученным ими только по двум критериям. Для определенности, пусть этими критериями будут "содержание" и "техника". Задано также, что содержание важнее техники. Используется 5-балльная шкала оценок. Решим задачу "в лоб", т.е. перечислим все возможные пары оценок и упорядочим их по убыванию предпочтительности. Две верхние строчки такого упорядочения построить легко. Это
А дальше мы сразу наталкиваемся на проблему. Что лучше (5, 3) или (4, 5)? Со всей откровенностью приходится признаться, что ответ на это вопрос зависит от произвола лица, принимающего решение. Если для этого лица содержание значительно важнее техники, скорее всего, будет принято решение считать (5,3) более важным, чем (4,5). Тогда первые четыре строчки будут выглядеть так
Продолжая в том же духе, можно достроить всю таблицу до конца. Она, естественно, завершится парой отметок (1,1). Таблица такого типа и называется "единой порядковой шкалой". Пользоваться ею – одно удовольствие! Сравнение любой пары снимков сводится к поиску в таблице соответствующих их оценкам строк. Тот, чья строка оказалась выше – считается лучше. Построение ЕПШ для числа критериев больше, чем 2 - задача довольно трудоемкая. Но сделать ее нужно только один раз! Если нам не нравятся подходы такого рода и есть горячее желание все же получить одно число, то нужно подобрать адекватное решающее правило. В дисциплине Decision Making предложено и исследовано несколько десятков различных решающих правил. Разумеется, мы не можем рассмотреть даже основные из них в рамках этих кратких заметок. Единственное, что я не могу не отметить здесь, так это то, что одно из самых любимых "народом" решающих правил - это известная многим взвешенная сумма: R = w1 r1
+ w2 r2 + ... + wn rn
Не смотря на кажущуюся простоту и "естественность", эта функция корректна далеко не всегда. В частности, она основана на аксиоме: "недостаток в одном критерии может быть компенсирован избытком в другом". А теперь представьте, можно ли компенсировать недостаток качества изображения телевизора улучшением качества его звука? И это не все недостатки указанной функции! Не углубляясь в тему, замечу только, что подбор адекватного решающего правила должен проводить специалист. Возможно, он предложит несколько подходящих правил. Тогда окончательный выбор - за членами Клуба. Вторая проблема, напомню, заключается в том, как учесть мнения нескольких участников об одном и том же снимке. На всех существующих сайтах, не мудрствуя лукаво, используют среднее арифметическое. Здесь большинство читателей насторожатся: неужели и среднее арифметическое некорректно? Спешу успокоить - корректно! Но так бывает далеко не всегда. В экспертологии среднее арифметическое считается корректным только если согласованность экспертных оценок достаточно велика. Представьте ситуацию, когда 4 эксперта оценивают некий реальный объект и дают ему следующие оценки (по 5-балльной шкале):
Такая ситуация говорит о полной рассогласованности оценок и попытка использовать здесь среднее арифметическое шутливо называется у экспертологов попыткой посчитать "среднюю температуру по больнице". Но насколько можно считать фотоснимок реальным объектом? Скорее, его можно считать разновидностью произведения искусства, отражающего реальные объекты. А оценка таких "отражений" - дело крайне субъективное и требовать здесь согласованности, видимо, не стоит. Но эти соображения могут интерпретироваться членами Клуба достаточно своеобразно. Никто не может помешать им, тем не менее, ввести некий порог согласованности, или запретить использование среднего арифметического в случае крайней рассогласованности. Замечание для математиков. Альтернативой среднему арифметическому может, например, быть медиана. Она более устойчива в том смысле, что ее труднее изменить, добавлением крайних оценок шкалы. Это свойство медианы позволяет использовать ее, помимо прочего, и в качестве простейшего средства борьбы с манипулированием, т.е. сознательным искажением своих оценок с целью поднять (или "завалить") некоторого участника. Есть и другие известные и достаточно простые средства борьбы с манипулированием. Например, любители фигурного катания на коньках знают, что при получении интегральной оценки участников, две крайние оценки судей попросту отбрасываются. Медиана, как нетрудно заметить, может служить хорошей базой для упорядочения участников на основе ЕПШ, поскольку для последней неудобны дробные оценки. Проблема №6 - построение рейтинга участника Прежде всего уточним рабочий термин "участник". Разделим, для определенности, всех посетителей Клуба на 4 категории: "эксперт", "мастер", "кандидат", "гость". Всем новым посетителям автоматически присваивается статус "гость". Если гость хочет стать членом Клуба, он должен заявить об этом. В этом случае ему присваивается статус "кандидат". В период анонимности (период оценки) снимки кандидатов могут оцениваться только членами Клуба по принципу "да/нет": снимку может быть либо дана оценка "рекомендую", либо не дано никакой оценки (т.е. отказано в рекомендации). Для перехода из статуса "кандидат" в статус "мастер" требуется получить не менее Z рекомендаций. Конкретизация величины Z и способа ее получения - предмет соглашения членов Клуба. "Мастер" - уже полноправный член Клуба. Снимки мастеров оцениваются, так сказать, "по полной программе", т.е. по многим критериям, с использованием подробных шкал и т.д. Наиболее заслуженным мастерам со временем может быть присвоен статус "эксперт" - каждый Клуб должен иметь свою элиту. При оценке снимков, члены Клуба, имеющие разный статус должны иметь разные веса. Этот вопрос достаточно простой и я его здесь рассматривать не буду. Таким образом, речь идет о рейтинге полноправных членов Клуба: мастеров и экспертов. На большинстве фотосайтов в качестве рейтинга участника используется средняя оценка по всем его снимкам. Что касается усреднения, то здесь оно корректно, но проблема в другом, а именно - в разном числе снимков. Я уже писал о большом числе решающих правил, предлагаемых в Decision Making, поэтому не хотел бы здесь опять углубляться в эту проблему. Предложу простое решение: среднее считается по Y лучшим снимкам. Разумеется, как всегда, выбор числа Y - за Клубом. Естественное возражение - такой рейтинг имеет верхний предел. Если это кому-то не нравится, что ж, значит нужно искать другое решающее правило. Меня, к примеру, ситуация с верхним пределом вполне устраивает. Автор, достигший предела, записывается в какой-нибудь "Зал Славы" Клуба. Красиво и почетно. А кто-то стремится к вечным подвигам и ему претит сама идея венца карьеры. Тогда вперед! И вечный бой, покой нам только снится! Не будем спорить - пусть Клуб решает. Проблема №7 - представление рейтинга участника Особая проблема - представление рейтинга участников. Многие ее не видят, но она есть. Иногда список участников с их рейтингами даже называют специальным термином "рейтинг-лист". Если рейтинг - дробное число, то типична ситуация, когда разница в рейтинге между соседними строками рейтинг-листа не превышает, скажем, одной сотой. Некоему Иванову естественно обидно, что некий Петров занимает более высокую строку, а разница-то между ними по сути ничтожна! Петрова можно утешать, что, дескать, таковы правила игры и нужно относиться к ним с пониманием и уважением. Утешать-то можно - утешить нельзя! Ситуацию нужно регулировать с учетом психологических особенностей творческой личности. Одно из неплохих решений - стратификация. Этот термин произошел от английского strata что означает "слой", "пласт". Иными словами, стратификация есть разбиение множества на ряд уровней или слоев. В случае с фотосайтом можно считать, что рейтинг разбит на несколько страт (уровней). Внутри каждой страты все участники неразличимы, т.е. считаются имеющими одинаковый рейтинг, соответствующий высоте уровня. Хорошая аналогия - спортивные разряды. Прыгнул выше 1 метра 80 см - получай 2-й разряд. Выше 2-х метров - получи 1-й. Выше 2,10 - получи звание "мастер спорта". (Все приведенные значения высоты прыжков - условны, я не специалист по легкой атлетике и не знаю истинных значений нормативов). Отмечу попутно, что если гость не стремится в Клуб, то он так и остается гостем. Чтобы гостям тоже было интересно, хорошим решением является широко известный "рейтинг зрительских симпатий". Я предлагаю строить его по простейшему принципу "нравится/не нравится". Т.е., если гостю снимок нравится, он нажимает на одну единственную кнопку с именем "нравится", в противном случае вообще ничего не нажимает. Естественно, гость не должен быть связан, подобно членам Клуба, никакими обязательствами, вроде принудительного просмотра наименее просмотренных снимков. Хотя и это - спорный вопрос. Что если предупреждать гостей, что первые W снимков им будут предложены по усмотрению Клуба в рамках конкурса "зрительских симпатий", а всё сверх того они могут выбирать произвольно? Отпугнет ли это или будет встречено с пониманием? Коротко коснусь других, как мне кажется, небезынтересных вопросов, каждый их которых вполне может стать отдельным предметом для обсуждения. В основе фотосайта может лежать спонсорство, благотворительность или что-то из этого ряда. Но более вероятно, что сайт будет особым видом бизнеса. Естественно, к таким ресурсам проявляют повышенный интерес производители и продавцы фототоваров. С учетом их интересов клуб может создать условия для получения полезной статистики. Известно, что на ряде действующих сайтов снимок размещают вне зависимости от полноты указанных реквизитов. Достигнуть желаемой полноты можно опять-таки за счет вменения этого условия в обязанность членов Клуба. Т.е. снимок НЕ принимается, если не указан хотя бы один из обязательных реквизитов. Дело существенно облегчается тем, что такая ситуация привычна завсегдатаям Интернета, которым то и дело приходится заполнять всевозможные бланки и формы разной степени подробности и жесткости требований к полноте. Полезна она и самим фотолюбителям, да и случайных посетителей отфильтровывает, что тоже явный плюс. Особая проблема - защита интеллектуальной собственности. Она достаточно сложна и не до конца отрегулирована на государственном уровне. Я не буду ее касаться, но хочу обратить внимание всех читателей, что показатель культуры фото Клуба - ситуация, когда об этой проблеме не забывают "по обе стороны сайта". Здесь пора вспомнить, что основная идея Клуба - максимальный комфорт для участников, включая новичков. Именно это и нужно в первую очередь для успешного бизнеса. Ресурс должен не отталкивать (как сейчас зачастую происходит), а привлекать! Клиента нужно любить не на словах и проявлять о нем реальную заботу. Один японский бизнесмен, посетив Германию, заметил, что немецкие бизнесмены живут по устаревшей формуле "клиент всегда прав", а японские перешли на более прогрессивную: "клиент - это Бог!". Этим он объяснил явное отставание Германии от Японии в уровне развития сервиса. Исторически сложилось так, что действующие фотосайты сделаны, в основном, либо полупрофессионалами, либо фотолюбителями со стажем. Т.е. людьми, знания и навыки которых формировались во времена, когда цифровой фотографии еще не было. Их отношение к "цифре" чаще всего скептическое, как к товару "второго сорта". Справедливости ради надо заметить, что у такого скептицизма есть объективные основания. Большинство цифровых снимков до сей поры не годятся для качественной печати большого формата. Т.е. о вернисажах и приличных альбомах и говорить не приходится - тут пленка пока вне конкуренции. Но (внимание!) мы ведь говорим о фото Клубе не где-нибудь, а в Интернете! Господа профессионалы и любители со стажем, вы недооцениваете тот факт, что народилось и развивается бешенными темпами НОВОЕ ПОКОЛЕНИЕ любителей, для которых фотообщение в Интернете - самоцель!! Им, в большинстве, не нужны ни выстави ни альбомы. Для них пленка - не благо, а обуза, пережиток. Они ею пользуются исключительно в силу временной дороговизны цифровых камер. Пройдет 2 - 3 года и они забудут о пленке напрочь. Кстати, это хорошо понимают многие бизнесмены от фотографии, которые заполняют всевозможные площадки СМИ рекламой именно Цифры! И уже совершенно новый вид искусства - работа в графических компьютерных редакторах вроде "Adobe Photoshop". Их пока больше используют для целей Web-ремесла, но те, кто знает их не понаслышке не могут отрицать, что потенциальные возможности подобных пакетов с точки зрения искусства трудно переоценить! По сути, рождается новый вид искусства. Если раньше ретушь фотоснимков можно было назвать искусством с большой натяжкой, то обработка снимков в графическом редакторе - подлинное искусство, потенциал которого, на мой взгляд, еще не оценен обществом в должной мере. До сих пор 99% успеха (если не все 100%) - это удачно сделать снимок. В недалеком будущем успех от удачной съемки составит, по моему мнению, в большинстве где-то процентов 60 или 70 - не более. Остальное - искусство цифровой обработки. Не сомневаюсь, что для многих любителей традиционной фотошколы такая "бухгалтерия" вызовет негативную реакцию. Но я считаю, что нужно не бежать от реальности, а смотреть ей в глаза. А глаза у нее - цифровые, хотим мы того или нет. Я готов обсуждать эти заметки с авторами, администраторами, модераторами фотосайтов, с профессиональными фотографами, издателями и редакторами фотожурналов, бизнесменами в области фото, а также с людьми, знающими хотя бы основы экспертологии. Последним необходимо предъявить своеобразный пароль - указать в теме письма фамилию редактора (не автора!) классической книги в области многокритериального анализа, в которой впервые было приведено доказательство того факта, что взвешенная сумма корректна только тогда, когда все критерии попарно независимы по предпочтению. Прочие письма читать не смогу в силу большой загруженности, за что заранее приношу свои извинения всем потенциальным корреспондентам. (c) 2002 Павел Горский,
экспертолог |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
