Мангейм Дж



страница75/123
Дата31.12.2017
Размер6.16 Mb.
ТипКурс лекций
1   ...   71   72   73   74   75   76   77   78   ...   123
Построение индекса заключается в сведении сложных данных в единый показатель, который отражает значение понятия полнее, чем любой из его компонентов. Широко используются три типа индексов – аддитивные, мультипликативные и взвешенные. Аддитивный индекс употребим [c.304] в тех случаях, когда доступные исследователю данные отражают различные меры одной и той же базовой переменной. Например, для получения показателя понятия “размеры экспорта сельскохозяйственной продукции” мы могли бы просто сложить все отчетные цифры, отражающие количество экспортированной пшеницы, кукурузы и соевых бобов (в бушелях); для выяснения размеров “религиозного сообщества” в некоторой стране можно было бы просуммировать все числовые данные, отражающие количество приверженцев различных религий, исповедуемых в этой стране.

Часто, однако, сводные данные отражают меры различных сторон некоторого явления, что не допускает возможности суммирования. Следуя законам математической логики, мы не можем, например, складывать число людей, участвовавших в беспорядках, с числом часов, в течение которых длились эти беспорядки, в надежде тем самым построить индекс степени серьезности беспорядков. Число участников и продолжительность являются неаддитивными элементами явления под названием “беспорядки”. Можно, однако, утверждать, что эти два элемента взаимодействуют друг с другом, и тогда для получения показателя степени серьезности беспорядков мы могли бы число участников умножить на число часов, вычислив таким образом число “человеко-часов”, пришедшихся на беспорядки. Полученный таким путем показатель называется мультипликативным индексом. Подобные индексы бывают нужны в тех случаях, когда мы измеряем различные аспекты некоторого понятия7.

При определенных обстоятельствах необработанные данные – для того чтобы стать обоснованным показателем понятий – нуждаются во взвешивании с помощью некоторого эталона. Например, использование числа участников антиправительственной манифестации в качестве показателя величины кредита доверия к правительству правомерно только тогда, когда это число выражено в форме процентного отношения к численности всего населения. Чтобы получить взвешенный индекс, мы должны одну переменную (число участников антиправительственных манифестаций) взвесить с помощью другой (численности населения). Точно так же, исходя из предположения, что десять демонстраций в год указывают на [c.305] большую политическую нестабильность, чем те же десять демонстраций, но растянутые на десять лет, мы могли бы число антиправительственных демонстраций взвесить с помощью эталонной переменной “время”, получив индекс количества демонстраций в год. Этот конкретный тип взвешивания называется стандартизацией.

Взвешивание – технически простая операция, но с концептуальной стороны зачастую бывает трудно определить, нуждается ли конкретная мера во взвешивании и что следует выбрать в качестве эталона веса. Неясно, к примеру, что выступает в роли спускового крючка гонки вооружений: абсолютные уровни вооружений вовлеченных в гонку государств или определенное соотношение этих уровней? Следует ли в качестве эталона веса использовать уровень вооружений государства-противника? Ответы на подобные вопросы обычно можно получить посредством эмпирического выяснения того, как именно применение взвешенных и невзвешенных показателей влияет на результаты статистического анализа.

Случается, что при использовании сводных данных исследователь сталкивается с такими мерами, которые невозможно сделать пригодными для целей конкретного исследования путем простого сочетания с другими мерами и их необходимо видоизменить в индивидуальном порядке. Иногда даже индексы после их видоизменения становятся более пригодными. Такие видоизменения обычно называются преобразованиями данных. Данные преобразуются главным образом для того, чтобы они отвечали требованиям определенных статистических процедур, которые исследователь намеревается применять в процессе анализа. Самым общим основанием для преобразования данных является необходимость избежать такого искажения результатов статистического анализа, которое бывает обусловлено определенными свойствами распределения необработанных данных.

Существует много методов преобразования данных, и каждый из них рассчитан на исправление вполне определенных изъянов, имеющихся у необработанных данных8. Однако логарифмическое преобразование может, пожалуй, служить хорошим общим примером того, как работают эти методы. Некоторые из наиболее часто используемых статистических процедур могут быть законно применены [c.306] только к данным с нормальным распределением (о нормальном распределении см. гл.15). Применение этих процедур к данным, не характеризующимся нормальным распределением, может привести к серьезной недооценке силы зависимостей, существующих между переменными, и к другим неверным выводам. Но необработанные сводные данные чаще всего не отличаются нормальным распределением. Логарифмические преобразования рассчитаны как раз на то, чтобы как можно более приблизить данные к нормальному распределению. Основная процедура состоит в том, что к “оценке” каждого случая в рамках множества необработанных данных прибавляется некоторая константа, после чего исходная оценка заменяется на подходящий логарифм с использованием логарифмической таблицы. Итог такого преобразования виден на рис.10.1, где показаны результаты преобразования гипотетических данных о числе людей, принявших участие в демонстрациях в защиту прав гомосексуалистов в 57 городах США. Распределение преобразованных данных (см. рис. рис.10.1б) не образует нормальной, или колоколообразной, кривой, но оно гораздо ближе к ней, чем распределение необработанных данных (см. рис. рис.10.1а).







а) Необработанные данные

(б) Преобразованные данные

Рис. 10.1. Влияние логарифмическою преобразования на гипотетические данные о демонстрациях в защиту прав гомосексуалистов, имевших место в 57 городах США.

Сказанное выше не следует интерпретировать в том смысле, что иметь дело сразу с несколькими мерами нежелательно. Наоборот, иметь множественные показатели (multiple indicators) понятий весьма желательно; при этом зачастую полезно как объединять разные меры в индексы, так [c.307] и изучать их на каком-то этапе анализа данных отдельно друг от друга. Это мотивируется тем, что использование множественных показателей позволяет контролировать степень обоснованности нашей операционализации понятий.

Пусть, например, мы хотим измерить понятие “дискриминация по признаку пола в сфере занятости” применительно к разным американским штатам. Допустим, нам удалось раздобыть данные по следующим переменным:

(1) соотношение средней заработной платы мужчин и женщин;


(2) доля женщин среди работников квалифицированного труда;
(3) соотношение уровней безработицы среди мужского и среди женского населения.

Мы можем использовать все три показателя, приписав каждому штату оценку (ранг) в рамках каждой переменной, а затем сравнив полученные результаты. Если те штаты, в которых выявляется наибольшая степень дискриминации по одному показателю, заняли высокий ранг и по другим показателям, то у нас есть все основания полагать, что каждый из этих показателей является валидной мерой базового понятия “дискриминация по признаку пола в сфере занятости”. С другой стороны, если мы обнаружим, что штаты, занявшие высокий ранг по двум каким-то показателям, по третьему из показателей имеют низкий ранг, то нам придется воздержаться от дальнейшего использования этого последнего девиантного показателя в качестве меры нашего базового понятия.

Чем больше независимых показателей удается выделить для каждого понятия, тем лучше, потому что большее количество показателей позволяет осуществить более основательную проверку валидности каждого из них. Так, в отношении предыдущего примера, где были выделены всего три меры, мы не можем быть совершенно уверены в том, что “девиантная” мера не является на самом деле валидной, а две другие, наоборот, лишенными валидности. Возможно, именно в силу своей валидности эта мера отклоняется от других показателей в том, как они ранжируют штаты. Если бы, однако, у нас было пять или десять мер, которые бы вполне непротиворечиво ранжировали штаты, наряду с одной стоящей в стороне от них мерой, то мы бы могли быть совершенно уверены в том, что валидности [c.308] лишена именно эта девиантная мера, а не остальные. Существует целый ряд методов, использующих множественные меры для проверки и усиления валидности показателей9.

Существует еще один очень важный вопрос, о котором необходимо помнить при использовании сводных данных. Он связан с тем фактом, что сводные данные доступны подчас только в форме, не позволяющей делать состоятельных сравнений между единицами. Так, например, если нас интересует, какое внимание уделяется в различных американских штатах вопросам народного образования, то нам следовало бы поискать данные о величине ежегодных расходов каждого штата на народное образование. Было бы, однако, некорректно сравнивать общую сумму денег, расходуемых Техасом, с общей суммой, расходуемой Род-Айлендом, ввиду того что эти штаты несопоставимы по размерам и благосостоянию. Род-Айленд может расходовать только малую долю того, что расходует Техас, и при этом демонстрировать большую степень заботы о народном образовании, благодаря тому что здесь на школы будет тратиться намного больше в расчете на каждого ребенка школьного возраста или относительно объема всего бюджета штата. Чтобы сравнить бюджеты штатов, нужно перевести данные об их расходах на образование в такую форму, которая бы учитывала имеющиеся между ними различия в численности населения и в величине бюджета. Если мы этого не сделаем, то у нас не будет валидного показателя базового понятия и наши выводы будут отражать не столько относительную величину заботы каждого штата о народном образовании, сколько его относительные размеры и благосостояние.

Подобные ситуации вынуждают нас каким-то образом стандартизовать наши меры. Мера является стандартизованной, когда она сформулирована так, чтобы в ней учитывались возможные расхождения между отдельными случаями в рамках переменных, отличных от той, которую она отображает. Очень часто бывает необходимо стандартизовать сводные данные перед тем, как приступать к сравнению единиц анализа. Это может повлечь за собой необходимость сбора данных по переменным, не имеющим прямого отношения к данному исследованию. Так, возвращаясь к предыдущему примеру, нам могут [c.309] понадобиться данные по численности населения и общей величине расходов штатов, чтобы с их помощью можно было стандартизовать расходы штатов на образование, выразив их в количестве долларов, приходящихся на обучение каждого ребенка школьного возраста, или в форме процентного отношения ко всему бюджету штата.

Точно так же, если бы мы захотели измерить понятие “милитаризация”, опираясь на цифры военных расходов различных государств, то, прежде чем делать какие бы то ни было сравнения, нам нужно было бы стандартизовать эту меру, выразив ее в форме процентного отношения к валовому национальному продукту (общая стоимость всех товаров и услуг, произведенных в данной стране за определенный период). Не сделай мы этого, и богатое государство будет выглядеть большим милитаристом, чем бедное, даже если оно расходует на военные цели относительно общей суммы своих доходов в десять раз меньше, чем бедное государство.

Итак, всякий раз, как вы собираетесь сравнивать какие-нибудь группы (страны, города, организации и т.п.), вам надо помнить о необходимости стандартизовать ваши меры и запланировать сбор дополнительных данных, которые могут понадобиться для стандартизации. Стандартизация обычно заключается в приведении меры к выражению вида “такое-то количество единиц в расчете на единицу какой-то другой переменной” или к форме процентного отношения к какой-то другой переменной. Это зачастую предполагает вычисление некоторого коэффициента, или уровня, как-то: уровень преступности (количество преступлений на тысячу человек населения), уровень грамотности (количество грамотных на тысячу человек населения), уровень детской смертности (количество детских смертей на тысячу рождений) и т.п. Дополнительная работа по сбору данных по тем переменным, с помощью которых должна быть стандартизована ключевая переменная, совершенно необходима, если стремиться к обоснованности сравнений между теоретически сильно различающимися случаями.

Итак, при анализе сводных данных исследователь должен не только проявлять осторожность в использовании необработанных данных в качестве показателей понятий, но и помнить о пользе множественных мер, а также о [c.310] возможности усовершенствования показателей посредством их сочетания, преобразования или стандартизации. [c.311]

ИСТОЧНИКИ СВОДНЫХ ДАННЫХ

Количество имеющихся в мире сводных данных так велико, что начинает казаться, что для каждого эмпирически полезного понятия могут найтись свои показатели. Изобилие данных иногда само по себе представляет проблему для исследователя, когда тот вынужден просматривать сотни источников в поисках всех существующих показателей. И в то же время при всем многообразии имеющихся данных исследователь бывает часто не в состоянии найти показатели, относящиеся именно к тому понятию, которое он хочет измерить, именно к нужному ему периоду времени и сведенные именно на нужном ему уровне анализа.

Мы не можем перечислять все источники сводных данных10. Но мы упомянем те источники данных общего характера, которые скорее всего могут понадобиться политологу. Хотя некоторые источники включают в себя данные по целому ряду проблем и поэтому не могут быть охарактеризованы как содержащие какой-то один конкретный тип данных, мы сгруппировали перечисляемые ниже источники в соответствии с тем, какой основной тип данных в них отражен.

Ключ к успешной работе с любыми документами и архивами данных лежит в точном знании того, какой тип показателей вы ищете. В уяснении этого вам может помочь испытываемая вами гипотеза, разрабатываемая теория или точная формулировка вашего исследовательского вопроса, благодаря которой вы лучше поймете, какой тип данных (например, общенациональный показатель производительности труда или размеры вооруженных сил страны) необходим для операционализации применяемых в вашем исследовании понятий. Если вы отправляетесь в библиотеку с намерением просто полистать доступные источники и, возможно, натолкнуться на какие-то полезные показатели, то вас почти наверняка постигнет самая горькая и абсолютно заслуженная неудача. Если же вы идете туда, имея в голове ясно продуманный план исследования, то вы по крайней мере будете в состоянии объяснить библиографу или работнику справочного отдела, что вам нужно. [c.311]



1. Демографические и связанные с ними данные по США. Вся статистика, публикуемая службами федерального правительства, находит отражение в “Американском статистическом указателе” (“American Statistical Index”), который можно использовать для установления того, какие имеются источники по конкретным показателям. Кроме того, публикации Бюро переписей отражаются в “Каталоге публикаций итогов переписей в США” (“Catalog of the United States Census Publications”), где описаны данные переписей жилищного фонда, населения, правительственных учреждений, сельского хозяйства и пр. Большая часть этих данных суммируется в издании “Статистическая сводка по США” (“Statistical Abstract of the United States”), которое содержит избранные статистические очерки по США в целом и по отдельным регионам страны, а также обширный указатель государственных и частных источников данных. Итоги каждой переписи в США в сжатом виде приводятся в издании “Subject and U.S. Area Reports”. В издании “Каталог Бюро переписей” (“The Bureau of the Census Catalog”) описываются все материалы, находящиеся в распоряжении Бюро переписей (опубликованные и неопубликованные). Это издание содержит географический и предметный указатели и выходит ежеквартально.

Из специализированных источников наиболее широко используются “Справочник по избирательным округам США” (“Congressional District Data Book”), где приводится демографическая и экономическая информация, а также результаты голосования в различных избирательных округах США, и “Справочник по округам и городам США” (“County & City Data Book”), содержащий ежегодные демографические и экономические данные по отдельным штатам, округам, городам и городским поселениям с населением свыше 25 тыс. человек. Сходные сведения имеются и в “Справочнике по отдельным штатам и столичному району” (“The State and Metropolitan Area Data Book”), издаваемом Бюро переписей. Данные голосования в сжатом виде публикуются в “Справочнике по выборам в США” (“Guide to U.S. Elections”), где даются сведения о результатах выборов президентов, губернаторов штатов и депутатов сената и палаты представителей (начиная с 1824 г.), и в издании “Америка голосует” (“America Votes”), [c.312] освещающем результаты всеобщих и первичных выборов (с 1952 г.).



2. Демографические и связанные с ними данные по другим странам. Сознавая все трудности, возникающие при поиске сравнимых данных по практически любой переменной, некоторые исследователи взяли на себя труд составления справочных пособий, в которых приводятся сведения по общенациональным показателям, представляющим наибольший интерес для политолога. Особой популярностью пользуются следующие три справочника:

1. Тауlоr Ch. L., Jоdiсе D.A. (eds.). World Handbook of Political and Social Indicators. – New Haven: Yale Univ. Press, 1983. Здесь представлены показатели почти по всем странам мира, отражающие как демографические, так и политические особенности отдельных государств (например, форму и степень стабильности государственного режима и пр.);

2. Rummеl R.J. Dimensions of Nations. – New Haven: Yale Univ. Press, 1971. Данное издание представляет собой исследование 82 стран мира по 236 показателям демографических, экономических и политических признаков;

3. Вanks A.S. Cross-Polity Time-Series Data. – Cambridge (Mass.): MIT Press, 1971. Содержит сведения исторического характера по 102 политическим, экономическим и демографическим признакам для 155 государств.

Существуют также и другие подобные издания.

Имеется, кроме того, целый ряд источников, в которых содержатся данные, собираемые различными международными организациями и государствами. Исследователь, обращающийся к таким источникам, должен быть особенно внимателен в отношении сравнимости приводимых в них цифр. Статистическое бюро ООН, Отдел экономических и социальных проблем (UN Statistical Office, Department of Economical and Social Affairs), регулярно публикует три в высшей степени полезных издания. В “Статистическом ежегоднике” (“Statistical Yearbook”) в сжатом виде приводятся данные по народонаселению, экономической деятельности, системе образования, средствам связи всех стран мира. “Статистический ежегодник государственных бюджетов” (“Yearbook of National Accounts Statistics”) содержит подробную информацию об экономической [c.313] деятельности, а “Демографический ежегодник” (“Demographic Yearbook”) – исторические сведения по народонаселению, а также специальные очерки по отдельным проблемам (по территориальному распределению населения, по уровням смертности, по этническому составу населения и пр.). Кроме того, ЮНЕСКО публикует “Статистический ежегодник” (“Statistical Yearbook”), в котором суммируются данные документов ЮНЕСКО по вопросам народного образования, здравоохранения и др. Существует также “Ежегодник государственного деятеля” (“Statesman’s Yearbook”), предоставляющий подробную информацию о различных странах, собранную из ряда государственных и международных источников. “Ежегодник Европы” (“Europe Yearbook”) несет в себе различные сведения по европейским, а в последние годы и по неевропейским странам (в удобной для использования форме). Дополнительные цифры итогового характера можно обнаружить в изданиях “Мировой альманах” (“World Almanac”) и “Энциклопедия стран мира” (“Worldmark Encyclopedia of Nations”), снабженных хорошими указателями. Много экономической информации содержится в “Статистическом ежегоднике международной торговли” (“Yearbook of International Trade Statistics”).



3. Данные по правительственным учреждениям в США. Американские федеральные и местные органы власти выпускают тысячи публикаций, отражающих различные аспекты положения в обществе и их собственной деятельности и приуроченных к проведению различных мероприятий государственной политики. Конечно, в качестве наиболее плодовитого поставщика информации выступает федеральное правительство, чьи многочисленные публикации перечисляются в “Ежемесячном каталоге публикаций правительства США” (“Monthly Catalog of U.S. Government Publications”). Если вы приблизительно знаете, от какого ведомства или правительственного органа может исходить интересующая вас информация, то в “Ежемесячном каталоге” вы можете обнаружить сведения о публикациях этого органа. “Окружной ежегодник” (“County Yearbook”) .и “Муниципальный ежегодник” (“Municipal Yearbook”) содержат данные местного уровня по политическим, экономическим и демографическим переменным. [c.314]

4. Событийная информация. По своей природе событийные данные не могут фиксироваться регулярно и в сжатой форме. Их приходится отыскивать в текущих сводках новостей, составляемых, как правило, без какой-либо оглядки на специфические интересы политологов. Два наиболее полных источника газетных новостей – это указатели (индексы) к “Times of London” и “New York Times”. Еженедельный дайджест текущих событий (с распределением их по темам) представлен в “Facts-on-File”; впоследствии эти сведения собираются в ежегоднике “New Dictionary”, уделяющем основное внимание событиям внутри и вокруг США. “Deadline Data on World Affairs” сообщает о событиях в мире, группируя их по странам и темам. По-видимому, самым пространным дайджестом новостей общего характера является “Keesing’s Contemporary Archives: Weekly Diary of World Events”, где печатаются стенограммы важнейших речей, информация о выборах и сводки новостей, а также имеются предметный и именной указатели.

5. Опросные данные. Все перечисленные выше источники представляют данные в печатном виде. Использование их в крупных исследовательских проектах предполагает необходимость аккуратной регистрации данных и приведения их к машинночитаемому виду. Наиболее полезные источники опросных данных, наоборот, являют собой множества необработанных данных, зафиксированных в машинно-читаемой форме. Доступ к ним можно получить в ряде архивов данных, о которых мы говорили выше.

Важно упомянуть о том, что существует также много частных источников данных. Какие из них способны пригодиться в каждом конкретном исследовании, определяется спецификой предмета исследования. Если исследование касается структуры капиталовложений западноевропейских компаний, то полезные для нее данные можно найти в частных банках или общенациональных и международных ассоциациях банков. [c.315]

СБОР СВОДНЫХ ДАННЫХ

Установив, какие источники данных нужны для исследования, исследователь оказывается перед проблемой перевода данных источника в пригодную для использования форму (кроме тех случаев, когда данные записаны на [c.315] перфокартах и магнитных носителях). Основная задача тут заключается в систематическом кодировании и регистрации данных.

Хотя эти операции займут всего лишь малую долю того времени, которая понадобилась бы для сбора тех же самых данных полевым способом, тем не менее такая работа может оказаться весьма трудоемкой. Поэтому очень важно организовать ее как можно более эффективно. Прежде всего следует заранее тщательно обдумать план исследования и ход намечаемого вами анализа данных, с тем чтобы уяснить для себя, применительно к каким именно случаям вам необходимы сводные данные и какие именно меры вас интересуют в отношении каждого из этих случаев. Не сделав этого, вы рискуете потерять время на фиксацию в конечном счете ненужных вам данных. Более того, если достаточно тщательно спланировать исследование, составив список приоритетных случаев и переменных, то при внезапно обнаруживающейся нехватке времени или средств на сбор данных можно будет легко принять наиболее рациональное решение, выключив из рассмотрения некоторые случаи или переменные, так чтобы обойтись при этом по возможности малыми жертвами. Если не принять такого решения, то это будет значить, что надо действовать строго последовательно, собирая либо сразу все данные по каждому случаю (в ситуации, когда вы хотите оставить за собой право опускать по ходу дела какие-то случаи, сохраняя, однако, все переменные), либо данные сразу по всем случаям для каждой переменной или собирать данные для всех случаев по каждой переменной в отдельно взятый момент (если вам нужна эта информация, но вы хотите иметь возможность исключить некоторые переменные).

Так или иначе вам понадобятся два основных средства сбора данных: набор спецификаций данных и регистрационный бланк данных (recording form). Спецификации данных – это просто подробные описания данных, подлежащих регистрации для каждого случая и для каждой переменной, включая любые инструкции по кодированию. Иногда в качестве спецификации может выступать одна-единственная фраза (в случае данных переписи и ведомственной статистики), например общая численность муниципальных служащих в 1980 г. или взрослое население [c.316] страны в 1970 г. Случается, однако, что простые по видимости данные требуют пространных спецификаций. Например, если мы хотим получить цифру, отражающую общую величину государственных расходов на программы социального обеспечения в каком-то определенном году, нам придется сформулировать, что в рамках данного исследования понимается под “программой социального обеспечения”; если нам нужна мера численности личного состава вооруженных сил государства, то мы должны будем включить в спецификацию этой меры оговорку, исключающую из подсчета полицейские силы применительно к тем странам, где полиция формально входит в состав вооруженных сил. Навыки работы с подобными деталями приходят в результате предварительного изучения, с одной стороны, предмета исследования, а с другой – различных систем фиксации конкретных единиц анализа. Но и после такого изучения исследователь может столкнуться с дополнительными трудностями. Так, например, может выясниться, что запланированные бюджетом и реальные расходы на социальное обеспечение сильно различаются или что в исследовании, предполагающем анализ временного ряда, необходимо учитывать поправки на инфляцию. Но какую бы корректировку ни приходилось вносить в исследование в ответ на подобные “хитрости” материала, делать это надо методологически грамотно и сообразуясь со значением понятия, операционализированного посредством конкретной меры.

При сборе событийной информации понадобятся очень подробные спецификации данных, гарантированно учитывающие все значимые различительные признаки. К примеру, может оказаться необходимым различать беспорядки и мирные демонстрации, про- и антиправительственные демонстрации и т.д. Самый надежный способ это сделать – занести в кодировочную инструкцию, которой предстоит пользоваться кодировщику при заполнении листа регистрации, те признаки (пусть даже мелкие), которые отличают интересующее исследователя событие от других событий. (О кодировании см. подробнее в гл.12.)

Регистрационный бланк предназначен для облегчения процесса сбора данных. Это аналог бланка интервью, используемого в опросном исследовании, поскольку, как и [c.317] бланк интервью, регистрационный бланк является средством систематизации и кодирования наблюдений. Если данные предстоит впоследствии переносить на перфокарты или на дисплей, в листе регистрации для ускорения ввода в машину может быть оговорена ширина каждого столбца, рассчитанного на запись того или иного типа информации. В книге Т.Р. Гурра11 приводится пример заполнения регистрационного бланка событийных данных (см. рис. 10.2 и 10.3). [c.318]




Каталог: files
files -> Истоки и причины отклоняющегося поведения
files -> №1. Введение в клиническую психологию
files -> Общая характеристика исследования
files -> Клиническая психология
files -> Валявский Андрей Как понять ребенка
files -> К вопросу о формировании специальных компетенций руководителей общеобразовательных учреждений в целях создания внутришкольных межэтнических коммуникаций
files -> Русские глазами французов и французы глазами русских. Стереотипы восприятия


Поделитесь с Вашими друзьями:
1   ...   71   72   73   74   75   76   77   78   ...   123


База данных защищена авторским правом ©znate.ru 2019
обратиться к администрации

    Главная страница