You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-27 - 13:42

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Sat Dec 27, 2025 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
843121710,5sleep3171599cyclictest20:55:353
1712997130,9cyclictest0-21swapper/021:55:200
1712996945,9cyclictest0-21swapper/022:10:220
1713996710,43cyclictest0-21swapper/100:10:231
1713996710,43cyclictest0-21swapper/100:10:231
1713996614,37cyclictest24477-21uname21:40:271
301522650,2sleep20-21swapper/220:25:362
1712996521,7cyclictest23450-21grep23:05:350
1712996515,30cyclictest7176-21apt-key19:25:090
1712996444,10cyclictest101ktimersoftd/021:40:250
1712996432,15cyclictest23731-21/usr/sbin/munin20:10:180
141302630,2sleep10-21swapper/121:10:391
171599625,7cyclictest7950irq/56-dwc_otg_00:30:203
171399625,6cyclictest11633-21apt00:05:091
171399623,9cyclictest7950irq/56-dwc_otg_20:55:271
171399613,4cyclictest0-21swapper/121:00:201
171399612,6cyclictest21966-21idleruntime-cro21:35:081
171599605,10cyclictest7950irq/56-dwc_otg_19:40:203
171399607,5cyclictest7950irq/56-dwc_otg_20:55:081
1712996040,13cyclictest27045-21grep23:15:370
1712996036,12cyclictest26211-21ntpq20:15:320
171299601,34cyclictest15985-21grep21:15:370
321212596,40sleep032315-21modprobe19:05:100
321212596,40sleep032315-21modprobe19:05:100
171399593,5cyclictest0-21swapper/120:10:241
171399592,6cyclictest24966-21/usr/sbin/munin23:10:341
1712995933,4cyclictest2434-21idleruntime-cro23:40:090
171299591,15cyclictest0-21swapper/000:10:230
171299591,15cyclictest0-21swapper/000:10:230
171399586,11cyclictest0-21swapper/123:40:191
171399581,5cyclictest17855-21memory00:20:281
171399581,11cyclictest7950irq/56-dwc_otg_22:40:091
171299587,48cyclictest0-21swapper/023:40:220
1712995816,23cyclictest20191-21munin-plugin-st23:00:090
171299581,46cyclictest0-21swapper/020:55:250
171399576,42cyclictest0-21swapper/100:07:361
171399575,9cyclictest7750irq/56-dwc_otg22:10:311
171399574,4cyclictest7750irq/56-dwc_otg22:55:361
171399571,4cyclictest7850irq/56-dwc_otg_22:40:271
1713995713,41cyclictest2173-21wget20:40:221
171399571,12cyclictest0-21swapper/119:15:301
171299578,30cyclictest435-21cron22:25:080
1712995738,9cyclictest0-21swapper/021:38:000
1712995735,5cyclictest0-21swapper/022:50:200
1712995725,16cyclictest11916-21runrttasks21:05:350
171399562,6cyclictest0-21swapper/122:45:341
171399561,5cyclictest2404-21awk19:10:311
1713995612,5cyclictest20363-21fschecks_time20:00:261
1713995612,5cyclictest20363-21fschecks_time20:00:261
171299564,33cyclictest1730-21grep22:05:380
171299564,33cyclictest1730-21grep22:05:380
1712995628,5cyclictest12933-21aten_rbpower_vo19:40:230
171299562,37cyclictest0-21swapper/000:35:180
171299562,35cyclictest4287-21grep22:15:230
1712995614,25cyclictest1125-21runrttasks00:20:310
1712995612,5cyclictest0-21swapper/000:30:200
171399555,5cyclictest5267-21sed22:15:371
171399555,11cyclictest1348-21timerwakeupswit20:35:351
171399553,9cyclictest0-21swapper/120:30:231
171399553,9cyclictest0-21swapper/120:30:231
171399553,4cyclictest7750irq/56-dwc_otg20:25:091
171399552,7cyclictest26623-21grep20:15:381
171399552,13cyclictest8421-1kworker/1:0H23:50:091
1712995530,5cyclictest101ktimersoftd/019:15:360
1712995526,5cyclictest7850irq/56-dwc_otg_19:35:090
171299552,29cyclictest611-21fschecks_time20:35:250
171299551,33cyclictest11769-21latency_hist00:05:090
171599542,7cyclictest7950irq/56-dwc_otg_20:05:183
171499547,28cyclictest0-21swapper/200:20:212
171399543,5cyclictest6797-21if_wlan023:50:281
171399543,5cyclictest6797-21if_wlan023:50:281
1713995413,4cyclictest16512-21cut21:20:081
171399541,11cyclictest0-21swapper/100:35:181
1712995434,5cyclictest101ktimersoftd/022:45:250
1712995429,5cyclictest7750irq/56-dwc_otg21:30:080
1712995428,5cyclictest7850irq/56-dwc_otg_23:05:090
171399532,5cyclictest22518-21/usr/sbin/munin20:05:301
171399531,4cyclictest7850irq/56-dwc_otg_23:05:081
171399531,15cyclictest1064-21cut23:35:231
1712995321,18cyclictest5237-21ntpq23:45:320
1712995320,17cyclictest19722-21cat00:25:290
171399526,19cyclictest0-21swapper/119:35:211
171399524,5cyclictest0-21swapper/121:05:391
171399521,4cyclictest5713-21latency_hist20:50:091
1713995211,6cyclictest8505-21fschecks_time23:55:271
1713995211,4cyclictest13234-21if_eth019:40:271
171399521,11cyclictest0-21swapper/121:35:291
171299526,7cyclictest4011-21tr20:45:220
1712995227,12cyclictest7750irq/56-dwc_otg23:50:270
1712995227,12cyclictest7750irq/56-dwc_otg23:50:270
1712995225,7cyclictest0-21swapper/020:00:200
1712995225,7cyclictest0-21swapper/020:00:200
1712995225,13cyclictest13548-21fschecks_time22:40:260
171299521,7cyclictest0-21swapper/020:05:280
171299521,27cyclictest29433-21fschecks_count20:25:260
171399512,5cyclictest0-21swapper/123:18:261
171399512,4cyclictest0-21swapper/122:10:101
171399512,4cyclictest0-21swapper/122:10:101
171399511,4cyclictest7300-21/usr/sbin/munin19:25:301
171399511,4cyclictest7300-21/usr/sbin/munin19:25:301
171399511,3cyclictest0-21swapper/121:30:081
171299518,27cyclictest0-21swapper/021:30:370
171299516,29cyclictest13-21rcuc/000:15:340
171299515,42cyclictest0-21swapper/019:45:390
1712995126,5cyclictest28410-21processes21:50:310
171399503,4cyclictest9550irq/80-mmc000:35:091
171399503,3cyclictest7950irq/56-dwc_otg_19:20:411
171399501,3cyclictest7950irq/56-dwc_otg_21:48:361
171299504,12cyclictest0-21swapper/021:20:180
171299504,12cyclictest0-21swapper/021:20:180
1712995034,6cyclictest9064-21taskset22:26:200
1712995030,11cyclictest0-21swapper/023:20:270
1712995024,9cyclictest10421-21grep21:00:370
1712995019,15cyclictest18896-21seq19:55:310
171399494,7cyclictest7950irq/56-dwc_otg_22:34:371
171399492,6cyclictest18316-21grep19:55:231
171399492,13cyclictest32051-21grep23:30:301
1712994932,3cyclictest0-21swapper/000:07:270
171299492,34cyclictest0-21swapper/023:25:210
1712994922,5cyclictest16456-21aten_rbpower_cu19:50:210
1712994922,3cyclictest0-21swapper/022:30:350
1712994918,6cyclictest8993-21latency_hist19:30:090
1712994918,6cyclictest8993-21latency_hist19:30:090
171399481,6cyclictest29656-21cut20:25:291
1713994816,29cyclictest221ktimersoftd/121:55:201
171399481,13cyclictest0-21swapper/123:25:131
1712994824,6cyclictest25174-21grep23:10:360
1712994814,16cyclictest31251-21fschecks_time20:30:270
1712994814,16cyclictest31251-21fschecks_time20:30:270
171499477,26cyclictest0-21swapper/221:55:212
171399477,26cyclictest0-21swapper/119:30:141
171399473,6cyclictest0-21swapper/122:26:271
171399472,10cyclictest20264-21sed00:25:371
171399471,4cyclictest0-21swapper/122:01:221
171399471,3cyclictest7850irq/56-dwc_otg_21:51:351
1713994710,4cyclictest16734-21tune2fs19:50:251
171599467,25cyclictest0-21swapper/300:20:213
171499461,3cyclictest0-21swapper/200:10:232
171499461,3cyclictest0-21swapper/200:10:232
171399461,9cyclictest0-21swapper/121:24:441
171399461,9cyclictest0-21swapper/121:24:441
171399461,3cyclictest0-21swapper/100:15:381
171599457,24cyclictest0-21swapper/321:35:253
171599456,7cyclictest7850irq/56-dwc_otg_21:00:373
171399452,6cyclictest0-21swapper/123:07:511
171399452,3cyclictest0-21swapper/122:50:211
171299454,8cyclictest0-21swapper/023:30:210
1712994529,8cyclictest0-21swapper/019:10:270
171299452,24cyclictest0-21swapper/019:36:050
171299451,29cyclictest11914-21latency22:35:290
171599446,24cyclictest0-21swapper/321:55:213
171599442,4cyclictest7950irq/56-dwc_otg_19:21:183
1714994420,6cyclictest21126-21resolvconf23:00:332
171399447,23cyclictest0-21swapper/119:45:241
171399442,8cyclictest7263-21seq22:21:221
171299444,6cyclictest7850irq/56-dwc_otg_22:05:090
1712994423,5cyclictest7850irq/56-dwc_otg_20:21:150
1712994419,3cyclictest0-21swapper/023:55:210
250212430,2sleep20-21swapper/223:10:352
171499433,6cyclictest7950irq/56-dwc_otg_23:40:202
1712994323,7cyclictest0-21swapper/020:42:070
1712994229,3cyclictest0-21swapper/021:45:450
171399411,9cyclictest0-21swapper/123:23:531
171299411,37cyclictest101ktimersoftd/020:52:430
171599407,21cyclictest0-21swapper/322:35:233
171499402,2cyclictest0-21swapper/220:35:212
1712994014,6cyclictest14553-21http21:15:090
1715993917,11cyclictest381ktimersoftd/300:40:093
3162385,15sleep20-21swapper/219:05:282
3162385,15sleep20-21swapper/219:05:282
171499383,3cyclictest0-21swapper/200:00:082
171499381,2cyclictest0-21swapper/219:30:202
171499381,21cyclictest12984-21latency_hist22:40:092
1714993719,5cyclictest10061-21/usr/sbin/munin00:00:362
1714993712,13cyclictest7850irq/56-dwc_otg_19:50:362
171599367,5cyclictest7850irq/56-dwc_otg_20:40:363
171599362,7cyclictest7850irq/56-dwc_otg_21:05:243
171499364,4cyclictest7850irq/56-dwc_otg_21:20:092
171499364,18cyclictest7950irq/56-dwc_otg_20:55:082
171499363,17cyclictest7950irq/56-dwc_otg_21:00:372
171499362,5cyclictest0-21swapper/219:40:202
171499361,23cyclictest7912-21idleruntime20:55:282
164282360,2sleep311-21rcu_preempt00:15:363
171599351,21cyclictest12685-21ls19:40:093
171499358,6cyclictest7850irq/56-dwc_otg_20:10:082
171499357,16cyclictest0-21swapper/200:25:142
171499357,11cyclictest0-21swapper/221:25:102
171499357,11cyclictest0-21swapper/221:25:102
171499356,5cyclictest28510-21grep20:20:372
171499352,7cyclictest5286-21tail22:15:372
171499351,4cyclictest7950irq/56-dwc_otg_20:45:212
171499351,26cyclictest925-21ls22:05:282
171499351,26cyclictest925-21ls22:05:282
171499351,23cyclictest22438-21cut21:35:292
1714993510,4cyclictest7950irq/56-dwc_otg_23:45:262
171599348,4cyclictest7750irq/56-dwc_otg00:10:233
171599348,4cyclictest7750irq/56-dwc_otg00:10:233
171599346,6cyclictest7850irq/56-dwc_otg_23:20:213
171499346,6cyclictest7850irq/56-dwc_otg_23:05:352
171499345,10cyclictest7950irq/56-dwc_otg_23:15:262
171499343,15cyclictest7950irq/56-dwc_otg_22:25:372
171499342,9cyclictest0-21swapper/221:53:332
1714993422,8cyclictest14702-21latency_hist21:15:092
1714993417,4cyclictest21613-21runrttasks20:05:092
1714993417,4cyclictest21613-21runrttasks20:05:092
171599338,5cyclictest7850irq/56-dwc_otg_20:50:233
171599338,11cyclictest7950irq/56-dwc_otg_20:45:213
171599332,25cyclictest7950irq/56-dwc_otg_19:15:213
171599331,7cyclictest28463-21grep20:20:363
171499335,8cyclictest5473-21aten_rbpower_vo19:20:232
171499331,6cyclictest0-21swapper/223:20:202
1714993314,4cyclictest31937-21irqstats23:30:282
1714993310,12cyclictest7950irq/56-dwc_otg_22:55:092
171599323,6cyclictest7850irq/56-dwc_otg_23:05:353
1715993221,5cyclictest0-21swapper/319:25:203
1715993221,5cyclictest0-21swapper/319:25:203
1715993219,5cyclictest27517-21latency_hist21:50:093
171499327,16cyclictest7950irq/56-dwc_otg_00:05:242
171499326,6cyclictest7950irq/56-dwc_otg_00:15:312
171499325,11cyclictest7850irq/56-dwc_otg_21:30:342
171499323,4cyclictest7850irq/56-dwc_otg_22:40:222
171499323,15cyclictest7950irq/56-dwc_otg_19:30:092
171499323,15cyclictest7950irq/56-dwc_otg_19:30:092
171499322,21cyclictest0-21swapper/220:34:042
171499322,21cyclictest0-21swapper/220:34:042
171499322,17cyclictest7950irq/56-dwc_otg_22:00:262
171499321,7cyclictest9898-21grep22:30:272
171499321,3cyclictest0-21swapper/220:40:202
171499321,21cyclictest26134-21cut21:45:262
171499321,20cyclictest7850irq/56-dwc_otg_19:55:202
10802323,22sleep30-21swapper/319:05:413
10802323,22sleep30-21swapper/319:05:413
190122310,2sleep30-21swapper/321:25:263
171599315,17cyclictest7950irq/56-dwc_otg_00:25:143
171599311,21cyclictest25779-21ls23:15:093
1715993110,10cyclictest0-21swapper/319:50:323
171499317,6cyclictest7950irq/56-dwc_otg_19:35:352
171499314,13cyclictest7950irq/56-dwc_otg_19:15:292
171499313,5cyclictest1975-21fschecks_count19:10:262
171499313,15cyclictest0-21swapper/222:10:252
171499313,13cyclictest7950irq/56-dwc_otg_23:25:372
171499312,6cyclictest7950irq/56-dwc_otg_21:05:242
171499311,6cyclictest29-21rcuc/220:10:252
171499311,20cyclictest19505-21switchtime22:55:352
171599308,5cyclictest7950irq/56-dwc_otg_00:00:083
171599307,5cyclictest7850irq/56-dwc_otg_23:00:383
171599306,6cyclictest7950irq/56-dwc_otg_21:11:043
171599306,11cyclictest7950irq/56-dwc_otg_20:10:113
171599303,12cyclictest7950irq/56-dwc_otg_20:25:223
171599303,12cyclictest7950irq/56-dwc_otg_19:14:263
171599302,8cyclictest5368-21sed22:15:373
171599302,7cyclictest18555-21latency_hist22:55:093
171599301,7cyclictest31720-21proc_pri20:30:343
171599301,7cyclictest31720-21proc_pri20:30:343
171599301,6cyclictest7750irq/56-dwc_otg23:26:083
171599301,4cyclictest2656-21apt-get23:40:193
1715993012,8cyclictest272092chrt23:16:313
1715993011,5cyclictest16587-21latency_hist22:50:093
171499306,10cyclictest21915-21date00:30:352
171499302,21cyclictest0-21swapper/223:38:082
171499302,16cyclictest0-21swapper/220:15:222
1714993014,5cyclictest1125-21runrttasks22:45:352
171599295,6cyclictest7950irq/56-dwc_otg_22:25:383
171599294,5cyclictest7850irq/56-dwc_otg_21:15:333
171599291,6cyclictest2704-21tune2fs22:10:253
171599291,5cyclictest11902-21wget00:05:243
171499291,18cyclictest0-21swapper/221:41:492
171599284,4cyclictest7950irq/56-dwc_otg_22:20:323
171599282,6cyclictest9932-21seq22:30:283
1715992818,7cyclictest27882-21fschecks_count21:50:233
171599281,5cyclictest10413-21fschecks_time00:00:273
171599281,4cyclictest572-21apt-get22:05:213
171599281,4cyclictest572-21apt-get22:05:213
171599281,4cyclictest20036-21apt-get20:00:203
171599281,4cyclictest20036-21apt-get20:00:203
171599281,4cyclictest18232-21apt-get19:55:193
171599281,18cyclictest0-21swapper/322:56:483
171599281,17cyclictest0-21swapper/321:30:333
171599281,12cyclictest7950irq/56-dwc_otg_20:37:463
171499289,11cyclictest23519-21open_files00:35:312
171499282,10cyclictest29-21rcuc/223:50:592
171499282,10cyclictest29-21rcuc/223:50:592
171499281,12cyclictest15213-21missed_timers19:45:312
10932284,15sleep1128-21systemd-journal19:05:511
10932284,15sleep1128-21systemd-journal19:05:511
171599277,4cyclictest7950irq/56-dwc_otg_23:45:293
171599274,6cyclictest7950irq/56-dwc_otg_19:30:213
171599272,14cyclictest0-21swapper/322:04:263
171599271,5cyclictest25551-21apt-get20:15:213
171599271,10cyclictest7950irq/56-dwc_otg_23:35:283
171499274,4cyclictest7850irq/56-dwc_otg_21:25:312
171599267,9cyclictest7950irq/56-dwc_otg_22:40:213
171599265,10cyclictest7950irq/56-dwc_otg_19:45:323
171599262,4cyclictest7850irq/56-dwc_otg_21:40:353
171599261,9cyclictest0-21swapper/323:52:313
171599261,9cyclictest0-21swapper/323:52:313
171599261,6cyclictest31470-21/usr/sbin/munin23:30:273
171599261,5cyclictest1688050wget21:20:203
171599261,5cyclictest1688050wget21:20:203
171499264,4cyclictest7850irq/56-dwc_otg_22:20:312
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional