You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-17 - 16:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Mon Nov 17, 2025 00:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
878399861,72cyclictest17571-21uname00:00:310
263582860,5sleep3878699cyclictest22:01:493
8783998423,35cyclictest28776-21modprobe22:50:030
878399832,63cyclictest1742-21grep22:55:400
8783998225,41cyclictest16294-21aten_rbpower_vo21:00:200
878399812,55cyclictest0-21swapper/022:10:350
878399795,57cyclictest0-21swapper/023:45:110
878399792,9cyclictest31518-21fschecks_time21:25:230
878399792,9cyclictest31518-21fschecks_time21:25:230
8783997926,43cyclictest0-21swapper/019:35:190
878399791,63cyclictest4207-21ssh23:43:300
307092790,2sleep00-21swapper/021:24:460
195362790,5sleep1878499cyclictest23:20:251
878399775,4cyclictest9550irq/80-mmc023:35:030
8783997716,42cyclictest11681-21ls22:25:310
144442770,3sleep121-21rcuc/123:56:001
878399761,65cyclictest0-21swapper/022:04:490
878399761,64cyclictest28176-21/usr/sbin/munin22:05:180
265672760,5sleep326568-21unixbench_singl22:45:333
878399748,9cyclictest0-21swapper/021:39:520
878399743,11cyclictest0-21swapper/019:10:060
878399743,11cyclictest0-21swapper/019:10:060
8783997416,44cyclictest17371-21ssh21:50:210
878399741,63cyclictest23766-21aten_rbpower_vo21:15:220
123042740,2sleep10-21swapper/123:54:391
878399731,59cyclictest7413-21cut20:35:230
878399731,58cyclictest16851-21sh22:33:280
878399731,58cyclictest16851-21sh22:33:280
878399731,55cyclictest15479-21ssh23:15:220
878399731,47cyclictest0-21swapper/000:35:190
878399721,56cyclictest0-21swapper/022:18:370
8783997211,41cyclictest5935-21ssh23:01:390
8783997211,41cyclictest5935-21ssh23:01:390
136852720,3sleep28782-21cyclictest22:29:382
878399718,48cyclictest5279-21ssh21:33:550
8783997139,6cyclictest7850irq/56-dwc_otg_21:10:190
8783997122,31cyclictest140-21systemd-journal20:00:040
8783997122,31cyclictest140-21systemd-journal20:00:040
8783997118,38cyclictest30154-21ssh00:17:220
878399711,58cyclictest0-21swapper/000:25:470
878399711,18cyclictest30439-21/usr/sbin/munin20:10:190
8783997110,51cyclictest32639-21ntp_states00:20:320
878399701,57cyclictest21769-21sh23:23:500
878399691,60cyclictest23921-21latency_hist00:10:040
878399691,57cyclictest0-21swapper/000:31:440
878399691,56cyclictest11404-21rm23:10:050
878399691,49cyclictest19543-21diskmemload23:06:550
878399682,54cyclictest0-21swapper/000:10:210
878399682,54cyclictest0-21swapper/000:10:210
8783996816,36cyclictest7950irq/56-dwc_otg_23:35:290
878399681,58cyclictest0-21swapper/022:52:520
878399681,52cyclictest0-21swapper/023:26:390
878399681,50cyclictest0-21swapper/021:55:320
197642680,2sleep30-21swapper/321:53:323
878399671,54cyclictest0-21swapper/019:19:250
878399671,51cyclictest0-21swapper/020:15:200
878399661,57cyclictest0-21swapper/021:08:370
878399661,55cyclictest0-21swapper/019:25:170
8783996615,48cyclictest13849-21if_eth021:45:240
8783996517,33cyclictest7750irq/56-dwc_otg20:45:480
878399651,48cyclictest0-21swapper/022:35:560
878699642,10cyclictest8787-21seq19:10:063
878699642,10cyclictest8787-21seq19:10:063
878399649,3cyclictest0-21swapper/021:45:030
8783996418,32cyclictest0-21swapper/020:05:290
878699633,10cyclictest7950irq/56-dwc_otg_22:05:213
8785996342,16cyclictest8782-21cyclictest19:10:062
8785996342,16cyclictest8782-21cyclictest19:10:062
878399631,51cyclictest0-21swapper/023:52:020
878399631,51cyclictest0-21swapper/022:41:340
878399631,51cyclictest0-21swapper/019:43:240
8785996216,29cyclictest7850irq/56-dwc_otg_22:55:392
878399622,51cyclictest0-21swapper/020:55:190
878399621,52cyclictest0-21swapper/020:40:560
878399621,51cyclictest0-21swapper/020:52:010
878399621,48cyclictest0-21swapper/022:20:460
23632620,2sleep10-21swapper/100:23:581
878699619,3cyclictest0-21swapper/322:21:283
878399617,46cyclictest0-21swapper/023:58:040
878399613,46cyclictest0-21swapper/020:24:400
8783996126,19cyclictest7950irq/56-dwc_otg_19:45:510
878399611,51cyclictest0-21swapper/019:21:460
8785996019,23cyclictest0-21swapper/223:10:032
878399601,17cyclictest0-21swapper/020:00:190
878399596,44cyclictest0-21swapper/020:27:270
878699582,9cyclictest89672sleep320:40:173
878699581,6cyclictest7950irq/56-dwc_otg_21:10:173
878699581,10cyclictest0-21swapper/323:40:433
8783995819,31cyclictest7950irq/56-dwc_otg_19:31:560
878699574,5cyclictest7750irq/56-dwc_otg00:00:343
878699572,5cyclictest13993-21ssh21:45:263
878699571,4cyclictest19391-21cron19:40:033
8785995713,21cyclictest0-21swapper/220:55:052
878699562,7cyclictest32255-21grep21:25:333
878699562,7cyclictest32255-21grep21:25:333
8785995621,12cyclictest15423-21awk23:15:212
878399561,4cyclictest23338-21wget19:50:190
878699555,5cyclictest7750irq/56-dwc_otg19:20:243
878699554,4cyclictest7950irq/56-dwc_otg_22:13:283
878699553,4cyclictest7750irq/56-dwc_otg23:23:533
878699552,5cyclictest7950irq/56-dwc_otg_22:30:243
878699552,5cyclictest7950irq/56-dwc_otg_22:30:243
878699551,9cyclictest0-21swapper/321:21:203
878699551,6cyclictest7950irq/56-dwc_otg_19:30:203
878699551,11cyclictest7950irq/56-dwc_otg_22:25:063
8786995510,4cyclictest0-21swapper/321:43:393
8785995521,13cyclictest11919-21ssh21:42:322
8785995519,25cyclictest632-21tail22:10:352
8785995519,20cyclictest7750irq/56-dwc_otg21:45:272
8785995518,21cyclictest31434-21/usr/sbin/munin21:25:222
8785995518,21cyclictest31434-21/usr/sbin/munin21:25:222
8785995518,18cyclictest15413-21unixbench_multi22:30:382
8785995518,18cyclictest15413-21unixbench_multi22:30:382
8785995516,23cyclictest7850irq/56-dwc_otg_23:35:272
8785995515,27cyclictest0-21swapper/222:02:272
8785995514,17cyclictest7850irq/56-dwc_otg_22:50:232
8785995513,26cyclictest8063-21ssh21:37:012
878399551,40cyclictest5821-21kernelversion20:30:240
878699543,22cyclictest3277-21ssh00:25:173
878699541,5cyclictest30179-21ssh23:35:093
878699541,3cyclictest0-21swapper/320:10:563
878699541,13cyclictest7950irq/56-dwc_otg_23:29:563
878699541,10cyclictest0-21swapper/323:11:123
8785995415,18cyclictest7850irq/56-dwc_otg_19:35:162
878699531,7cyclictest0-21swapper/323:45:433
878699531,3cyclictest7750irq/56-dwc_otg22:56:063
8785995322,11cyclictest10006-21ssh22:24:332
8785995319,20cyclictest7206-21aten_rbpower_en20:35:202
8785995318,17cyclictest19543-21diskmemload23:58:532
8785995316,16cyclictest5769-21ssh23:01:162
8785995316,16cyclictest5769-21ssh23:01:162
8785995316,15cyclictest29353-21ntp_states20:05:302
8785995313,17cyclictest0-21swapper/221:53:572
8785995312,29cyclictest7850irq/56-dwc_otg_23:50:272
878699523,4cyclictest0-21swapper/323:08:133
878699522,7cyclictest4015-21ssh21:31:083
878699522,10cyclictest10539-21fschecks_count00:35:243
878699521,9cyclictest7950irq/56-dwc_otg_23:55:193
878699521,7cyclictest15672-21if_err_wlan023:15:253
878699521,5cyclictest12031-21ssh23:54:043
878699521,4cyclictest0-21swapper/321:59:403
878699521,3cyclictest0-21swapper/321:15:323
878699521,2cyclictest0-21swapper/300:34:243
8785995222,18cyclictest20559-21ls19:40:352
8785995220,12cyclictest6183-21ssh22:19:152
878699513,5cyclictest7850irq/56-dwc_otg_21:36:443
878699513,3cyclictest7950irq/56-dwc_otg_22:50:273
878699512,4cyclictest32639-21ntp_states00:20:323
878699511,4cyclictest0-21swapper/323:30:573
878699511,4cyclictest0-21swapper/323:00:503
878699511,4cyclictest0-21swapper/323:00:503
8785995120,12cyclictest30409-21ssh22:07:382
8785995116,21cyclictest26069-21chrt23:29:482
8785995115,11cyclictest7850irq/56-dwc_otg_21:00:172
8785995114,18cyclictest7850irq/56-dwc_otg_20:00:042
8785995114,18cyclictest7850irq/56-dwc_otg_20:00:042
878699506,5cyclictest19543-21diskmemload00:10:303
878699506,5cyclictest19543-21diskmemload00:10:303
878699501,5cyclictest0-21swapper/322:18:053
878699501,4cyclictest0-21swapper/320:49:373
878699501,10cyclictest0-21swapper/322:41:483
8785995021,11cyclictest31834-21/usr/sbin/munin00:20:262
8785995019,12cyclictest2878-21ssh23:40:362
8785995019,11cyclictest31461-21rm00:20:022
8785995018,22cyclictest23492-21ssh00:09:112
8785995018,15cyclictest21754-21chrt23:23:482
8785995015,13cyclictest8790-21latency_hist23:50:042
8785995011,22cyclictest7850irq/56-dwc_otg_21:17:242
878699492,5cyclictest0-21swapper/321:00:203
878699491,9cyclictest7750irq/56-dwc_otg22:36:003
8785994918,13cyclictest27039-21apt-get21:20:072
8785994916,16cyclictest28463-21ssh22:49:282
8785994915,13cyclictest31532-21unixbench_multi20:10:332
8785994910,29cyclictest7750irq/56-dwc_otg22:36:172
878699482,16cyclictest24031-21latency_hist00:10:043
878699481,7cyclictest7650-21latency20:35:263
8785994817,17cyclictest28608-21ssh23:32:142
8785994816,12cyclictest0-21swapper/220:54:452
8785994812,23cyclictest23506-21sh22:41:542
878499487,27cyclictest0-21swapper/119:40:211
878699472,7cyclictest0-21swapper/321:08:383
878699472,5cyclictest0-21swapper/320:52:033
878699471,3cyclictest0-21swapper/300:19:233
8785994738,7cyclictest18679-21ntp_states21:05:292
8785994721,11cyclictest21531-21ssh21:11:182
8785994714,13cyclictest17494-21ntpq00:00:292
878499478,25cyclictest0-21swapper/120:30:091
878699468,35cyclictest0-21swapper/319:55:323
878699468,35cyclictest0-21swapper/319:55:323
878699466,25cyclictest0-21swapper/320:55:173
8785994620,8cyclictest22589-21ssh21:56:402
8785994614,14cyclictest13416-21ssh00:39:462
8785994613,13cyclictest5913-21rm00:28:332
8785994612,22cyclictest3435-21/usr/sbin/munin20:25:342
8785994611,16cyclictest5260-21ssh21:33:522
8785994514,20cyclictest7950irq/56-dwc_otg_00:11:232
8785994514,20cyclictest7950irq/56-dwc_otg_00:11:232
8785994513,20cyclictest13726-21ssh23:12:342
878499457,25cyclictest0-21swapper/120:40:191
878499457,23cyclictest0-21swapper/122:55:191
878699444,4cyclictest7950irq/56-dwc_otg_19:29:563
878699442,9cyclictest0-21swapper/320:00:193
878499447,24cyclictest0-21swapper/122:45:171
878499447,22cyclictest0-21swapper/120:45:171
878499443,25cyclictest0-21swapper/100:30:211
878599436,24cyclictest0-21swapper/219:20:162
8785994314,15cyclictest0-21swapper/219:54:362
8785994314,12cyclictest3120-21chrt20:24:102
8785994310,22cyclictest19543-21diskmemload00:34:102
8785994310,10cyclictest0-21swapper/220:30:092
878499432,20cyclictest7950irq/56-dwc_otg_19:10:061
878499432,20cyclictest7950irq/56-dwc_otg_19:10:061
8784994319,6cyclictest27874-21fschecks_time21:20:251
818724322,13sleep00-21swapper/019:05:580
878599429,18cyclictest7950irq/56-dwc_otg_20:46:072
8785994211,13cyclictest15772-21taskset19:29:502
8784994223,7cyclictest23924-21munin-plugin-st00:10:041
8785994114,13cyclictest16025-21taskset19:30:082
878499414,5cyclictest24501-21diskstats00:10:241
878499414,5cyclictest24501-21diskstats00:10:241
8784994120,4cyclictest1067250wget19:15:181
48762410,5sleep1878499cyclictest23:44:571
878499407,24cyclictest0-21swapper/123:35:181
878499407,23cyclictest0-21swapper/123:05:221
878499406,22cyclictest0-21swapper/122:20:171
878499404,10cyclictest17140-21ssh21:50:181
878599399,11cyclictest10204-21taskset20:41:152
8785993911,17cyclictest282132sleep220:02:452
878499397,22cyclictest0-21swapper/119:45:191
8784993910,7cyclictest7750irq/56-dwc_otg00:40:041
8785993811,9cyclictest0-21swapper/220:16:142
878499387,19cyclictest11535-21ssh23:10:201
878499384,5cyclictest7850irq/56-dwc_otg_21:10:361
878499381,27cyclictest0-21swapper/121:15:411
8785993723,4cyclictest21713-21fschecks_count19:45:222
878499379,23cyclictest7950irq/56-dwc_otg_23:45:211
8784993713,5cyclictest24947-21cat19:55:041
878499371,25cyclictest32513-21missed_timers22:10:261
878599364,4cyclictest7850irq/56-dwc_otg_19:15:182
878499366,18cyclictest23832-21ls23:25:321
878499362,8cyclictest17407-21ssh23:17:231
8784993615,5cyclictest2649-21timerwakeupswit20:20:321
8784993614,12cyclictest0-21swapper/121:25:191
8784993614,12cyclictest0-21swapper/121:25:191
878499361,16cyclictest0-21swapper/121:05:161
878499356,6cyclictest7750irq/56-dwc_otg00:15:231
878499355,4cyclictest7750irq/56-dwc_otg00:01:221
8784993515,5cyclictest14142-21idleruntime-cro20:55:031
878499351,31cyclictest7235-21timerwakeupswit21:35:351
878499351,25cyclictest21869-21cut22:40:211
878499351,23cyclictest29715-21missed_timers22:50:261
8784993511,7cyclictest7950irq/56-dwc_otg_23:30:201
878699341,7cyclictest0-21swapper/319:46:113
8786993411,5cyclictest538250wget20:30:183
878499347,16cyclictest7950irq/56-dwc_otg_22:25:321
878499347,14cyclictest7950irq/56-dwc_otg_19:25:181
878499347,14cyclictest23-21ksoftirqd/122:30:221
878499347,14cyclictest23-21ksoftirqd/122:30:221
878499344,12cyclictest0-21swapper/119:20:141
878499343,5cyclictest11-21rcu_preempt22:15:161
8784993415,4cyclictest2002-1kworker/u9:123:00:171
8784993415,4cyclictest2002-1kworker/u9:123:00:171
8784993412,15cyclictest22759-21ssh21:57:041
878499341,19cyclictest30212-21latency_hist20:10:041
878699332,9cyclictest0-21swapper/319:54:203
878499337,15cyclictest0-21swapper/122:00:201
878499333,23cyclictest7750irq/56-dwc_otg00:25:171
878499333,20cyclictest7950irq/56-dwc_otg_21:48:021
878499332,12cyclictest0-21swapper/120:28:111
878499328,4cyclictest0-21swapper/122:37:471
878499326,14cyclictest7850irq/56-dwc_otg_19:35:331
8784993217,4cyclictest3698-21unixbench_singl21:30:331
878499321,18cyclictest14605-21cut20:55:201
878699315,8cyclictest7850irq/56-dwc_otg_20:20:223
878699311,4cyclictest7950irq/56-dwc_otg_20:25:193
878499317,15cyclictest0-21swapper/119:30:191
878499317,14cyclictest0-21swapper/121:00:191
878499313,8cyclictest0-21swapper/120:10:191
878499311,19cyclictest8744-21ls20:40:031
8786993014,5cyclictest30207-21cron20:10:033
878499306,16cyclictest0-21swapper/122:05:351
878499301,20cyclictest27865-21timerwakeupswit20:00:341
8784993010,4cyclictest0-21swapper/121:45:021
82462303,18sleep10-21swapper/119:06:441
82142303,20sleep20-21swapper/219:06:212
878699291,12cyclictest7950irq/56-dwc_otg_19:40:333
878699282,14cyclictest0-21swapper/319:18:043
878499285,5cyclictest0-21swapper/119:59:441
878499285,5cyclictest0-21swapper/119:59:441
878499282,13cyclictest7950irq/56-dwc_otg_20:15:331
878699271,5cyclictest1146-21snmpd20:15:573
84702273,15sleep30-21swapper/319:09:343
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional