You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-08 - 20:56

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot3s.osadl.org (updated Sat Nov 08, 2025 12:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1331021140,5sleep10-21swapper/107:05:531
14384991091,87cyclictest17407-21timerandwakeup08:45:570
73321020,4sleep11438599cyclictest08:00:541
1438499981,93cyclictest13748-21/usr/sbin/munin12:31:010
1438499981,81cyclictest19923-21aten_rbpower_po07:25:450
307242940,5sleep01438499cyclictest10:01:010
1438499931,77cyclictest12533-21awk08:35:280
1438499921,77cyclictest0-21swapper/009:20:470
1438499921,5cyclictest0-21swapper/011:19:340
1438499921,5cyclictest0-21swapper/011:19:340
1438499909,60cyclictest9082-21grep10:15:590
1438499891,74cyclictest0-21swapper/012:36:350
1438499891,74cyclictest0-21swapper/012:36:350
1438499891,69cyclictest26549-21unixbench-2d10:40:590
1438499891,2cyclictest0-21swapper/009:30:280
1438499882,71cyclictest21981-21fschecks_time07:30:510
1438499882,71cyclictest21981-21fschecks_time07:30:510
1438499882,70cyclictest3181-21ssh12:16:520
1438499872,70cyclictest10422-21ssh09:34:350
1438499872,70cyclictest10422-21ssh09:34:350
14384998525,42cyclictest17251-21ssh11:55:420
1438499842,66cyclictest0-21swapper/007:20:400
1438499841,71cyclictest24757-21ssh09:53:510
1438499832,70cyclictest0-21swapper/010:57:540
1438499832,64cyclictest10184-21unixbench-2d11:45:580
1438499831,69cyclictest0-21swapper/011:21:000
1438499831,68cyclictest0-21swapper/012:14:050
1438499831,2cyclictest0-21swapper/009:15:400
1438499821,66cyclictest0-21swapper/012:28:090
1438499812,67cyclictest0-21swapper/011:37:310
1438499812,67cyclictest0-21swapper/011:34:450
1438499811,3cyclictest0-21swapper/010:50:480
1438499804,66cyclictest0-21swapper/010:49:080
1438499804,66cyclictest0-21swapper/010:49:080
1438499802,58cyclictest2511-21ssh10:06:560
1438499802,58cyclictest2511-21ssh10:06:560
14384997912,36cyclictest0-21swapper/008:50:430
1438499784,46cyclictest11177-21taskset09:35:450
1438499782,67cyclictest18421-21/usr/sbin/munin09:45:550
1438499782,57cyclictest18485-21fschecks_count10:30:490
1438499781,62cyclictest5142-21cut11:40:440
1438499781,62cyclictest0-21swapper/012:05:380
1438499781,51cyclictest0-21swapper/009:02:210
1438499772,64cyclictest0-21swapper/010:26:560
1438499772,60cyclictest0-21swapper/008:35:520
1438499771,4cyclictest24551-21chrt07:35:580
1438499761,5cyclictest0-21swapper/010:21:250
1438499761,55cyclictest17092-21grep07:15:540
1438499761,4cyclictest8960-21cat08:25:300
1438499755,60cyclictest0-21swapper/011:03:210
1438499752,62cyclictest0-21swapper/012:25:200
1438499751,65cyclictest0-21swapper/010:38:110
1438499751,62cyclictest0-21swapper/011:51:380
1438499751,5cyclictest14704-21tr08:40:430
1438499742,61cyclictest0-21swapper/008:09:340
1438499731,63cyclictest0-21swapper/011:25:580
1438499731,5cyclictest23713-21chrt12:02:510
1438499731,57cyclictest0-21swapper/009:56:410
1438499731,3cyclictest0-21swapper/009:12:420
1438499721,60cyclictest0-21swapper/011:06:170
1438499712,51cyclictest0-21swapper/007:10:400
1438499711,44cyclictest0-21swapper/011:10:350
1438499711,41cyclictest4428-21aten_rbpower_cu10:10:440
1438599695,33cyclictest25260-21diskmemload09:50:441
1438499691,50cyclictest0-21swapper/009:10:020
1438599687,5cyclictest7850irq/56-dwc_otg09:20:581
1438699673,10cyclictest7850irq/56-dwc_otg09:15:412
1438599676,4cyclictest21509-21sed10:35:311
1438499671,55cyclictest0-21swapper/009:42:530
1438499671,48cyclictest0-21swapper/007:46:200
1438499661,62cyclictest70532sleep008:20:010
1438499661,3cyclictest0-21swapper/008:59:220
1438499661,3cyclictest0-21swapper/008:59:220
1438499661,3cyclictest0-21swapper/007:59:140
1438499651,5cyclictest10517-21chrt08:28:060
1438499651,2cyclictest0-21swapper/007:54:040
1438799642,5cyclictest0-21swapper/308:25:433
1438599641,5cyclictest7850irq/56-dwc_otg07:15:451
1438499641,5cyclictest0-21swapper/008:04:220
1438499641,2cyclictest0-21swapper/008:15:070
1438499631,46cyclictest25970-21sshd07:40:540
71462600,2sleep3381ktimersoftd/311:42:373
1438799607,30cyclictest8050irq/56-dwc_otg_11:55:423
1438599603,7cyclictest0-21swapper/112:40:091
1438599603,7cyclictest0-21swapper/112:40:091
14385996010,4cyclictest5175-21processes10:10:561
1438599592,10cyclictest8050irq/56-dwc_otg_12:05:511
1438599589,3cyclictest7850irq/56-dwc_otg10:45:441
1438599589,3cyclictest7850irq/56-dwc_otg10:45:441
1438599581,6cyclictest25176-21wc07:40:291
1438599581,5cyclictest22765-21/usr/sbin/munin07:31:011
1438599581,5cyclictest22765-21/usr/sbin/munin07:31:011
1438599581,4cyclictest7850irq/56-dwc_otg08:30:501
1438599578,5cyclictest0-21swapper/110:40:541
1438599572,17cyclictest0-21swapper/109:12:511
14385995719,26cyclictest0-21swapper/111:00:451
1438599571,5cyclictest7850irq/56-dwc_otg11:20:461
1438599571,4cyclictest7950irq/56-dwc_otg_10:05:071
138082573,47sleep00-21swapper/007:06:300
1438599556,4cyclictest0-21swapper/111:33:591
1438599554,5cyclictest0-21swapper/112:03:231
1438599553,11cyclictest7421-21ssh09:30:411
1438599553,11cyclictest7421-21ssh09:30:411
1438599548,4cyclictest0-21swapper/109:47:321
268032530,5sleep126805-21idleruntime-cro07:45:291
1438699534,6cyclictest7850irq/56-dwc_otg11:20:432
1438599538,8cyclictest0-21swapper/107:21:051
1438599532,5cyclictest5718-21memory11:40:511
1438599531,5cyclictest7950irq/56-dwc_otg_12:25:531
1438699521,13cyclictest7950irq/56-dwc_otg_10:50:412
14387995132,4cyclictest8050irq/56-dwc_otg_09:40:433
1438599512,11cyclictest29060-21ssh09:15:411
1438799505,13cyclictest8050irq/56-dwc_otg_08:20:303
1438799503,15cyclictest0-21swapper/309:35:453
1438599506,3cyclictest8050irq/56-dwc_otg_09:26:501
1438599506,19cyclictest0-21swapper/109:57:531
14387994921,10cyclictest26688-21ssh10:41:023
14387994914,17cyclictest30612-21ssh10:46:393
14387994914,17cyclictest30612-21ssh10:46:393
1438599497,40cyclictest0-21swapper/110:10:301
1438599497,40cyclictest0-21swapper/110:10:301
1438599496,8cyclictest0-21swapper/107:50:491
1438699487,27cyclictest0-21swapper/207:40:432
1438699481,15cyclictest7950irq/56-dwc_otg_10:35:422
1438599482,7cyclictest16901-21latency_hist11:55:291
25302470,5sleep21438699cyclictest08:05:542
1438799478,4cyclictest18834-21wc10:30:533
1438799477,25cyclictest0-21swapper/307:15:413
14387994718,13cyclictest7850irq/56-dwc_otg10:24:113
1438699478,24cyclictest0-21swapper/208:15:352
1438599476,12cyclictest19851-21latency_hist08:55:301
55052460,5sleep21438699cyclictest12:20:412
1438799468,22cyclictest0-21swapper/309:10:303
1438799467,25cyclictest0-21swapper/307:30:473
1438799467,25cyclictest0-21swapper/307:30:473
1438599467,25cyclictest0-21swapper/108:25:441
1438599467,25cyclictest0-21swapper/108:15:351
1438599465,11cyclictest0-21swapper/111:05:401
14387994525,11cyclictest7850irq/56-dwc_otg11:32:183
14387994517,11cyclictest7950irq/56-dwc_otg_08:35:553
1438699457,19cyclictest0-21swapper/207:55:462
1438599457,23cyclictest0-21swapper/112:10:351
1438799447,24cyclictest0-21swapper/309:55:433
1438799447,22cyclictest0-21swapper/310:25:453
14387994415,7cyclictest7850irq/56-dwc_otg09:45:573
1438599447,22cyclictest0-21swapper/108:45:441
1438599445,32cyclictest8050irq/56-dwc_otg_12:20:471
14387994320,10cyclictest7850irq/56-dwc_otg11:51:383
14387994317,13cyclictest7850irq/56-dwc_otg11:14:553
14387994312,10cyclictest8050irq/56-dwc_otg_11:00:433
14387994311,15cyclictest7950irq/56-dwc_otg_10:57:533
1438699437,23cyclictest0-21swapper/210:15:432
1438699437,23cyclictest0-21swapper/209:20:432
1438699434,7cyclictest8050irq/56-dwc_otg_08:10:462
1438799427,22cyclictest0-21swapper/307:10:433
14387994225,8cyclictest7850irq/56-dwc_otg09:53:493
14387994221,15cyclictest7850irq/56-dwc_otg12:31:213
14387994214,12cyclictest381ktimersoftd/310:02:333
14387994213,13cyclictest7850irq/56-dwc_otg07:28:193
1438699421,26cyclictest0-21swapper/210:40:442
1438599427,23cyclictest0-21swapper/109:35:461
1438599426,23cyclictest0-21swapper/111:45:431
1438799416,25cyclictest0-21swapper/307:20:423
14387994113,16cyclictest7950irq/56-dwc_otg_09:29:033
1438799411,25cyclictest0-21swapper/308:20:433
14387994112,16cyclictest7950irq/56-dwc_otg_11:37:333
1438699417,22cyclictest0-21swapper/211:25:462
1438699417,22cyclictest0-21swapper/209:05:432
14386994117,15cyclictest0-21swapper/212:35:422
14386994117,15cyclictest0-21swapper/212:35:422
1438699411,18cyclictest0-21swapper/210:46:572
1438699411,18cyclictest0-21swapper/210:46:572
1438599417,31cyclictest0-21swapper/108:55:451
1438599417,31cyclictest0-21swapper/108:55:451
1438599413,7cyclictest0-21swapper/108:40:411
1438799409,11cyclictest7950irq/56-dwc_otg_11:46:243
1438799407,23cyclictest25518-21ssh12:05:433
1438799402,19cyclictest21642-21/usr/sbin/munin10:35:483
14387994018,5cyclictest17986-21aten_rbpower_po12:35:453
14387994018,5cyclictest17986-21aten_rbpower_po12:35:453
14387994013,10cyclictest7850irq/56-dwc_otg12:11:173
14387994010,11cyclictest3401-21sh12:17:173
14386994018,5cyclictest21665-21idleruntime-cro09:00:292
14386994018,5cyclictest21665-21idleruntime-cro09:00:292
1438699401,28cyclictest0-21swapper/211:45:442
1438599407,23cyclictest0-21swapper/111:10:441
1438599407,23cyclictest0-21swapper/108:35:341
1438799396,19cyclictest8201-21ntp_states09:30:543
1438799396,19cyclictest8201-21ntp_states09:30:543
1438799393,24cyclictest7966-21wget10:15:443
14387993915,11cyclictest7850irq/56-dwc_otg10:52:143
14387993914,14cyclictest381ktimersoftd/309:20:483
1438799391,3cyclictest8050irq/56-dwc_otg_08:05:483
14387993912,17cyclictest381ktimersoftd/311:21:003
14387993912,11cyclictest8050irq/56-dwc_otg_10:10:523
1438699399,5cyclictest7950irq/56-dwc_otg_12:30:442
14386993918,4cyclictest11245-21sh12:26:302
1438599393,4cyclictest8050irq/56-dwc_otg_08:20:411
1438599392,15cyclictest7850irq/56-dwc_otg08:15:291
1438799389,19cyclictest381ktimersoftd/308:40:413
14387993820,8cyclictest7850irq/56-dwc_otg10:08:103
14387993820,8cyclictest7850irq/56-dwc_otg10:08:103
1438799381,24cyclictest0-21swapper/308:10:463
1438699387,23cyclictest0-21swapper/209:45:432
1438699382,7cyclictest8050irq/56-dwc_otg_09:55:412
14385993816,3cyclictest8050irq/56-dwc_otg_07:10:511
1438799374,22cyclictest22215-21ssh12:00:563
1438799374,13cyclictest8050irq/56-dwc_otg_09:15:453
14387993716,5cyclictest25479-21latency_hist09:10:303
14387993714,8cyclictest8050irq/56-dwc_otg_11:09:133
14387993712,11cyclictest8050irq/56-dwc_otg_11:26:183
14387993711,9cyclictest8050irq/56-dwc_otg_12:25:453
1438699377,20cyclictest0-21swapper/211:15:442
1438699377,20cyclictest0-21swapper/211:15:442
1438699374,18cyclictest8050irq/56-dwc_otg_10:10:482
1438699372,8cyclictest7950irq/56-dwc_otg_08:50:562
1438699372,19cyclictest7950irq/56-dwc_otg_11:00:592
14386993714,14cyclictest0-21swapper/207:35:432
1438599375,18cyclictest7850irq/56-dwc_otg12:30:471
128552370,2sleep212854-21acpi08:35:412
85782360,1sleep10-21swapper/110:15:521
246252360,1sleep10-21swapper/110:39:391
14387993622,4cyclictest8050irq/56-dwc_otg_11:15:493
14387993622,4cyclictest8050irq/56-dwc_otg_11:15:493
1438699365,13cyclictest8050irq/56-dwc_otg_09:36:022
1438699362,6cyclictest0-21swapper/211:40:432
1438699362,21cyclictest0-21swapper/209:10:412
14386993612,4cyclictest29903-21cut10:00:502
1438699361,21cyclictest60-21kswapd011:55:422
1438599369,6cyclictest25260-21diskmemload12:15:571
14385993618,5cyclictest13927-21resolvconf10:24:391
14387993518,8cyclictest7850irq/56-dwc_otg12:22:553
14387993510,13cyclictest381ktimersoftd/308:30:433
1438699353,4cyclictest0-21swapper/212:00:592
1438699352,21cyclictest12041-21ls11:05:512
14386993510,6cyclictest26721-21grep12:05:582
1438699350,21cyclictest0-21swapper/211:35:542
1438599358,5cyclictest7850irq/56-dwc_otg07:45:591
1438599355,19cyclictest60-21kswapd010:25:451
1438599355,18cyclictest2435-21grep11:35:591
1438599353,3cyclictest21-21rcuc/111:00:291
1438599351,26cyclictest29472-21ls11:30:291
14387993412,5cyclictest28899-21aten_rbpower_en07:50:453
14387993411,10cyclictest8050irq/56-dwc_otg_07:38:383
1438699347,15cyclictest0-21swapper/207:25:442
1438699345,14cyclictest8050irq/56-dwc_otg_10:55:572
1438699341,23cyclictest14158-21timerandwakeup11:50:582
14385993414,5cyclictest21397-21latency_hist07:30:291
286192330,3sleep20-21swapper/207:50:292
1438799337,14cyclictest0-21swapper/307:45:443
1438699336,15cyclictest8050irq/56-dwc_otg_09:41:002
1438699336,15cyclictest0-21swapper/208:40:432
1438699335,5cyclictest28838-21/usr/sbin/munin07:50:472
1438699335,15cyclictest7950irq/56-dwc_otg_09:50:552
1438699331,6cyclictest16961-21ps07:15:522
14386993314,5cyclictest1470950wget10:25:452
14386993311,12cyclictest0-21swapper/210:34:002
14386993310,13cyclictest0-21swapper/210:05:432
14386993310,13cyclictest0-21swapper/210:05:432
1438599333,6cyclictest7850irq/56-dwc_otg11:55:471
1438599332,21cyclictest0-21swapper/108:09:011
1438599331,5cyclictest7850irq/56-dwc_otg10:50:451
1438799322,5cyclictest0-21swapper/309:01:003
1438799322,22cyclictest7950irq/56-dwc_otg_07:40:433
1438699327,4cyclictest0-21swapper/208:45:472
1438699323,4cyclictest14978-21aten_rbpower_en11:10:462
1438699323,14cyclictest8050irq/56-dwc_otg_09:00:462
1438699322,22cyclictest0-21swapper/209:30:172
1438699322,20cyclictest0-21swapper/212:15:322
1438699321,6cyclictest10253-21tail08:26:022
1438599325,6cyclictest7850irq/56-dwc_otg09:40:501
14385993228,2cyclictest0-21swapper/111:15:481
14385993228,2cyclictest0-21swapper/111:15:481
1438799313,13cyclictest7950irq/56-dwc_otg_08:55:463
1438799313,13cyclictest7950irq/56-dwc_otg_08:55:463
1438699318,12cyclictest8050irq/56-dwc_otg_07:20:572
1438699314,6cyclictest23208-21latency_hist07:35:302
1438699314,6cyclictest23208-21latency_hist07:35:302
14386993114,4cyclictest7775-21if_wlan008:20:492
1438599317,5cyclictest7850irq/56-dwc_otg07:55:471
1438599311,19cyclictest24047-21ls09:05:491
1438799308,11cyclictest381ktimersoftd/308:45:583
14387993012,9cyclictest7950irq/56-dwc_otg_08:04:433
1438699309,4cyclictest0-21swapper/212:12:142
1438699309,12cyclictest0-21swapper/210:22:122
1438699307,5cyclictest8050irq/56-dwc_otg_09:30:472
1438699307,5cyclictest8050irq/56-dwc_otg_09:30:472
1438699304,4cyclictest7850irq/56-dwc_otg11:30:562
1438699301,13cyclictest7850irq/56-dwc_otg08:00:552
1438799291,13cyclictest19994-21ls08:55:303
125842296,11sleep20-21swapper/207:05:432
1438799272,5cyclictest30643-21/usr/sbin/munin07:55:573
1438599272,5cyclictest0-21swapper/109:00:591
1438699264,11cyclictest7850irq/56-dwc_otg08:30:592
1438699262,6cyclictest8050irq/56-dwc_otg_07:14:522
139862253,14sleep30-21swapper/307:08:523
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional