You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-03-03 - 14:15

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot7s.osadl.org (updated Sun Mar 03, 2024 00:43:53)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
67882640,2sleep2534-21snmpd22:45:002
1627126145,8sleep30-21swapper/319:09:593
1610323228,2sleep00-21swapper/019:07:520
1638699291,27cyclictest558-21lldpd21:58:001
1639299281,26cyclictest0-21swapper/223:24:582
1639299280,28cyclictest0-21swapper/200:29:002
16395992716,5cyclictest224-21systemd-journal21:53:313
1638299275,13cyclictest224-21systemd-journal21:30:150
16386992624,1cyclictest6918-21munin-run22:20:011
272032250,0sleep00-21swapper/023:00:280
1638299255,19cyclictest558-21lldpd23:58:100
1638299252,2cyclictest558-21lldpd22:28:110
16382992419,3cyclictest534-21snmpd20:45:020
1639599239,8cyclictest224-21systemd-journal00:13:123
1639299235,17cyclictest558-21lldpd21:59:582
16386992320,2cyclictest502-21rs:main1
16386992311,6cyclictest224-21systemd-journal23:10:181
1616222321,1sleep10-21swapper/119:08:371
1639599222,9cyclictest224-21systemd-journal22:15:013
16395992216,2cyclictest224-21systemd-journal22:23:543
16395992214,4cyclictest224-21systemd-journal00:26:063
1638699228,3cyclictest0-21swapper/121:47:041
1638699228,3cyclictest0-21swapper/121:47:041
1638699226,2cyclictest224-21systemd-journal22:12:451
1638699226,10cyclictest224-21systemd-journal23:17:491
1638699226,10cyclictest224-21systemd-journal23:17:491
16382992219,2cyclictest558-21lldpd20:58:100
1638299221,20cyclictest558-21lldpd00:00:180
1639599219,5cyclictest224-21systemd-journal00:15:403
16395992119,1cyclictest0-21swapper/300:34:303
16392992115,2cyclictest534-21snmpd20:55:282
1638699215,6cyclictest502-21rs:main1
16386992111,5cyclictest224-21systemd-journal21:35:121
16382992118,2cyclictest534-21snmpd20:37:460
1638299211,3cyclictest0-21swapper/022:08:260
1639599206,5cyclictest224-21systemd-journal23:07:543
16395992011,4cyclictest224-21systemd-journal22:04:263
16395992010,4cyclictest224-21systemd-journal23:51:013
1639299206,11cyclictest500-21in:imuxsock00:00:232
1639299200,13cyclictest224-21systemd-journal19:57:142
1638699209,5cyclictest224-21systemd-journal22:20:271
1638299209,6cyclictest224-21systemd-journal21:15:210
1638299201,8cyclictest224-21systemd-journal22:59:570
77362190,0chrt0-21swapper/221:31:572
1639599198,3cyclictest224-21systemd-journal21:17:053
1639599193,8cyclictest224-21systemd-journal23:00:273
1639599193,6cyclictest224-21systemd-journal23:15:223
1639599193,6cyclictest224-21systemd-journal23:15:223
16395991912,3cyclictest224-21systemd-journal23:14:113
1639599190,1cyclictest0-21swapper/322:25:393
16392991918,1cyclictest0-21swapper/223:13:322
16392991916,2cyclictest37850irq/131-snd_hda22:00:502
1639299190,1cyclictest10623-21/usr/sbin/munin20:05:342
1638699193,15cyclictest558-21lldpd23:42:201
1638699190,1cyclictest0-21swapper/122:27:511
1638299196,3cyclictest558-21lldpd19:15:240
16382991917,2cyclictest534-21snmpd20:44:140
16382991916,2cyclictest534-21snmpd20:52:220
16382991914,4cyclictest500-21in:imuxsock23:17:120
16382991914,4cyclictest500-21in:imuxsock23:17:120
8642180,0sleep30-21swapper/322:40:203
1639599187,4cyclictest224-21systemd-journal22:46:133
1639599181,15cyclictest0-21swapper/323:41:063
1639299185,5cyclictest224-21systemd-journal21:40:242
16392991812,2cyclictest224-21systemd-journal22:46:112
1639299181,1cyclictest2553-21ssh23:06:092
16386991813,4cyclictest534-21snmpd00:24:161
1638299189,6cyclictest224-21systemd-journal23:39:360
1638299185,2cyclictest224-21systemd-journal23:53:080
16382991816,1cyclictest558-21lldpd19:50:230
168152170,0chrt0-21swapper/322:52:153
1639599178,6cyclictest500-21in:imuxsock21:49:433
1639599178,6cyclictest500-21in:imuxsock21:49:433
1639599177,8cyclictest1-21systemd23:31:553
1639599177,5cyclictest224-21systemd-journal21:00:213
1639599176,4cyclictest224-21systemd-journal22:57:453
1639599172,9cyclictest224-21systemd-journal21:57:493
1639599172,5cyclictest224-21systemd-journal00:00:393
16395991712,2cyclictest224-21systemd-journal19:30:443
16395991711,2cyclictest224-21systemd-journal19:20:243
16395991710,3cyclictest224-21systemd-journal21:26:053
1639299176,8cyclictest558-21lldpd22:19:122
1639299176,4cyclictest224-21systemd-journal22:31:112
1639299175,4cyclictest224-21systemd-journal21:19:402
1639299175,4cyclictest224-21systemd-journal00:37:232
1639299172,14cyclictest558-21lldpd23:00:252
16392991712,3cyclictest502-21rs:main2
16392991712,2cyclictest0-21swapper/222:55:592
1639299170,3cyclictest224-21systemd-journal19:30:232
1638699175,6cyclictest224-21systemd-journal22:30:141
1638299174,7cyclictest25870-21munin-plugin-st19:30:000
1638299173,6cyclictest224-21systemd-journal23:47:120
16382991714,2cyclictest558-21lldpd21:57:380
223902160,0chrt0-21swapper/123:20:581
1639599168,3cyclictest224-21systemd-journal21:12:543
1639599166,5cyclictest224-21systemd-journal23:26:063
1639599165,2cyclictest224-21systemd-journal20:55:263
1639599164,6cyclictest224-21systemd-journal21:24:053
1639599164,3cyclictest224-21systemd-journal00:35:543
1639599162,7cyclictest224-21systemd-journal21:42:303
1639599160,15cyclictest0-21swapper/322:35:243
1639299169,3cyclictest224-21systemd-journal21:30:002
1639299164,5cyclictest224-21systemd-journal00:13:292
1639299162,6cyclictest224-21systemd-journal00:18:282
1639299161,4cyclictest14937-21df_inode22:25:252
16392991614,1cyclictest37850irq/131-snd_hda22:50:242
16392991613,2cyclictest17903-21gzip00:09:442
1638699169,6cyclictest534-21snmpd21:25:231
1638299168,3cyclictest224-21systemd-journal21:20:470
1638299165,6cyclictest224-21systemd-journal22:23:030
1638299164,5cyclictest224-21systemd-journal22:13:320
1638299164,5cyclictest224-21systemd-journal21:10:570
1638299162,13cyclictest0-21swapper/023:42:040
1639599159,2cyclictest224-21systemd-journal20:10:483
1639599158,3cyclictest224-21systemd-journal19:55:343
1639599156,8cyclictest9064-21diskmemload23:38:383
1639599151,4cyclictest224-21systemd-journal22:11:143
16395991512,2cyclictest500-21in:imuxsock23:21:303
16395991511,1cyclictest224-21systemd-journal23:56:393
1639599150,2cyclictest224-21systemd-journal22:05:243
1639599150,2cyclictest224-21systemd-journal20:40:223
1639599150,11cyclictest224-21systemd-journal23:47:493
1639299156,3cyclictest224-21systemd-journal23:35:232
1639299154,3cyclictest500-21in:imuxsock22:05:442
1639299153,9cyclictest502-21rs:main2
1639299153,9cyclictest502-21rs:main2
1639299150,3cyclictest224-21systemd-journal23:49:232
1639299150,14cyclictest534-21snmpd21:10:252
1639299150,11cyclictest27390-21uname23:50:292
1638699158,5cyclictest500-21in:imuxsock20:45:251
1638699157,4cyclictest224-21systemd-journal22:03:561
1638699155,6cyclictest9064-21diskmemload22:52:321
1638699155,4cyclictest224-21systemd-journal22:05:331
1638699155,3cyclictest224-21systemd-journal00:27:101
1638699154,5cyclictest224-21systemd-journal22:38:471
1638699153,6cyclictest502-21rs:main1
1638699152,12cyclictest534-21snmpd23:25:211
16386991513,1cyclictest9064-21diskmemload00:05:431
16386991513,1cyclictest534-21snmpd23:31:451
1638699150,1cyclictest224-21systemd-journal19:57:481
1638299157,2cyclictest224-21systemd-journal23:32:000
1638299156,8cyclictest500-21in:imuxsock22:15:450
1638299156,5cyclictest224-21systemd-journal00:14:450
1638299155,2cyclictest224-21systemd-journal19:10:290
1638299154,3cyclictest500-21in:imuxsock23:24:560
1638299153,5cyclictest224-21systemd-journal21:29:230
16382991512,2cyclictest17539-21perf20:20:000
16382991512,2cyclictest17539-21perf20:20:000
16382991512,2cyclictest11160-21ssh21:35:110
1639599146,2cyclictest224-21systemd-journal00:09:483
1639599144,6cyclictest224-21systemd-journal21:35:283
1639599143,5cyclictest224-21systemd-journal20:18:233
1639599143,5cyclictest224-21systemd-journal20:18:233
16395991411,2cyclictest10673-21ssh21:34:553
1639599140,10cyclictest224-21systemd-journal20:08:313
1639299146,4cyclictest500-21in:imuxsock21:02:052
1639299146,2cyclictest224-21systemd-journal23:58:032
1639299143,3cyclictest224-21systemd-journal20:15:212
1639299143,3cyclictest224-21systemd-journal20:15:212
1639299143,1cyclictest534-21snmpd23:30:042
16392991410,3cyclictest15397-21taskset21:37:472
1638699149,4cyclictest502-21rs:main1
1638699149,2cyclictest224-21systemd-journal19:15:311
1638699147,3cyclictest502-21rs:main1
1638699146,3cyclictest224-21systemd-journal23:08:301
1638699143,7cyclictest8222-21apt-get20:00:221
1638699143,6cyclictest224-21systemd-journal22:58:231
1638699143,3cyclictest534-21snmpd21:00:221
1638699142,5cyclictest224-21systemd-journal20:21:221
1638699141,6cyclictest224-21systemd-journal19:44:061
16386991411,2cyclictest7460-21ssh21:31:401
16386991411,2cyclictest3392-21ssh21:52:531
16386991410,3cyclictest9568-21ssh21:10:171
16386991410,3cyclictest500-21in:imuxsock00:19:151
1638699140,13cyclictest9787-21ssh23:36:221
1638299147,6cyclictest500-21in:imuxsock22:49:130
1638299146,3cyclictest224-21systemd-journal00:09:340
1638299142,5cyclictest141rcu_preempt23:27:460
1638299142,1cyclictest224-21systemd-journal20:05:470
16382991411,2cyclictest558-21lldpd21:41:220
16382991410,3cyclictest534-21snmpd20:25:240
16382991410,3cyclictest4342-21ssh23:08:020
16382991410,3cyclictest27841-21sh21:46:380
16382991410,3cyclictest27841-21sh21:46:380
1638299140,13cyclictest0-21swapper/022:33:130
4042131,8sleep3224-21systemd-journal19:43:263
1639599139,3cyclictest24586-21taskset20:34:123
1639599139,3cyclictest24527-21ssh22:32:373
1639599139,3cyclictest2178-21wc19:45:313
1639599139,3cyclictest16886-21tr19:10:263
1639599137,2cyclictest224-21systemd-journal21:05:163
1639599136,4cyclictest19683-21grep19:15:283
1639599136,3cyclictest224-21systemd-journal00:20:323
1639599135,4cyclictest224-21systemd-journal20:35:273
16395991310,2cyclictest3952-21grep19:50:313
16395991310,2cyclictest31644-21taskset20:48:023
1639599130,2cyclictest224-21systemd-journal19:35:233
1639299139,3cyclictest7532-21basename22:20:212
1639299139,3cyclictest17736-21ntpq19:10:332
1639299137,2cyclictest224-21systemd-journal20:25:252
1639299134,5cyclictest224-21systemd-journal20:00:302
1639299134,4cyclictest502-21rs:main2
1639299134,2cyclictest224-21systemd-journal23:40:372
1639299133,9cyclictest7284-21munin-node19:41:052
1639299131,7cyclictest0-21swapper/200:34:012
1639299131,4cyclictest224-21systemd-journal20:10:242
1639299131,11cyclictest37850irq/131-snd_hda19:20:382
16392991310,2cyclictest874-21chrt00:21:562
16392991310,2cyclictest7066-21tr21:05:272
16392991310,2cyclictest28965-21cat19:35:262
16392991310,2cyclictest26756-21sh21:22:052
16392991310,2cyclictest26290-21basename20:35:372
16392991310,2cyclictest25908-21cat21:45:312
16392991310,2cyclictest25908-21cat21:45:312
16392991310,2cyclictest1986-21ssh21:51:262
16392991310,2cyclictest0-21swapper/223:25:332
1638699139,3cyclictest26033-21date19:30:001
1638699139,2cyclictest500-21in:imuxsock00:30:251
1638699134,7cyclictest534-21snmpd00:35:231
1638699132,6cyclictest224-21systemd-journal21:17:381
16386991310,2cyclictest705-21cat23:55:241
16386991310,2cyclictest397-21head20:50:291
16386991310,2cyclictest3693-21taskset22:41:391
16386991310,2cyclictest31183-21ssh23:04:061
16386991310,2cyclictest28496-21ntp_states20:40:301
16386991310,2cyclictest22150-21ssh00:12:211
16386991310,2cyclictest21976-21chrt20:26:111
16386991310,2cyclictest20171-21ssh23:45:241
16386991310,2cyclictest17309-21taskset20:17:311
16386991310,2cyclictest17309-21taskset20:17:311
16386991310,2cyclictest14981-21taskset20:13:141
16386991310,2cyclictest12203-21ssh00:04:401
1638299136,4cyclictest27134-21apt-get22:35:220
1638299134,4cyclictest224-21systemd-journal20:35:000
1638299132,5cyclictest224-21systemd-journal22:00:230
1638299131,5cyclictest224-21systemd-journal00:15:310
1638299131,2cyclictest224-21systemd-journal19:49:420
16382991310,2cyclictest13551-21cut00:35:400
1638299130,12cyclictest2933-21ssh21:52:240
1639599129,2cyclictest9256-21cat20:00:313
1639599129,2cyclictest32318-21cut20:50:263
1639599129,2cyclictest22111-21sshd20:27:553
1639599129,2cyclictest19698-21seq20:22:263
1639599121,5cyclictest0-21swapper/319:29:473
1639299129,2cyclictest28162-21sort20:40:272
1639299127,3cyclictest24846-21cat20:35:012
1639299126,5cyclictest500-21in:imuxsock19:45:192
1639299126,2cyclictest224-21systemd-journal20:52:232
1639299125,3cyclictest32-21ksoftirqd/220:50:012
1639299125,3cyclictest224-21systemd-journal19:51:482
1639299123,8cyclictest558-21lldpd19:15:242
1639299121,9cyclictest23845-21/usr/sbin/munin19:25:252
1638699129,2cyclictest3405-21sendmail_mailtr20:55:381
1638699129,2cyclictest17811-21ssh21:40:041
1638699129,2cyclictest17343-21head19:10:291
1638699128,3cyclictest26610-21tail20:35:401
1638699124,4cyclictest224-21systemd-journal23:50:121
1638699124,4cyclictest224-21systemd-journal20:05:331
1638699124,4cyclictest224-21systemd-journal19:20:271
1638699122,2cyclictest502-21rs:main1
1638299129,2cyclictest7786-21if_enp2s021:05:310
1638299129,2cyclictest534-21snmpd00:34:010
1638299129,2cyclictest4530-21grep00:25:500
1638299129,2cyclictest32574-21rm00:20:590
1638299129,2cyclictest13322-21grep20:10:250
1638299129,2cyclictest13278-21ssh22:50:110
1638299129,2cyclictest11033-21ssh23:13:020
1638299128,3cyclictest6268-21kill21:00:390
1638299128,3cyclictest26265-21wget19:30:220
1638299128,3cyclictest1783-21basename22:40:270
1638299124,4cyclictest224-21systemd-journal20:00:210
1638299123,4cyclictest224-21systemd-journal20:21:300
1639299110,10cyclictest17861-21cut20:20:232
1638699115,3cyclictest534-21snmpd20:30:261
1638699113,4cyclictest224-21systemd-journal19:30:391
1638299118,2cyclictest29699-21pluginstate19:35:330
1638299117,3cyclictest32038-21tr19:40:310
1638299116,3cyclictest21343-21/usr/sbin/munin19:20:200
1638299113,4cyclictest224-21systemd-journal19:55:210
1639299100,3cyclictest224-21systemd-journal19:10:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional